Schrijfvaardigheid en schooleffectiviteit

kees de glopper schrijfvaardigheid en schooleffectiviteit 1 inleiding in dit artikel doe ik verslag van een onderzoek naar schrijfvaardigheid en schooleffectiviteit in het voortgezet onderwijs1 onderzoek naar de effectiviteit van scholen staat de laatste jaren sterk in de belangstelling de aanwijzingen hiervoor zijn legio in cardiff wales vindt in januari 1991 het vierde inter nationale congres voor schooleffectiviteit plaats2 sinds kort verschijnt het internationale tijdschrift school effectiveness en in nederland verscheen onder auspicien van svo onlangs de overzichtsstudie wat maakt scholen effectief scheerens 1989 aan de hand van deze laatste publikatie geef ik hieronder een zeer beknopte schets van het schooleffectiviteitsonderzoek onderzoek naar de effectiviteit van scholen is in de eerste plaats gericht op de output van scholen de leeropbrengsten van leerlingen de kenmerkende vraag in zulk onderzoek is in welke mate verschillen in prestaties tussen leer lingen toegeschreven kunnen worden aan verschillen tussen scholen het kan daarbij gaan om verschillen op allerlei niveaus de schoolorganisatie de deskundigheid en ervaring van leerkrachten de groepsgrootte vormen van leerlingdifferentiatie instructiekenmerken etcetera ook in het onderzoek waarvan ik hieronder verslag doe vormen leerop brengsten het effectiviteitscriterium dat hiermee een bepaalde invulling van het begrip effectiviteit gegeven wordt moge duidelijk zijn ook andere effectivi teitscriteria zijn immers denkbaar zo onderscheidt scheerens 1989 als alternatieve effectiviteitscriteria het aanpassingsvermogen van de schoolorgani satie de betrokkenheid van de individuele leden van de schoolorganisatie de continuiteit van de schoolorganisatie en de responsbereidheid van de schoolor ganisatie ten opzichte van externe belanghebbende instanties de concentratie op leeropbrengsten valt goed te verdedigen vanuit de opvatting dat onderwijs een doelgericht proces is een proces dat mikt op het aanbrengen van kennis inzichten vaardigheden en houdingen andere waarden dan leeropbrengsten vormen in mijn ogen geen eigenlijk effectiviteitscriterium ik schuif ze daarmee niet als onbeduidend ter zijde met scheerens o c p 17 acht ik ze juist belangrijk als condities waaronder leeropbrengsten tot stand moeten komen inzicht in zulke condities kan het begrip van verschillen in effectiviteit tussen scholen bevorderen binnen het op leeropbrengsten gerichte onderzoek naar schooleffectiviteit kunnen verschillende onderzoekstradities onderscheiden worden scheerens o c p 19 onderscheidt vijf stromingen die in de onderstaande tabel worden weerge geven spiegel 8 1990 nr 3 71 88 tabel 1 typering van stromingen in op leeropbrengsten gericht effectiviteitsonderzoek stroming type onafh type afh discipline type variabele variabele onderzoek ongelijke kansen ses leerprestaties sociologie survey iq leerlingen schoolloopbanen materiele schoolkenmerken produktiefuncties materiele leerprestaties survey schoolkenmerken compensatieprogrogramma specifieke leerprestaties interdisciplinaire quasi curricula onderwijskunde experiment effectieve scholcn proceskenmerken leerprestaties interdisciplinaire case studie scholen onderwijskunde effectieve instructie kenm leerkr leerprestaties interdisciplinaire experiment instructie onderwijskunde observatie klasorganisatie naar schecrens 1989 p 20 het onderzoek naar kansenongelijkheid met name coleman e a 1966 jencks e a 1972 thorndike 1973 mondde uit in weinig optimistische conclusies omtrent de mate waarin de school iets af kan doen aan de milieubepaaldheid van leerprestaties ook uit het economisch onderzoek naar produktiefuncties en uit de evaluatie van compensatieprogramma s komen geen overtuigende schooleffecten naar voren veel meer optimisme omtrent de mate waarin scholen verschil maken is ontleend aan het effectieve scholenonderzoek dat gericht was op kenmerken van de organisatie en de inhoud van het onderwijs op vaak bijzondere scholen4 met name brookover e a 1979 mortimore e a 1988 dit onderzoek heeft een aantal factoren geidentificeerd die van belang lijken5 voor het verklaren van verschillen in schooleffectiviteit deze factoren worden vaak samengevat aan de hand van het 5 factor model van edmonds 1979 effectieve scholen zouden gekenmerkt worden door 1 de aanwezigheid van sterk onderwijskundig leiderschap 2 het benadrukken van leerprestaties met betrekking tot basisvaar digheden 3 een veilig en ordelijk leerklimaat 4 hoge verwachtingen ten aanzien van de leerlingprestaties en 5 geregelde evaluatie van individuele leervorderingen ook uit onderzoek naar kenmerken van effectieve instructie komt naar voren dat bepaalde school of onderwijskenmerken er wel degelijk toe kunnen doen omvangrijke meta analyses van duizenden afzonderlijke empirische studies met name walberg 1986 laten zien dat bepaalde instructiekenmerken onmiskenbare effecten hebben voorbeelden hiervan zijn effectieve leertijd de tijd die leerlingen aan het leren in een vakgebied besteden de duidelijkheid en aanvaardbaarheid van doelstellingen het frequente gebruik van feedback en evaluatie en de kwaliteit van het leerklimaat 72 in een samenvattende interpretatie van de uitkomsten van verschillende typen schooleffectiviteitsonderzoek bepleit scheerens o c een integratie van verschil lende onderzoekstradities hij postuleert drie kernfactoren die bepalend zijn voor schooleffectiviteit a de politieke wil van scholen om hoge onderwijsop brengsten te realiseren b maximalisering van de daadwerkelijke leertijd en c gestructureerd onderwijs daarnaast onderscheidt scheerens verschillende niveaus van handelen de schoolcontext de school de klas en haar leerkracht en de individuele leerling toekomstig onderzoek dient volgens scheerens zoveel mogelijk rekening te houden met genoemde kernfactoren en met de verschillende niveaus in het vervolg van dit artikel bespreek ik een onderzoek dat in een aantal opzichten tegemoet komt aan deze aanbevelingen het onderzoek betreft een heranalyse van gegevens waarover ik eerder gerapporteerd heb de glopper 1988 2 schrijfvaardigheid en schooleffectiviteit mijn onderzoek naar schrijfvaardigheid en schooleffectiviteit is verwant aan verschillende stromingen binnen het schooleffectiviteitsonderzoek het sluit enerzijds aan bij het onderzoek naar kansenongelijkheid en naar schooleffecti viteit omdat de aandacht mede gericht is op de bijdrage die schoolkenmer ken na verdiscontering van milieukenmerken van de leerlingen leveren aan de leerprestaties van leerlingen het onderzoek staat tevens in de traditie van het onderzoek naar effectieve instructiekenmerken de keuze van een belangrijk deel van de variabelen was gebaseerd op een review van onderzoek naar de effecten van instructievariabelen op de schrijfvaardigheid wesdorp 1983 het onder zoek was gericht op de inhoud en opbrengsten van het schrijfvaardigheidsonder wijs in het voortgezet onderwijs en vormde het nederlandse aandeel in de iea written composition study gorman purves degenhart 1988 de glopper 1988 in het onderzoek naar schooleffectiviteit is bij mijn weten niet eerder aandacht besteed aan schrijfvaardigheid dat is begrijpelijk want het meten van schrijfvaardigheid is moeilijk en kostbaar toch is schrijven voor zulk onder zoek een zeer interessante afhankelijke variabele schrijfvaardigheid maakt in nederland en in veel andere landen deel uit van het moedertaalonderwijs een leergebied waar de invloeden van het thuismilieu zich in de regel sterk doen gelden schrijfvaardigheid is echter een onderdeel van het taalonderwijs waarvoor dit niet zozeer lijkt te gelden bijna alle leerlingen ontwikkelen hun schrijfvaardigheid overwegend op school en niet thuis schrijven mag in dit licht met recht een echt schoolsak genoemd worden daarom en omdat schrijf vaardigheid een zeer centrale onderwijsdoelstelling is vormt het een interessant criterium voor onderzoek naar schooleffecten aandacht voor een specifieke onderwijsopbrengst als schrijfvaardigheid is voor onderzoek naar schooleffectiviteit om nog een andere reden interessant veel onderzoek naar schooleffecten heeft gebruik gemaakt van nogal brede en algemene effectiviteitscriteria dit zou een van de redenen kunnen zijn waarom in veel studies ook in nederland de netto schooleffecten klein zijn iedereen weet uit eigen ervaring dat er op scholen goede en slechte leerkrachten 73 rondlopen en dat individuele leerkrachten in bepaalde onderdelen van hun vak beter en in andere onderdelen slechter lesgeven door het gebruik van brede en algemene effectiviteitscriteria zou een niet onaanzienlijk deel van de bestaande specifieke verschillen wel eens uitgemiddeld kunnen worden zo bezien kan het gebruik van specifieke criteria het inzicht in schooleffecten bevorderen 3 onderzoeksvragen en opzet in mijn onderzoek stonden twee vragen centraal 1 hoe groot zijn de verschillen in schrijfprestaties tussen scholen in verhou ding tot de verschillen op het niveau van individuele leerlingen 2 welk deel van de prestatieverschillen op schoolniveau valt toe te schrijven aan kenmerken van scholen en van het schrijfonderwijs en welk deel aan achtergrondkenmerken van leerlingen op 107 scholen voor voortgezet onderwijs werden schrijfprodukten van leerlin gen uit het derde leerjaar verzameld6 per school nam een klas aan het onder zoek deel een lto een lhno een mavo een havo of een vwo klas uit een totaal van acht schrijfopdrachten maakte iedere leerling er drie per klas werd het schrijfwerk van 12 leerlingen beoordeeld hetgeen neerkomt op een totaal van 36 opstellen per klas de opstellen werden op uiteenlopende kwaliteitsaspecten beoordeeld in de onderhavige analyses wordt een samenvat tende prestatievariabele gebruikt het gemiddelde van oordelen over globale kwaliteit inhoud opbouw en stijl voor drie verschillende schrijfopdrachten de validiteit van deze gemiddelde schrijfvaardigheidsscore lijkt voldoende gewaar borgd de glopper 1988 p 73 77 de betrouwbaarheid van de individuele scores bedroeg 75 cronbachs alpha met behulp van schriftelijke vragenlijsten zijn bij de leerkrachten neder lands en de leerlingen van de 107 klassen gegevens verzameld over een grote hoeveelheid variabelen achtergrondkenmerken van leerlingen en leerkrachten instructiekenmerken en schoolkenmerken 4 de omvang van de verschillen in schrijfprestaties op schoolniveau er bestaat geen absolute standaard waaraan de grootte van verschillen tussen scholen afgemeten kan worden een voor de hand liggende relatieve standaard is er wel de grootte van verschillen tussen individuele leerlingen veel gebruikt is de intra klasse correlatiecoefficient rho rho is gebaseerd op de verhouding van de variantie van de klasgemiddelden en de variantie van de individuele scores onder de aanname van een in twee trappen aselecte steekproef name lijk een aselecte steekproef van klassen en binnen klassen een aselecte steek proef van leerlingen geeft de volgende vergelijking een zuivere schatter van rho rho b b 1 ss2 si2 1 b 1 kish 1965 74 de kern van de formule is de verhouding tussen ss2 en s 2 de variantie van de klasgemiddelden en de variantie van de individuele scores hoe groter de verschillen tussen klassen zijn in verhouding tot de individuele verschillen hoe groter rho de waarde b in de formule staat voor het aantal leerlingen dat uit iedere klas getrokken wordt7 en bepaalt de correctiefactor voor de ratio van de twee varianties deze correctiefactor moet voorkomen dat bij kleine leerling steekproeven per klas de tussen klassen variantie overschat wordt hoe groter b hoe dichter rho ligt bij de ratio s s2 immers bij toename van b nadert b b 1 naar 1 en 1 b 1 naar 0 een eenvoudig rekenvoorbeeld kan de betekenis van rho verhelderen stel dat we te maken hebben met een steekproef van 1000 leerlingen afkomstig uit 100 verschillende klassen aan deze leerlingen is een woordenschattest afgeno men van 100 items de gemiddelde leerlingscore bedraagt 50 de leerlingen standaarddeviatie 15 en de tussen leerlingen variantie 225 als binnen iedere klas alle geteste leerlingen dezelfde score behalen in klas 1 tien maal 20 in klas 2 tien maal 30 etc dan zullen het klasgemiddelde de klasse standaardde viatie en de tussen klassen variantie eveneens 50 15 en 225 bedragen de variantie tussen klassen is in dit geval even groot als de variantie tussen leerlingen en rho neemt voor b 10 zijn maximale waarde aan we hebben hier een extreem geval alle verschillen op het individuele niveau zijn herleid baar tot verschillen op klasniveau in een tweede voorbeeld hebben we te maken met een steekproef van 1000 andere leerlingen afkomstig uit een ander honderdtal klassen aan deze leerlingen is dezelfde test afgenomen en op het leerlingenniveau bedragen het gemiddelde de standaarddeviatie en de variantie opnieuw 50 15 en 225 als in iedere klas de verdeling van de scores hetzelfde is in alle klassen bijvoorbeeld ongeveer 25 35 40 45 50 50 55 60 65 75 dan zullen het klasgemiddelde de klasse standaarddeviatie en de tussen klassen variantie 100 0 en 0 bedragen de variantie tussen klassen is nihil want het gemiddelde van iedere klas bedraagt 50 nu neemt rho voor b 10 zijn minimale waarde aan ook dit is een extreem geval niets van de verschillen op het individuele niveau is herleidbaar tot verschillen op klasniveau in werkelijkheid is de omvang van verschillen tussen klassen niet zo extreem als in de gegeven voorbeelden het is gebruik om reeds bij betrekke lijk kleine waarden van rho in de orde van grootte van 20 van aanzienlijke verschillen tussen klassen of scholen te spreken in veel onderzoek worden lagere waarden van rho gevonden blok en eiting 1987 rapporteren over de verschillen tussen basisscholen op taalprestatiemetingen een gemiddelde rho van 13 scheerens 1989 rapporteert in een samenvatting van nederlandse onder zoeksresultaten een gemiddelde tussen scholen variantie van dezelfde orde van grootte in tabel 2 zijn de waarden van rho uit mijn onderzoek weergegeven uit de tabel blijkt dat de verschillen tussen de klasgemiddelden in de totale steekproef zeer aanzienlijk zijn deze grote verschillen weerspiegelen het sterk selectieve karakter van het nederlandse voortgezet onderwijs binnen de schooltypen en dat is niet verwonderlijk zijn de waarden van rho veel lager toch zijn ze nog steeds omvangrijk te noemen ook door andere variabelen dan het schooltype valt derhalve nog verschil te verklaren we zijn daarmee toe aan de beantwoor ding van de tweede onderzoeksvraag 75 tabel 2 de grootte van de verschillen tussen scholen in de totale steekproef en per schooltype totaal lto lhno mavo havo vwo 107 20 14 40 14 18 48 20 28 19 19 18 5 achtergrondkenmerken van leerlingen achtergrondkenmerken werden bij de leerlingen met behulp van vragenlijsten gemeten de vragenlijsten bevatten vooral vragen die op de sociaal economische status van het gezin betrekking hadden en op taalgebruik en taalgewoonten in tabel 3 zijn de achtergrondvariabelen weergegeven die in de hier gerapporteerde analyses gebruikt zijn tabel 3 geselecteerde achtergrondkenmerken van leerlingen variabele operationalisatie geslacht leeftijd ses opleiding en beroepsniveau ouders verzorgers boekenbezit aantal boeken thuis bibliotheekbezoek frequentie van bibliotheekbezoek leestijd boeken tijd besteed aan het lezen van boeken leestijd strips tijd besteed aan het lezen van strips tijd huiswerk tijd besteed aan het maken van huiswerk tijd tv tijd besteed aan het kijken naar de t v tijd radio tijd besteed aan het luisteren naar de radio mondelinge interactie frequentie en inhoud van mondelinge interactie thuis de variabele sociaal economische status ses is een index van het opleidings en beroepsniveau van de ouders of verzorgers van de leerling cronbachs alpha voor de vier items bedraagt 87 tijd tv en tijd radio zijn ieder gebaseerd op twee vragen kijk luistertijd op doordeweekse dagen en kijk luistertijd op weekenddagen cronbachs alpha bedraagt respectievelijk 70 en 66 mondelin ge interactie is een index van 11 vragen die betrekking hebben op de frequentie en inhoud van de mondelinge interactie in het gezin cronbachs alpha bedraagt 70 de andere variabelen zijn alle met afzonderlijke vragen gemeten 6 instructievariabelen de vragenlijsten voor de leerkrachten en de leerlingen bevatten tal van vragen over het schrijfvaardigheidsonderwijs de keuze van de vragen was voor een belangrijk deel gebaseerd op een review van 158 studies naar de effecten van instructievariabelen op de schrijfvaardigheid wesdorp 1983 uit dit review en uit een later review van hillocks 1986 komen bepaalde veelbelovende 76 instructie aanpakken naar voren pre writing activities activiteiten die het schrijven voorbereiden door leerlingen na te laten denken over de opdracht en over het onderwerp peer evaluation beoordeling van schrijfprodukten door mede leerlingen vergelijk rijlaarsdam 1986 zinscombinatie onderwijs verge lijk schuurs 1990 revisie onderwijs onderwijs waarin leerlingen hun schrijf produkten leren herschrijven en het gebruik van specifieke kwaliteitscriteria en schalen met voorbeeldopstellen als specificatie van de doelen van het schrijf onderwijs de vragenlijsten stemden verder overeen met meer algemene uitkomsten van onderzoek naar effectieve instructie bijvoorbeeld walberg 1986 er werd voor gezorgd dat er variabelen betreffende de leertijd de duidelijkheid van doelstellingen en de hoeveelheid feedback opgenomen waren de overgrote meerderheid van de instructievariabelen bleek niet of nauwe lijks met de leerlingprestaties samen te hangen een plausibele verklaring voor dit gegeven is dat er nauwelijks variantie was op de variabelen die betrekking hadden op de bovengenoemde effectieve steldidactieken uit dit resultaat en uit corresponderende resultaten van een grootschalige enquete onder 1000 leer krachten nederlands in het voortgezet onderwijs damhuis e a 1983 bleek overduidelijk dat deze specifieke aanpakken van het schrijfonderwijs in het nederlandse voortgezet onderwijs vrijwel non existent zijn vanuit het perspec tief van schooleffectiviteit en daarmee natuurlijk vanuit didactisch oogpunt is dit gegeven op zichzelf hoogst belangrijk effectief onderwijs kan niet zonder effectieve instructie aanpakken het gemis daaraan in het schrijfonderwijs geeft aan dat er een belangrijk potentieel is voor de verbetering van het schrijfvaar digheidscurriculum dat het in principe veel beter kan geldt niet alleen voor het schrijfonderwijs en niet alleen in nederland het onderwijs in schrijven en lezen binnen en buiten nederland is voor belangrijke verbetering vatbaar vgl durkin 1978 naep 1985 applebee e a 1986 weterings aarnoutse 1986 enkele variabelen bleken echter wel substantieel met de schrijfprestaties van de leerlingen samen te hangen drie daarvan zijn betrokken in de analyses waarover ik hieronder rapporteer het betreft de hoeveelheid directe instructie in tekstkenmerken het aantal oefeningen in tekstproduktie en de hoeveelheid feedback zie ook bijlage 1 dat deze variabelen samenhangen met de schrijf prestaties komt overeen met de meer algemene uitkomsten van onderzoek naar effectieve instructie vergelijk walberg 1986 tabel 4 geselecteerde instructievariabelen variabele operationalisatie instructie tekstkenmerken instructie in kenmerken van verschillende typen teksten oefeningen tekstproduktie oefeningen in onderdelen van tekstproduktie feedback frequentie timing en toon van de feedback instructie tekstkenmerken is een index van acht variabelen die betrekking hebben op de benadrukking in het onderwijs van kennis over tekstkenmerken de betreffende vragen gaan bij voorbeeld over de aandacht voor narratief proza en de analyse van tekststructuren en stilistiek cronbachs alpha bedraagt 76 77 oefening tekstproduktie is een index van 11 vragen over oefeningen in verschillende onderdelen van het schrijfproces bijvoorbeeld het kiezen of opzetten van een tekstschema het gaat hier uitdrukkelijk niet om oefeningen die betrekking hebben op spelling interpunctie of grammatica cronbachs alpha bedraagt 83 feedback is een index van 22 vragen over de frequentie waarmee het moment onmiddellijk of met meer of minder uitstel en de toon kri tisch positief waarop leerkrachten feedback op de schrijfprodukten van hun leerlingen geven cronbachs alpha bedraagt ook hier 83 alle genoemde vragen zijn gemeten met behulp van de leerkrachtvragenlijst 7 schooltype de variabele schooltype is voor onderzoek naar schooleffectiviteit vanzelfspre kend van groot belang allereerst omdat binnen het voortgezet onderwijs selectie naar leerprestaties plaats vindt verschillen in schrijfprestaties tussen klassen zullen daarom voor een niet onaanzienlijk deel terug gaan op prestatie verschillen tussen schooltypen en daarmee op verschillen tussen eerdere leer prestaties hetzelfde geldt tot op zekere hoogte ook voor het onderwijsaanbod het onderwijsaanbod verschilt van klas tot klas ook deze verschillen zijn voor een deel terug te voeren zijn op verschillen tussen schooltypen de glopper 1988 de vijf in de steekproef vertegenwoordigde schooltypen zijn met behulp van vier zogeheten dummy variabelen geschaald de wijze van schaling is weergegeven in tabel 5 met de vier dummy variabelen wordt alle informatie over het schooltype weergegeven de lto scholen hebben op alle dummy variabelen de waarde nul alleen de lhno scholen hebben de waarde een op dummy 1 alleen de mavo scholen hebben de waarde een op dummy 2 etcetera bij statistische analyses geven de dummy variabelen daardoor de contrasten tussen de schooltypen aan tabel 5 codering dummy variabelen schooltype in de tabel de waarden 0 en 1 van de vijf schooltypen op de vier dummy variabelen d u m m y1 dummy2 dummy3 dummy4 lto 0 0 0 0 lhno 1 0 0 0 mavo 0 1 0 0 havo 0 0 1 0 vwo 0 0 0 1 8 resultaten de onderzoeksgegevens hebben typisch een multilevel of multi niveau structuur op het individuele niveau hebben we metingen over leerlingen op het groepsniveau hebben we metingen over klassen of scholen de gegevens 78 zijn geanalyseerd met een daarbij passend analyseprogramma goldsteins programma voor multilevel analyse goldstein 1987 bij de multiniveau analyse worden metingen op individueel niveau hier schrijfvaardigheid gezien als een functie van andere individuele metingen zie tabel 3 en van metingen op groepsniveau zie tabellen 4 en 5 voor ieder van de afzonderlijke school typen was het volgende model gespecificeerd y i a a bx 5z ei waarbij yti de schrijfvaardigheidsscore van leerling i in klas j is a de gemiddel de score van de totale steekproef is as de score is die de afwijking van het gemiddelde van klas j ten opzichte van de het totaal gemiddelde aangeeft b de regressiecoefficient9 is voor de score van leerling i in klas j op een indivi duele achtergrondvariabele 8 de regressiecoefficient is voor z de score voor klas j op een instructievariabele en ey een residuele scorecomponent is voor leerling i in klas j een component die aangeeft welk deel van de individuele schrijfvaardigheidsscore niet door de rest van de vergelijking beschreven kan worden voor de steekproef als geheel zijn de vier dummy variabelen voor schoolty pe als variabelen op het klasniveau aan de bovenstaande vergelijking toege voegd bij de multilevel analyse hoeft anders dan in klassieke regressie analyse niet aangenomen te worden dat coefficient b in iedere klas dezelfde waarde heeft ik ben daarom nagegaan of b voor een of meer individuele variabelen tussen klassen significant varieert10 ik heb geen modellen gevonden waarin van significante variatie in b sprake was deze bevinding kan mede een gevolg zijn van de beperkte steekproefomvang binnen schooltypen de resultaten van de analyses zijn samengevat in de tabellen 6 en 7 in tabel 7 zijn schattingen van rho weergegeven onder verschillende modellen letten we alleen op de eerste kolom dan valt op dat de dummy variabelen voor schoolty pe alleen reeds een groot deel van de verschillen tussen klassen verklaren de initiele rho van 48 zie tabel 2 daalt door de introductie van deze variabelen naar 31 de introductie van de achtergrondvariabelen doet rho verder dalen tot 14 in de totale steekproef zorgt de introductie van de instructievariabelen niet voor een verdere daling van rho voor de afzonderlijke schooltypen zijn de resultaten zeer overeenkomstig de individuele achtergrond variabelen zorgen voor een flinke reductie van rho lto van 20 tot 14 lhno van 28 tot 17 mavo van 19 tot 17 havo van 19 tot 11 en vwo van 18 tot 10 in twee van de vijf schooltypen lto en lhno wordt rho door de introductie van de instructievariabelen verder verkleind respectievelijk tot 07 en 08 waarom de instructievariabelen er hier wel en elders niet toe doen is niet duidelijk als verklaring kan de hypothese naar voren gebracht worden dat verschillen in instructie kwaliteit zich het eerst in de prestaties van zwakke schrijvers met name lbo leerlingen zullen openbaren net als zwakke lezers zijn zwakke schrijvers het meest gebaat bij goede instructie 79 tabel 6 schattingen van rho onder verschillende modellen totaal ito ihno mavo havo vwo schooltype 31 achlergrondvariabelen 14 14 17 17 11 10 achtergrond en instructievariabelen 14 07 08 17 11 10 tabel 7 schattingen van regressiegewichten en bijbehorende standard errors variabele b 6 s e dummy 1 09 12 dummy 2 65 09 dummy3 99 12 dummy4 1 17 11 geslacht 35 05 leeftijd 01 01 ses 01 02 boekenbezit 03 02 bibliotheekbezoek 03 01 leestijd boeken 02 01 leestijd strips 04 02 tijd huiswerk 01 01 tijd tv 02 02 tijd radio 01 02 mondelinge interactie 13 04 instructie tekstkenmerken 05 01 oefeningen tekstproduktie 01 01 feedback 01 01 tabel 7 bevat de schattingen van de regressie gewichten voor de variabelen op individueel b en op groepsniveau 8 en de bijbehorende standard errors significant op het 05 niveau zijn die coefficienten die in absoluut opzicht 1 96 maal groter zijn dan hun standard error uit de tabel kan opgemaakt worden dat de dummy variabelen voor schooltype veel gewicht in de schaal leggen van de achtergrondvariabelen zijn geslacht bibliotheekbezoek leestijd boeken en strips en mondelinge interactie significant ses draagt in de aanwezigheid van andere achtergrondvariabelen opmerkelijk genoeg niet bij aan de voorspel ling van de individuele schrijfvaardigheidsscores van de instructievariabelen draagt instructie tekstkenmerken significant bij aan de voorspelling 9 discussie in het bovenstaande zijn twee vragen beantwoord in het nederlandse voortge zet onderwijs bestaan er tussen scholen grote verschillen in schrijfprestaties het 80 grootste deel van de verschillen tussen scholen kan echter toegeschreven worden aan de variabele schooltype een gevoelige indicator voor eerdere leerprestaties en intelligentie en aan achtergrondkenmerken van de leerlingen binnen het lbo leggen instructievariabelen bij het verklaren van verschillen tussen scholen nog enig gewicht in de schaal dit laatste vormt een aanwijzing voor echte verschillen in schooleffectiviteit het is interessant om op te merken dat de instructievariabelen er bij de zwakkere leerlingen het meest toe lijken te doen deze bevinding correspondeert met het gegeven dat veel van het onderzoek dat positieve schooleffecten demonstreerde gericht was op laag presterende leerlingen hierboven is al opgemerkt dat verschillen in instructie kwaliteit zich wellicht het eerst in de prestaties van zwakke schrijvers zullen openbaren net als zwakke lezers zijn zij het meest gebaat bij goede instructie aan het lage uiteinde van de prestatieverdeling zou verder de variatie in aanpak en resultaten wel eens het grootst kunnen zijn deze resultaten geven geen aanleiding tot hoge verwachtingen omtrent de grootte van schooleffecten in het nederlandse schrijfvaardigheidsonderwijs toch moet gewaarschuwd worden tegen de interpretatie dat scholen geen verschil maken in de eerste plaats moet met nadruk opgemerkt worden dat allerlei effectie ve vormen van schrijfdidactiek in het nederlandse schrijfvaardigheidsonderwijs niet of nauwelijks voorkomen het schrijfcurriculum bestaat overwegend uit globale oefening zonder veel instructie of gerichte oefening van deelprocessen en vaardigheden onder deze omstandigheden is het niet verbazingwekkend dat scholen weinig verschil maken uit het feit dat ze onder de huidige omstandig heden geen verschil maken mag echter niet afgeleid worden dat ze geen verschil kunnen maken in de tweede plaats moet een kanttekening geplaatst worden bij de kwaliteit van metingen van achtergrond en instructievariabelen in grootschalig survey onderzoek zoals de onderhavige iea studie en nationale peilingsstudies laat de kwaliteit van metingen van onderwijs en leerprocessen en van individuele achtergrondkenmerken te wensen over de onbetrouwbaarheid van de meting van tijdbesteding is door otter 1987 aangetoond voor een treffend voorbeeld van de onbetrouwbaarheid van metingen van buitenschoolse activiteiten kan verwezen worden naar de discrepantie tussen verschillende typen metingen van de tijd die kinderen besteden aan het kijken naar televisie de dienst kijk en luisteronderzoek van de nos hanteert al vele jaren de zogenaamde knoppen methode in een groot aantal gezinnen staat een televisietoestel waaraan een afzonderlijk kastje met knoppen verbonden is ieder gezinslid kinderen vanaf 6 jaar en volwassenen heeft een eigen knop die bij het kijken naar een of ander programma ingedrukt moet worden uit dit knoppenonderzoek dat algemeen geldt als de meest valide en betrouwbare kijktijdmeting blijkt dat 9 tot 12 jarigen in het tweede kwartaal van 1988 dagelijks gemiddeld minder dan vier kwartier televisie keken nos 1990 uit gegevens van ppon die betrekking hebben op de maanden mei en juni 1988 komt naar voren dat 81 van de getoetste 12 jarigen de dag voor de toetsafname gemiddeld zeven kwartier televisie heeft gekeken zwarts 1990 p 39 dit geeft te denken over de kwaliteit van vragenlijstmetingen 81 ten derde onderzoek naar schooleffecten concentreert zich op individuele en op groepsverschillen en op de daarmee samenhangende ongelijkheidsproble matiek hoe belangrijk dat ook is er mag niet vergeten worden dat prestatie verdelingen ook andere belangrijke kenmerken bezitten niet alleen de spreiding van scores is interessant ook de hoogte van gemiddelde scores en de ontwik keling daarvan in de tijd is belangrijk hetzelfde geldt voor de omvang van het lage uiteinde van de prestatieverdeling het percentage leerlingen dat niet of nauwelijks in staat is tot het verrichten van belangrijk geachte taken in onderzoek naar schooleffectiviteit worden deze aspecten nog teveel verwaar loosd noten 1 deze tekst is een bewerking van een lezing voor het third international congress for school effectiveness te jeruzalem 3 5 januari 1990 2 eerdere congressen vonden plaats in londen 1988 rotterdam 1989 en jeruzalem 1990 van de eerste twee congressen zijn bundels uitgebracht resp creemers e a 1989 reynolds e a 1989 3 school effectiveness and school improvement an international journal of research policy and practice editors david reynolds bert p m creemers uitgever swets zeitlinger amsterdam lisse 4 het ging in zulk onderzoek vaak om bijzondere scholen scholen die opvallend goed presteren gelet op de aard van hun leerlingeninstroom veel leerlingen uit anderstalige milieus en uit milieus met een laag ses 5 over de status van de resultaten gebrek aan replicatie onderzoek en over de interpretatie wat zijn grote kleine effecten bestaat nog geen consensus scheerens 1989 6 het responspercentage bedroeg 75 de representativiteit van de steekproef lijkt gewaarborgd vergelijking van vragenlijstgegevens met corresponderen de resultaten van een andere onafhankelijke steekproef bracht alleen zeer geringe discrepanties aan het licht 7 in peilingsonderzoek worden per taak of toets vaak steekproeven uit klassen getrokken opdrachten worden vaak niet aan een intacte klas voorgelegd omdat de informatieopbrengst bij het toetsen van een complete klas niet opweegt tegen de kosten vanwege de intra klasse correlatiecoefficient rho is het bij een vast aantal te testen leerlingen wenselijk om meer klassen te onderzoeken en per klas minder leerlingen voor een illustratie hiervan zie hoeksma e a 1985 8 de standaarddeviatie is een maat voor de omvang van de afwijking van een verzameling scores ten opzichte van hun gemiddelde de variantie van een verzameling scores is het kwadraat van hun standaarddeviatie 9 de regressiecoefficient geeft aan hoeveel invloed een onafhankelijke variabele op een afhankelijke variabele heeft preciezer gezegd geeft de coefficient aan hoeveel de score op de afhankelijke variabele mee verandert met een verandering van de score op de onafhankelijke variabele 10 men moet zich hierbij voorstellen dat bijvoorbeeld de samenhang tussen ses en schrijfvaardigheid van klas tot klas kan varieren er kunnen klassen zijn waarin wel een duidelijke samenhang tussen beide variabelen is en 82 klassen waarin die samenhang om een of andere reden ontbreekt bijvoor beeld door differentiatie maatregelen bibliografie applebee a n langer j a muilis l v s 1986 writing trends across the decade 1974 1984 princeton nj ets naep blok h eiting m h 1987 de grootte van schooleffecten hoe verschil lend presteren leerlingen van verschillende scholen tijdschrift voor onder wijsresearch 13 16 30 brookover w b beady c flood p 1979 school social systems and student achievement schools can make a difference new york prager publishers coleman j s et al 1966 equality of educational opportunity washington d c u s government printing office creemers b p m peters t reynolds d 1989 school effectiveness and school improvement proceedings of the second international congress rotterdam 1989 lisse swets zeitlinger damhuis r glopper k de wesdorp h 1983 het opstelonderwijs stelvaardigheid in het voortgezet onderwijs theorie en praktijk amsterdam sco 1983 durkin d 1978 what classroom observations reveal about reading compre hension instruction reading research quarterly 14 481 533 edmonds r r 1979 effective schools for the urban poor educational leadership 37 15 24 goldstein h 1987 multilevel models in educational and sociological re search london charles griffin gorman t p purves a c degenhart r e 1988 the iea study of written composition 1 the international writing tasks and scoring scales oxford pergamon press glopper k de 1988 schrijven beschreven den haag svo selecta reeks hillocks g jr 1986 research on written composition new directions for teaching urbana illinois ncre eric jencks c et al 1972 inequality new york basic books kish l 1965 survey sampling new york john wiley sons mortimore p sammons p stool l lewis d ecob r 1988 school matters the junior years somerset open books naep 1986 the reading report card progress toward excellence in our schools trends in reading over four national assessments 1971 1984 princeton nj ets n aep nos 1990 continu kijk onderzoek jeugd tweede kwartaal 1990 hilversum nos afdeling kijk en luisteronderzoek otter m e 1987 tijdbesteding aan moedertaalonderwijs op vier manieren gemeten amsterdam sco reynolds d creemers b p m peters t 1989 school effectiveness and improvement proceedings of the first international congress london 1988 cardiff school of education groningen rion 83 rijlaarsdam g c w 1986 effecten van leerlingenrespons op aspecten van de stelvaardigheid amsterdam sco scheerens j 1989 wat maakt scholen effectief samenvatting en analyse van onderzoeksresultaten den haag svo schuurs u r i 1990 leren schrijven voor lezers universiteit twente faculteit wijsbegeerte en maatschappijwetenschappen wmw publikatie 3 thorndike r l 1973 reading comprehension education in eifteen countries stockholm almqvist wiksell walberg h j 1986 syntheses of research on teaching in m c wittrock ed handbook of research on teaching third edition new york london macmillan 214 229 wesdorp h 1983 schrijven in het voortgezet onderwijs een overzicht van het onderzoek naar de effecten van diverse instructie variabelen op de stelvaardigheid harlingen flevodruk weterings a c e m aarnoutse c a j 1986 de praktijk van het onderwijs in begrijpend lezen pedagogische studien 63 387 400 zwarts m red 1990 balans van het taalonderwijs aan het einde van de basisschool uitkomsten van de eerste taaipeiling einde basisonderwijs arnhem cito 84 bijlage 1 instructie tekstkenmerken welke nadruk krijgen de onderstaande vakonderdelen in uw onderwijs aan deze klas welke nadruk hebben deze vakonderdelen gekregen in het moedertaalonderwijs dat deze leerlingen in voorafgaande leerjaren ontvangen hebben voorzover u daarvan op de hoogte bent veel nadruk in weinig nadruk in veel nadruk in de weinig nadruk mijn onderwijs mijn onderwijs voorafgaande leer in voorafgaan aan deze klas aan deze klas jaren de leerjaren de structuur van verschillende tekstsoorten verhalend argu menterend esthetica en literatuur theorie kennis van genres en stro mingen fictioneel proza zakelijk proza oefeningen tekstproduktie hoe vaak maakt u gebruik van de volgende oefeningen binnen uw stelonderwijs aan deze klas zelden of nooit soms een of enkele vaak een of enkele hoogstens een keer malen per kwartaal malen per maand per jaar oefeningen in het structureren van alinea s en gehele stelpro dukten oefeningen in het opbouwen van een betoog hoe een onder werp systematisch te behandelen oefeningen in het schrijven van onderdelen van een beloog al leen de inleiding de hoofdvraag het slot oefeningen in het verzamelen en selecteren van materiaal uit boe ken handboeken e d oefeningen in het denken over een onderwerp en het ontwikke len van een stelprodukt bv het in grote lijnen opzetten 85 zelden of nooit soms een of enkele vaak een of enkele hoogstens een keer malen per kwartaal malen per maand per jaar oefeningen in beeldspraak stijlfiguren en het concreet of juist beeldend gebruik van taal oefeningen in het analyseren van het publiek van het stel produkt en oefeningen in het schrijven voor een bepaald pu bliek oefeningen in de verhalende tekstsoort oefeningen in de beschrijvende tekstsoort oefeningen in de uiteenzettende beschouwende tekstsoort oefeningen in de argumente rende tekstsoort feedback verschillende personen kunnen commentaar geven op de stelprodukten die leerlingen schrijven geef aan hoe vaak de onderstaande mogelijkheden zich in de klas voordoen zelden of nooit soms een of enkele vaak een of enkele hoogstens een keer malen per kwartaal malen per maand per jaar leerlingen krijgen commentaar suggesties en of verbeteringen van de eigen docent leerlingen krijgen commentaar suggesties en of verbetering van een of meer andere docenten of hospitanten leerlingen krijgen commentaar suggesties en of verbeteringen van hun klasgenoten leerlingen geven commentaar e d op hun eigen stelprodukten 86 op welke wijze geven verschillende personen commentaar op de stelprodukten die uw leerlingen schrijven geef aan hoe vaak de onderstaande mogelijkheden zich in deze klas voordoen zelden of nooit soms een of enkele vaak een of enkele hoogstens een keer malen per kwartaal malen per maand per jaar commentaar van de docent of een andere volwassene wordt in geschreven vorm aan de leerling aangeboden elke leerling krijgt beoordeelde gecorrigeerde stelop dracht terug om voor zichzelf door te lezen commentaar van de docent of van een andere volwassene wordt in een persoonlijk gesprek tijdens of na de les aangeboden commentaar van de docent of een andere volwassene wordt aangeboden aan de hele klas de belangrijkste fouten uit een aantal stelprodukten worden bediscussieerd commentaar van klasgenoten wordt gegeven in kleine groepjes waarbij leerlingen el kaars stelprodukten bespreken commentaar van klasgenoten wordt in schriftelijke vorm uit gewisseld commentaar op stelprodukten kan op verschillende momenten gegeven worden geef aan hoe vaak de onderstaande mogelijkheden zich in de klas voordoen zelden of nooit soms een of enkele vaak een of enkele hoogstens een keer malen per kwartaal malen per maand per jaar ik geef commentaar terwijl de leerlingen bezig zijn de stelop dracht te maken ik geef commentaar e d meteen na het maken van de stclop dracht tot 3 dagen ema ik geef commentaar kort na het maken van de stelopdracht 4 tot 7 dagen ema 87 docenten kunnen hun beoordeling van stelprodukten op verschillende manieren uitdrukken geef over elk van de onderstaande manieren aan hoe vaak u die gebuikt bij uw stelondcrwijs in deze klas zelden of nooit soms een of enkele vaak een of enkele hoogstens een keer malen per kwartaal malen per maand per jaar ik ken aparte cijfers letters of woorden toe aan een aantal aspecten van het stelprodukt bv inhoud organisatie ik geef een algemeen commen taar in geschreven vorm aan het eind van het stelprodukt in 2 of 3 regels globale opmerkingen over de kwaliteit ik geef gedetailleerd commen taar inclusief suggesties voor verbeteringen in de vorm van geschreven opmerkingen in de kantlijn en of tussen de regels ik geef gedetailleerd commen taar inclusief suggesties voor verbetering op slechts een be paald aspect van het stelprodukt bv inhoud stijl ik geef commentaar op sterke en zwakke punten en markeer verschillende soorten fouten en zwakheden en de van toepassing zijnde correcties met symbolen die bij de leerlingen bekend zijn lk geef commentaar op sterke en zwakke punten en geef ver schillende soorten fouten en zwakheden aan in de tekst en op een aparte lijst waarop de belangrijkste soorten fouten en moeilijkheden beschreven zijn ik geef een sterk punt aan in elk stelprodukt ik geef commentaar en stel verbeteringen voor vervolgens herzien de leerlingen hun stel produkt geheel ze schrijven een herziene versie ik geef commentaar en stel verbeteringen voor vervolgens verbeteren de leerlingen alleen de gebrekkige passages gedeel telijke revisie ik geef commentaar en stel verbeteringen voor maar ik vraag geen revisie van de leer lingen 88