Hoe het meten van schrijfvaardigheid goed voorbereid kan worden

boekbespreking henny uiterwijk hoe het meten van schrijfvaardigheid goed voorbereid kan worden een bespreking van rob schoonen de evaluatie van schrijjvaardigheidsmetingen een empirische studie naar de betrouwbaarheid validiteit en bruikbaarheid van schrijfvaardig heidsmetingen in de achtste groep van het basisonderwijs amsterdam sco kohnstamm instituut universiteit van amsterdam proefschrift 1991 1 inleiding om aan de discussie over wat kinderen op de basisschool moeten leren en feitelijk leren een empirische basis te verschaffen is in 1986 in opdracht van het toenmalige ministerie van onderwijs en wetenschappen het project periodieke peiling van het onderwijsniveau ppon van start gegaan het project ppon waarvan de uit voering is ondergebracht bij het cito heeft inmiddels van vrijwel alle vak en vormingsgebieden onderzocht wat de kinderen wordt onderwezen en wat de leer resultaten daarvan zijn het is de bedoeling om deze peilingen periodiek te herhalen waardoor ook vergelijkingen in de tijd mogelijk zijn het project ppon zal naar verwachting in 1996 kunnen rapporteren over de ontwikkelingen in de vakgebieden rekenen en taal aan de start van het project ppon is de voorstudie ppon voorafgegaan waarin de haalbaarheid van het peilen van het onderwijsaanbod en de leerresultaten van het vakgebied taal in de achtste groep van het basisonderwijs onderzocht werd de voorstudie werd in de periode 1983 1985 door de stichting centrum voor onderwijsonderzoek sco van de universiteit van amsterdam uitgevoerd de hier te bespreken dissertatie van rob schoonen die voortvloeit uit de voor studie ppon is het verslag van een empirisch onderzoek naar de betrouwbaarheid validiteit en bruikbaarheid van verschillende operationalisaties van schrijfvaardig heid met het oog op het beantwoorden van de vraag hoe schrijfvaardigheid in periodieke taaipeilingen goed en efficient geoperationaliseerd kan worden in deze boekbespreking wordt eerst ingegaan op het doel de opzet en de resultaten van de studie tot slot volgt een beoordeling spiegel 14 1996 nr 1 83 89 2 doel van de studie in de voorstudie ppon was geconcludeerd dat onderzoek gewenst was enerzijds naar de scoring van schrijfprestaties en anderzijds naar de verschillende operatio nalisaties van schrijfvaardigheid de in de voorstudie gehanteerde schrijfvaardig heidsopdrachten die de leerlingen betrekkelijk weinig structuur boden lieten zien dat de leerlingen de opdrachten zeer verschillend interpreteerden en uitvoerden de grote variatie aan schrijfproducten stelde ook hoge eisen aan de deskundigheid van de beoordelaars en vroeg veel inspanning om de betrouwbaarheid van de beoor delingen op een aanvaardbaar niveau te krijgen het ligt voor de hand om te veronderstellen dat opdrachten die meer sturing aan de leerlingen geven minder variatie tussen de schrijvers laten zien en een voudiger te beoordelen zijn het is echter niet zeker dat gestructureerdere opdrachten inzake betrouwbaarheid en validiteit te beschouwen zijn als gelijk waardige operationalisaties van schrijfvaardigheid schrijfvaardigheid wordt in deze studie gedefinieerd als de mate waarin iemand in staat is een tekst te produceren die de door hem haar bedoelde boodschap adequaat verwoordt op een wijze die recht doet aan de communicatieve context en de gebezigde schrijftaal als operationalisatie van schrijfvaardigheid worden in deze studie vijf opdrachtvormen gehanteerd die oplopen in de mate waarin de leerling structuur krijgt aangeboden bepaalde opdrachten waarbij de schrijver alleen een communicatieve context schrijfdoel beoogde lezer krijgt aangereikt gestructureerde opdrachten waarbij de schrijver een context krijgt aangereikt en enkele sturende vragen als hulp bij het genereren en structureren van de tekst correctie opdrachten zonder markering waarbij de schrijver een tekst krijgt aangereikt die aan de schrijfopdracht voldoet maar die nog gereviseerd moet worden correctie opdrachten met markering waarbij de schrijver een tekst krijgt aan gereikt die aan de schrijfopdracht voldoet maar die op reeds gemarkeerde plaatsen revisie behoeft gesloten opdrachten waarbij de schrijver bij tekstfragmenten een aantal alter natieven met betrekking tot de inhoud of het taalgebruik krijgt aangeboden waaruit het beste alternatief gekozen moet worden de beoordelingsmethoden verschillen per operationalisatie en verondersteld wordt dat de deskundigheid van de beoordelaar bij sturender opdrachtvormen en striktere beoordelingsmethoden van minder belang wordt in het proefschrift over de betrouwbaarheid validiteit en bruikbaarheid van de vijf operationalisaties van schrijfvaardigheid wordt getracht de volgende vragen te beantwoorden leiden de sturender opdrachtvormen en beoordelingsmethoden tot betrouw baardere beoordelingen 84 zijn lekenbeoordelaars zonder betrouwbaarheids en of validiteitsverlies inzet baar bij de beoordeling van de schrijfprestaties die verzameld worden met de diverse operationalisaties van schrijfvaardigheid zijn de operationalisaties van schrijfvaardigheid gelijk in hun criteriumvaliditeit als men het docentenoordeel als criterium hanteert respectievelijk als men de bias van het instrument onderzoekt zijn de operationalisaties van schrijfvaardigheid gelijk in hun constructvaliditeit als men de relaties tussen de operationalisaties onderling beschrijft danwel die tussen de operationalisaties en intellectuele vaardigheden 3 opzet van de studie 3 1 instrumentontwikkeling voor de vijf operationalisaties van schrijfvaardigheid werden opdrachten geconstrueerd in zoverre ze niet beschikbaar waren uit de voorstudie ppon er zijn vier communicatieve situaties onderscheiden mensen overtuigen beschrijven van concrete zaken uitleggen van een spel en geven van een routebeschrijving op basis van elke communicatieve situatie zijn de eerder genoemde vijf opdracht vormen ontwikkeld dit is gedaan om te voorkomen dat zogenaamde taakeffecten een rol gaan spelen een taakeffect treedt op wanneer de correlatie tussen de deel aspecten van een schrijfvaardigheidsopdracht binnen dezelfde communicatieve situatie hoger is dan de correlatie van hetzelfde deelaspect over verschillende communicatieve situaties in dat geval wordt een leerlingscore meer beinvloed door de toevallige communicatieve situatie en het thema dat daarin in aan de orde wordt gesteld in het vervolg het onderwerp dan door de schrijfvaardigheid zelf om de constructvaliditeit van deze 5×4 instrumenten te onderzoeken is ook gebruik gemaakt van een reeds bestaande operationalisatie van het structure of intellect model van guilford in zoverre die betrekking heeft op semantische vaardigheden de schrijfproducten van de leerlingen zijn beoordeeld op twee aspecten inhoud organisatie en taalgebruik bij inhoud organisatie ligt het accent op de kwali teit van de boodschap die overgebracht wordt bij taalgebruik op de vorm van de taal met accent op de kwaliteit van het gebruikte idioom op de gehanteerde grammaticale regels en op de mate waarin het taalgebruik effectief passend en aantrekkelijk is bij de beoordelingen blijft de spelling en interpunctie buiten beschouwing de beoordelaars maken bij de bepaalde en gestructureerde opdrachten gebruik van reeksen geschaalde voorbeeldopstellen en van nauwkeurige scoringsvoor schriften de correctie opdrachten met en zonder markering worden met scorings 85 voorschriften beoordeeld en de gesloten opdrachten zijn geprecodeerd waardoor objectieve verwerking mogelijk is de scoringsvoorschriften zijn in zoverre ze niet beschikbaar waren uit de voorstudie ppon in deze studie ontwikkeld de kwaliteit van de in deze studie ontwikkelde opdrachtvormen en beoorde lingsinstrumenten is in een vooronderzoek beproefd en waar nodig aangepast 3 2 afname en scoring ten behoeve van het validatie onderzoek hebben 22 basisscholen met in totaal 442 leerlingen meegedaan aan de afname van de schrijfvaardigheidstoetsen de leer lingen zijn hiervoor in vijf groepen verdeeld vier groepen leerlingen maakten elk van een onderwerp alle vijf operationalisaties van schrijfvaardigheid zij maakten telkens eerst de minst sturende opdrachtvorm gevolgd door steeds gestructureer dere vormen de vijfde groep leerlingen maakte als controlegroep van alle vier onderwerpen alleen de minst gestructureerde opdrachtvorm bepaalde opdrachten alle vijf groepen maakten de gesloten opdrachten en de structure of intellect toets sl toets afgezien van de gesloten opdrachten en de sl toets werden alle schrijf opdrachten op inhoud organisatie en taalgebruik geevalueerd door deskundige beoordelaars de bepaalde en gestructureerde opdrachten werden per onderwerp door een jury van vijf personen op de aspecten inhoud organisatie of op taal gebruik beoordeeld deze twee opdrachtvormen werden per onderwerp zowel met geschaalde voorbeeldopstellen als met scoringsvoorschriften beoordeeld de correctie opdrachten met en zonder markering werden per onderwerp door een jury van drie personen op de aspecten inhoud organisatie of op taalgebruik beoor deeld van elke beoordelingseenheid waren de schrijfprestaties van 80 90 leerlingen beschikbaar de gesloten opdrachten en de sl toetsen vallen buiten de beoordeling van jury s omdat ze objectief gescoord werden 4 resultaten met de data die in het validatie onderzoek waren verzameld is nagegaan of de sturender opdrachtvormen en beoordelingsmethoden tot betrouwbaardere beoor delingen leiden er kan gesteld worden dat bij de beoordeling van teksten van bepaalde en gestructureerde opdrachten het effect van de opdrachtvorm niet of nauwelijks aanwezig is wel is gebleken dat scoringsvoorschriften betrouwbaardere beoordelingen opleveren dan geschaalde voorbeeldopstellen over het algemeen zijn beoordelingen over inhoud organisatie weer betrouwbaarder dan oordelen over taalgebruik bij de correctie opdrachten zijn de effecten tegengesteld aan de verwachtingen de meest sturende correctie opdracht wordt het minst betrouwbaar 86 beoordeeld hier wordt taalgebruik betrouwbaarder beoordeeld dan inhoud organisatie al in het vooronderzoek werd nagegaan of lekenbeoordelaars zonder betrouw baarheids en of validiteitsverlies inzetbaar zijn voor de beoordeling van schrijf prestaties die met verschillende opdrachtvormen zijn verzameld de inzet van lekenbeoordelaars is immers goedkoper dan die van deskundige beoordelaars gebleken is dat leken en deskundigen over het algemeen niet inwisselbaar zijn bij de minst sturende opdrachtvorm beoordeeld met geschaalde voorbeeldopstellen waren de verschillen in betrouwbaarheid tussen de soorten jury s het grootst in het voordeel van de deskundigen met name bij het aspect taalgebruik bij de beoor deling van de gestructureerde opdrachten met scoringsvoorschriften en bij correctie opdrachten met en zonder markering kunnen net zo goed leken ingezet worden als deskundigen uit het validatie onderzoek blijkt dat de vijf operationalisaties van schrijf vaardigheid positief maar niet hoog correleren tussen 30 en 50 met het docentenoordeel over de schrijfvaardigheid van de leerlingen opmerkelijk is dat de meest en de minst gestructureerde opdrachtvormen gerelateerd aan het docentenoordeel het meest valide zijn verder zijn de geschaalde voorbeeld opstellen valider dan beoordelingen met scoringsvoorschriften eveneens is nagegaan of de vijf operationalisaties van schrijfvaardigheid bepaalde subgroepen in de populatie bevoor of benadelen als subgroepen gelden jongens en meisjes en hoog en laagscorende leerlingen gebleken is dat de vijf operationalisaties onpartijdig zijn voor jongens en meisjes maar niet voor hoog en laagscorende leerlingen de verschillen tussen de gemiddelde vaardigheid van hoog en laagscorende leerlingen verkleinen naarmate de operationalisaties sturen der worden het wijst erop dat goede schrijvers minder en zwakkere schrijvers meer profiteren van gestructureerdere opdrachtvormen tevens is onderzocht hoe de relaties tussen de onderscheiden operationalisaties van schrijfvaardigheid te beschrijven zijn en hoe de relatie is tussen deze operatio nalisaties en enkele intellectuele si toets vaardigheden uit de analyses is gebleken dat de vijf schrijfvaardigheidsmetingen geen beroep doen op een latente vaardigheid er zijn extra vaardigheden in het geding met name bij de bepaalde en gestructureerde opdrachten deze extra vaardigheden die aan te duiden zijn met het kunnen structureren en generen komen sterker bij inhoud organisatie naar voren dan bij taalgebruik verder is gebleken dat de vijf operationalisaties een verschillend beroep doen op de intellectuele vaardigheden er zijn geen intellec tuele vaardigheden waaraan alle operationalisaties even sterk appelleren voor inhoud organisatie geldt dat de bepaalde opdrachten op meer intellectuele vaardigheden een beroep doen dan de sturendere opdrachtvormen bij taalgebruik is er geen structuur te ontdekken in de relaties tussen intellectuele vaardigheden en de operationalisaties van schrijfvaardigheid met betrekking tot bruikbaarheid van de instrumenten wordt opgemerkt dat de gestructureerde opdrachten en correctie opdrachten moeilijker zijn te ontwikkelen dan bepaalde en gesloten opdrachten en datzelfde geldt ook voor geschaalde voor beeldopstellen ten opzichte van scoringsvoorschriften 87 op basis van deze studie kan ten behoeve van periodiek taalpeilingsonderzoek een keuze gemaakt worden uit de onderscheiden opdrachtvormen beoordelings methoden en typen beoordelaars de auteur stelt dat de betrouwbaarheid en de validiteit van de metingen belangrijker zijn dan de praktische bruikbaarheid er wordt gesteld dat bij beoordelingsmethode de voorkeur uitgaat naar geschaalde voorbeeldopstellen boven de scoringsvoorschriften bij de keuze van de opdracht vorm wordt onderscheid gemaakt naar het aspect dat men wil operationaliseren voor inhoud organisatie kan men het beste kiezen voor de bepaalde opdrachten en voor taalgebruik geldt dat de gesloten opdracht en de correctie opdracht bruik baarder zijn dan de vrijere opdrachtvormen over het algemeen geldt dat het beste deskundige beoordelaars ingezet kunnen worden lekenbeoordelaars kunnen aan gezocht worden om de bepaalde opdrachten met geschaalde voorbeeldopstellen te beoordelen op het aspect inhoud organisatie aan het slot van zijn studie concludeert de schrijver dat de door hem getrokken conclusies voor een belangrijk deel overeenstemmen met de praktijk van de eerste taaipeiling van ppon in groep acht de schrijfvaardigheid wordt met bepaalde opdrachten gemeten en de schrijf prestaties worden op het communicatieve aspect beoordeeld de aspecten die betrekking hebben op taalgebruik worden met meer gesloten opdrachtvormen beoordeeld 5 beoordeling het is verheugend te constateren dat de meting van taalvaardigheid voor een nieuw fenomeen als periodiek peilingsonderzoek zorgvuldig is voorbereid dit geldt in het bijzonder voor het evalueren van de betrouwbaarheid en validiteit van schrijf vaardigheidsmetingen omdat dit ook in het kader van periodieke peilingen een veelzijdige en weerbarstige materie is uit de opzet van zijn onderzoek blijkt dat de auteur zich hiervan bewust is want hij besteedt aandacht aan vrijwel alle aspecten die bij dergelijke keuzes een rol spelen vooral het validiteitsonderzoek wordt zorgvuldig aangepakt hetgeen blijkt uit het feit dat de validiteit van de schrijfvaardigheidsmetingen op vier manieren is onderzocht de analyse van de onderzoeksresultaten gebeurt op adequate wijze en de resultaten worden zorgvuldig en gedetailleerd gerapporteerd er wordt niet nagelaten om te wijzen op zwakke plekken in de onderzoeksopzet en moeilijk interpreteerbare uitkomsten worden niet verbloemd de studie wordt gekenmerkt door degelijkheid en veelzijdigheid de kritische kanttekeningen die bij de studie worden geplaatst hebben dan ook betrek king op ondergeschikte punten in de studie heeft taalgebruik betrekking op de vorm van de taal met het accent op de kwaliteit van het gebruikte idioom op de gehanteerde grammaticale regels en op de mate waarin het taalgebruik effectief passend en aantrekkelijk is de spelling en de interpunctie behoren niet tot taalgebruik bij de beoordeling van de schrijfproducten wordt de regel gehanteerd dat schrijffouten die ook in de gesproken taal fout zouden zijn onder taalgebruik vallen en dat schrijffouten die in 88 de gesproken taal niet hoorbaar zijn onder spelling vallen en dus buiten beschouwing gelaten worden de schrijver geeft wel aan dat spelling en gramma tica niet altijd haarscherp te onderscheiden zijn maar er wordt niet ingegaan op de vraag waarom spelling en interpunctie buiten beschouwing gelaten worden en wat hiervan mogelijk de gevolgen zijn voor de procedure waarmee de schrijfproducten van leerlingen beoordeeld worden volgens het afnamedesign ontvangen de leerlingen vier schrijfopdrachten die oplopen in de mate van gestructureerdheid deze opdrachten gaan echter steeds over hetzelfde onderwerp bijvoorbeeld over het uitleggen van de route die je moet volgen om jouw huis vanaf het station te bereiken deze aanpak wordt verdedigd door te stellen dat als er wederzijdse beinvloeding zou zijn van de verschillende opdrachtvormen dat dan verwacht mag worden dat die invloed eerder van de minst open naar de opener opdrachtvormen gaat dan omgekeerd als een leerling de vrijere opdrachtvorm nog tegoed zou hebben bestaat er de kans dat hij leert van de gestructureerdere opdracht en dat hij deze extra kennis bijvoorbeeld over de opbouw van de tekst en over het onderwerp dat daarin aan de orde wordt gesteld kan inzetten bij de vrijere opdrachten om elk effect dat hetzelfde onderwerp op de resultaten van de verschillende opdrachtvormen kan hebben uit te sluiten is het echter beter dat leerlingen a select toegewezen worden aan de opdrachtvormen en onderwerpen uiteraard leidt dit tot een ingewikkelder afnamedesign en wellicht tot de behoefte aan meer proefpersonen maar het is dan wel mogelijk om de effecten van de opdrachtvormen zuiverder te schatten de studie richt zich ook op de bruikbaarheid van de verschillende operationali saties van schrijfvaardigheid de auteur stelt dat de bruikbaarheid slechts globaal beoordeeld wordt er wordt ingegaan op de inspanningen die geleverd moeten worden om de schrijfopdrachten en de beoordelingsmethoden te ontwikkelen aan de tijd en de soorten proefleiders die nodig zijn voor de toetsafname en aan de tijd en de soorten beoordelaars ten behoeve van de beoordeling van de schrijf producten bij de bruikbaarheid van bepaalde operationalisaties zijn wellicht ook andere aspecten belangrijk zoals bijvoorbeeld de eisen die gesteld worden door het feit dat schrijfvaardigheidsmetingen herhaald moeten worden bij de uiteindelijke keuze voor de te hanteren operationalisatie blijkt dat de auteur dat de bruikbaarheid een aanzienlijk minder belangrijk criterium vindt dan de betrouwbaarheid en de validiteit van de metingen de bruikbaarheid komt er in de studie zo bekaaid af en is vergeleken met validiteit en betrouwbaarheid dermate van een andere orde dat het wellicht beter zou zijn geweest dit onderdeel uit het proefschrift te schrappen 89