De vorm van tekstbegripvragen en schrijfopdrachten. Een bespreking van: H. van den Bergh. Examens geëxamineerd.

rob van krieken de vorm van tekstbegripvragen en schrijfopdrachten een bespreking van h van den bergh examens geexamineerd s graven hage svo selectareeks 1988 dissertatie universiteit van amsterdam 1 inleiding in 1986 en 1987 werden twee belangrijke veranderingen ingevoerd in de examens nederlands voor de mavo en het lbo eerst werden in 1986 functionele schrijfopdrachten ingevoerd aanvankelijk verplicht voor het lbo en naar keuze voor de mavo nu kiest op beide schooltypen een kandidaat zelf de soort schrijfopdracht een jaar later werden de verschillende examens neder lands tekstbegrip voor het lager beroepsonderwijs en voor de mavo geharmo niseerd beide schooltypen kregen hetzelfde tekstbegripexamen dat voor 70 bestond uit gesloten vragen en voor 30 uit open vragen de meeste lbo scholen waren gewend aan twee examenonderdelen voor tekstbegrip een met gesloten en een met open vragen de mavo kandidaten kenden tot op dat moment maar een tekstbegripexamen en dat bestond uitsluitend uit open vragen van den bergh sprengers 1988 op voorstel van het cito werd een onafhankelijk instituut belast met de evaluatie van deze veranderingen dit werd de sco het proefschrift van huub van den bergh bestaat uit de artikelen waarin hij achtereenvolgens verslag heeft gedaan van deze door hem uitgevoerde evaluatie in enkele andere tijdschriften is men al ingegaan op de onderzoekstechnische en statistische aspecten van zijn onderzoek mij gaat het hier vooral om algemene consequenties voor de examenproduktie het feit dat er ondertussen enige tijd verstreken is sinds de resultaten van het onderzoek werden gepubliceerd maakt het des te makkelijker aan te geven welke invloed ze al gehad hebben en wat er nog te doen staat in deze recensie geef ik eerst een korte samenvatting van zijn werkwijze en uitkomsten vervolgens voorzie ik enkele belangrijke punten van commentaar en tenslotte probeer ik het belang van de dissertatie duidelijk te maken1 2 samenvatting van den bergh stelt twee vragen doet het beantwoorden van open vragen en gesloten vragen tekstbegrip een beroep op dezelfde intellectuele vaardigheden wordt bij het maken van functionele schrijfvaardigheidsopdrachten een beroep gedaan op hetzelfde complex van intellectuele vaardigheden als bij het schrijven van een opstel kort gezegd komt de werkwijze van van den bergh erop neer dat hij zich niet beperkt tot een onderlinge vergelijking van verschillende vraagvormen en opdrachten maar dat hij de relevante vraagvormen en opdrachten vergelijkt met relevante algemene intellectuele vaardigheden om deze vergelijkingen uit te spiegel 8 1990 nr 3 103 110 kunnen voeren heeft hij allereerst gezorgd voor een aantal betrouwbare en goed beoordeelbare toetsen voor tekstbegrip heeft hij twee lbo examenteksten elk uitgebreid met een aantal vragen hij zorgde ervoor dat hij dezelfde soorten vragen in deze nieuwe toets stelde als in de oude examens en ook in dezelfde verhoudingen hiervoor had hij eerst de vragen uit 19 oude examens door docenten laten indelen volgens twee veelgebruikte beschrijvingsschema s de nieuwe toets werd bovendien gepretest voor de toetsing van de functionele schrijfvaardigheid heeft van den bergh bestaande functionele opdrachten geselecteerd uit toetsen die de sco vaker heeft gebruikt terwijl hij voor het schrijven van een opstel gekozen heeft voor een stelopdracht bij een van tien eindexamentitels uit 1984 en een stelop dracht bij vijf pagina s citaten en meningen over het onderwerp de zin en onzin van huiswerk voor de schrijfopdrachten stelde hij verschillende beoor delingsvoorschriften op varierend van gedetailleerde analytische scoringsvoor schriften tot beoordelingsschalen en een globale beoordeling door docenten voor de meeste opdrachten stelde hij meer dan een beoordelingsvoorschrift op daarnaast heeft van den bergh ook nog een efficiente methode ontwikkeld om beoordelaars met elkaar te kunnen vergelijken zonder dat ze allemaal alle schrijfprodukten hoeven te corrigeren naast de hier beschreven toetsen van tekstbegrip en schrijfvaardigheid waren er ook toetsen nodig om algemene intellectuele vaardigheden te meten van den bergh heeft veel aandacht besteed aan de keuze van de relevante intellectuele vaardigheden en aan de toetsen die de beheersing daarvan moesten meten uit het model van guilford het zogenaamde structure of intellect model zie meuffels 1981 heeft hij zestien combinaties van operaties en semantische produkten gekozen de 16 combinaties heeft hij geselecteerd op grond van het feit dat ze blijkens de literatuur van belang worden geacht voor lezen of schrijven omdat hij ze zelf relevant achtte op grond van zijn eigen analyse van de tekstbegripvragen of omdat ze naar voren kwamen uit een analyse van hardop schrijfprotocollen bij elk van deze zestien algemene vaardigheden heeft hij drie typisch talige toetsen geconstrueerd bijvoorbeeld voor de cognitie van semantische transformaties de toetsen andere betekenissen dubbelzinnige zinnen en woordplaatjes vertalen na een pretest heeft hij een toets en verschillende minder geslaagde items verwijderd vervolgens heeft hij nagegaan of de afnamegegevens beter beschreven konden worden met het model van guilford dan door andere modellen voor intellectuele vaardigheden dit bleek inderdaad zo te zijn hij nam daarom aan dat de samenhang tussen deze toetsen redelijk verklaard wordt door het model van guilford alle toetsen zijn afgenomen aan een grote groep leerlingen uit de derde klas lbo of mavo de open opdrachten werden meestal volgens twee beoorde lingsvoorschriften beoordeeld en door meer dan een corrector vervolgens zijn verschillende analyses uitgevoerd om na te gaan waardoor verschillen in de scores op de diverse opdrachten veroorzaakt worden een onderlinge vergelijking van open en gesloten tekstbegripvragen wees uit dat gesloten vragen tot hogere scores leiden dan open vragen met dezelfde inhoud vooral bij moeilijker vragen voor lbo leerlingen waren bijna alle vragen moeilijker dan voor mavo leerlingen bij lbo leerlingen leverde de 104 gesloten vorm dan ook meer extra punten op dan bij mavo leerlingen van den bergh vermoedt dat het voordeel van de gesloten vragen veroorzaakt wordt doordat ze leerlingen die niet zeker zijn van het goede antwoord de mogelijkheid bieden te raden en lbo leerlingen door hun lager niveau van leesvaardigheid eerder genoodzaakt zijn te raden uiteindelijk ging het van den bergh om een vergelijking van de scores op de open en gesloten vragen met de scores op de toetsen van de zestien verschil lende intellectuele vaardigheden de scores op de open vragen bleken inderdaad een andere samenhang te vertonen met deze intellectuele vaardigheden dan de scores op de gesloten vragen om de betekenis van dit verschil in samenhang duidelijk te maken heeft van den bergh ook de scores met elkaar vergeleken op vragen die dezelfde vraagvorm hebben maar die bij verschillende teksten gesteld zijn nu werd duidelijk dat een verschil in tekst voor de combinatie van intellectuele vaardigheden waarop een vraag een beroep doet veel meer uitmaakt dan een verschil in vraagvorm in verband met de theorievorming over intellectuele vaardigheden wijst van den bergh erop dat er relatief sterke overeenkomsten voorkwamen tussen de tekstbegripscores en geheugenvaardigheden en dat de verschillende intellectuele vaardigheden uit het guilford model onderling niet onafhankelijk bleken te zijn zoals steeds wordt aangenomen ten aanzien van de schrijfvaardigheid komt van den bergh tot verontrustende uitkomsten voordat hij de verschillen tussen de functionele schrijfopdrachten en de stelopdrachten onderzocht heeft hij namelijk eerst nagegaan in hoeverre de schrijftoetsen eigenlijk een gemeenschappelijke vaardigheid in het schrijven toetsen dat valt tegen de scores op de schrijftoetsen bleken in sterke mate afhankelijk te zijn van de specifieke opdracht het onderwerp in de opsteltitels of het schrijfprodukt bij de functionele schrijfopdracht bijvoorbeeld de sollicita tiebrief een verslag of een formulier hij constateert dat er wel 14 verschillen de opdrachten nodig zijn om een algemene en betrouwbare uitspraak over de schrijfvaardigheid van een leerling te kunnen doen los van de specifieke examenopdracht bij de verdere analyse van het verband tussen de verschillende soorten schrijf opdrachten en de algemene intellectuele vaardigheden speelde de beoordeling een belangrijke rol daarbij ging het om het verschil tussen globale en analyti sche scoring opsteltitels werden globaal gescoord dat wil zeggen dat de docent een totaal oordeel over het hele opstel moest geven functionele schrijfopdrachten werden analytisch gescoord de beoordelaar moest per inhoudselement of per beoordelingsaspect punten toekennen of aftrekken van den bergh had verschillende opdrachten op beide manieren laten scoren uit zijn analyses bleek dat de prestaties op functionele schrijfopdrachten alleen ddn met andere intellectuele vaardigheden samenhingen dan de prestaties op stelop drachten wanneer de functionele opdrachten gescoord en de stelopdrachten globaal beoordeeld werden maar wanneer beide typen opdrachten op dezelfde manier beoordeeld werden bleef er van dit verschil weinig over met andere woorden dat traditionele opstelopdrachten iets anders meten dan functionele schrijfopdrachten komt niet doordat de leerling er anders op reageert maar doordat de corrector ze anders beoordeelt 105 helaas bleken de intellectuele vaardigheden maar een gering deel van de resultaten op de verschillende schrijfopdrachten te kunnen verklaren de resultaten bleken voor het grootste deel samen te hangen met de specificiteit van de gegeven opdrachten dat wil zeggen met het specifieke opstelonderwerp of met de kenmerken van het verlangde schrijfprodukt 3 commentaar de bovenstaande samenvatting kan nauwelijks recht doen aan het proefschrift van den bergh dat op zeer leesbare wijze veel gegevens en gecompliceerde analyses behandelt de algemene indruk die na lezing bij mij is achtergebleven is er een van grote zorgvuldigheid in de verslaggeving maar zeker en vooral in de opzet en uitvoering van het onderzoek de constructie van de toetsen is systematisch en gedegen opgezet de keuze van de te onderzoeken intellectuele vaardigheden is ruim en weloverwogen de analyses zijn waar mogelijk dubbel uitgevoerd op verschillende subsets van de data en de resultaten worden waar nodig gerelativeerd toch blijft er genoeg stof voor discussie over niet omdat van den bergh onverantwoorde conclusies trekt maar omdat sommige conclu sies betrekking hebben op materiaal dat niet helemaal meer representatief is voor de huidige examens andere conclusies hebben daarentegen grote conse quenties ook voor andere toetssituaties dan de examens het spreekt vanzelf dat examenmakers met meer dan gebruikelijke belangstel ling kijken naar de toetsen die van den bergh heeft geconstrueerd voor de meting van tekstbegrip en schrijfvaardigheid dat hij nieuwe toetsen moest samenstellen is duidelijk de betrouwbaarheid de beoordeelbaarheid en de variantie van de examens waren relatief laag hetgeen betekende dat hij op basis van dat materiaal nauwelijks samenhang met andere vaardigheden zou kunnen vaststellen ook al zou die er wel zijn maar het valt te betwijfelen of zijn tekstbegriptoetsen en in mindere mate zijn stelopdrachten inhoudelijk nog representatief zijn voor de huidige eindexamens van den bergh is uitgegaan van een tekst met 17 meerkeuzevragen uit het lbo examen van 1981 en van een tekst met 17 open vragen uit het lbo examen van 1982 dit materiaal heeft hij bewerkt en aangevuld de bewerking hield in dat bij meerkeuzevragen overeenkomstige open vragen gemaakt zijn door de alternatieven weg te laten en dat bij open vragen overeenkomstige meerkeuzevragen zijn gemaakt door antwoorden van leerlingen als alternatief op te nemen ter aanvulling werden ook extra vragen gemaakt zowel in open als in meerkeuzevorm na de pretest zijn vragen die in psychometrisch opzicht niet voldeden verwijderd en is uit de overige vragen een toets samengesteld die qua inhoud overeenkwam met een gemiddeld examen dit laatste betekent dat het resultaat een gemiddeld percentage vragen bevatte naar bijvoorbeeld expliciet vermelde informatie naar de hoofdgedachte van een passage of naar de structuur van de tekst deze hele procedure is een schoolvoorbeeld van hoe je een onderzoekstoets zou moeten maken alleen wijkt het resultaat op drie punten af van de examenpraktijk ten eerste heeft van den bergh zich door zijn wijze van constructie bij voorbaat beperkt tot vragen die in beide vraagvormen bruikbaar zijn dat is 106 heel begrijpelijk omdat er anders moeilijk zuivere vergelijkingen te maken zijn maar het doet af aan de overeenkomst met de eindexamens waarin juist die vraagvorm voorkomt die de beste of de enig juiste lijkt te zijn de examencon structeurs doen hun best een open vraag te gebruiken in die gevallen waarin de kandidaten zelfstandig een redenering conclusie verklaring of uitleg moeten leveren in dat geval wordt bij voorkeur geen meerkeuzevraag gesteld de meerkeuzevraag wordt zoveel mogelijk gereserveerd voor vragen naar de hoofdgedachte het schrijfdoel en de structuur en voor die gevallen waarin het antwoord op een open vraag ofwel extreem duidelijk is bijvoorbeeld een citaat ofwel zo sterk uiteen kan lopen dat een uitputtende opsomming niet doenlijk is uit de beschrijving die van den bergh geeft krijg ik de indruk dat deze specifieke combinaties van vraagvorm en inhoud in zijn toets niet voorkomen omdat ze niet in beide vraagvormen gerealiseerd kunnen worden zo levert het schrappen van alternatieven bijvoorbeeld onduidelijke open vragen op omdat de alternatieven het probleem mede definieren ten tweede valt het op dat van den bergh in zijn toets de vragen niet aanbiedt in de volgorde van de tekstdelen waarop ze betrekking hebben in de examens gebeurt dat wel door de andere aanbiedingswijze is meer zoekwerk en een beter geheugen nodig dan in de examens ten derde heeft het grote aantal vragen per tekst 25 de toetsconstructeurs op het cito nogal verbaasd bij een dergelijk aantal is het bijna onmogelijk te voorkomen dat verschillende vragen over hetzelfde gaan hetgeen een kunstma tig hoge interne consistentie oplevert of dat ze betrekking hebben op details bij de schrijfvaardigheid is niet helemaal duidelijk waarom de functionele schrijftoetsen uit het eigen ppon onderzoek zijn verkozen boven oude functio nele examenopdrachten verder is de stelopdracht die vergezeld gaat van 5 pagina s informatie niet representatief voor de stelopdrachten in het examen die immers bestaan uit een titel met korte toelichting de beoordeling van opstellen wordt in de examenpraktijk niet meer volledig overgelaten aan het globale oordeel van de docent deze dient rekening te houden met de aanwij zingen die in toenemende mate in de opdracht worden gegeven maar de opsteltitels uit 1984 die van den bergh heeft geselecteerd zijn redelijk repre sentatief voor de huidige examens omdat ze enkele aanwijzingen bevatten over het gezichtspunt van de schrijver en over de doelgroep in 1984 was dat nieuw nu is het een minimum behalve deze verschillen tussen de examens en het toetsmateriaal uit het onder zoek doet ook het feit dat de proefpersonen derde klas lbo mavo nauwe lijks examentraining hebben gehad afbreuk aan de mate waarin de uitkomsten op de examenpraktijk betrokken kunnen worden de bovenstaande opmerkingen doen wellicht iets af aan de generaliseerbaarheid naar de huidige examens van de conclusies over de verschillende intellectuele vaardigheden waarop de gebruikte opdrachten een beroep doen andere bevindingen zijn echter zo algemeen en duidelijk dat ze behalve voor de examens ook voor andere toetsen in onderwijs en onderzoek consequenties moeten hebben dit geldt met name voor de bevinding dat de tekst de specifie ke schrijf of stelopdracht en de beoordelingsmethode voor een verontrustend 107 groot deel de verschillen tussen scores bepalen in examens of toetsen die pretenderen tekstbegrip schrijfvaardigheid of desnoods alleen maar taalvaar digheid te meten is het bepaald ongewenst dat de score zo sterk afhankelijk is van de specifieke opgave of beoordelingsmethode het is dan ook hoogst noodzakelijk op dit punt verbeteringen aan te brengen voor de tekstbegripexamens c d betekent dit dat er een nog groter aantal teksten moet worden aangeboden die niet over een thema gaan maar veel verschillende onderwerpen behandelen daarmee wordt al een begin gemaakt ik denk dat dit ook consequenties heeft voor het havo examen waarin nu maar een lange tekst wordt bevraagd de eis dat een examen veel meer opdrachten moet bevatten geldt ook voor schrijfvaardigheid en helemaal voor de toetsing van het traditionele opstel daarbij komt nog het effect van de beoordelingsmethode de bevinding van van den bergh dat de specifieke opdracht en de wijze van beoordeling de scores sterker bepalen dan de keuze tussen een opstel of een functionele opdracht stemt tot nadenken dit betekent dat voor het toetsen van schrijfvaar digheid de keuze tussen opsteltitels en functionele opdrachten niet erg relevant is minder relevant dan een goed gevarieerd aanbod van opdrachten en van beoordelingsmethoden misschien is het een oplossing om een examen aan te bieden waarin een behoorlijk aantal korte opdrachten analytisch en een langere opdracht meer globaal beoordeeld of zelfs geschaald wordt opvallend is dat in het onderzoek voldoende beoordelaarsovereenstemming bereikt is bij alle beoordelingsmethoden terwijl de beoordelingsinstructies niet essentieel afweken van hetgeen in de examenpraktijk gebruikelijk is daaruit put ik de hoop dat met een uitgebreider systeem van opleiding en voorlichting op het punt van het beoordelen ook in de examenpraktijk een bevredigende objectiviteit haalbaar zou kunnen zijn ten aanzien van het gebruik van het guilford model heb ik enige twijfel aan de ene kant is het zeer te prijzen dat van den bergh de concurrerende vraag vormen heeft vergeleken met een extern criterium maar het model van guilford mag dan aanzienlijk duidelijker zijn dan andere bestaande en door van den bergh besproken modellen het blijft een model voor algemene intellectuele vaardigheden deze bieden slechts nu en dan bruikbare verklaringen voor de bevindingen ten aanzien van tekstbegrip en schrijfvaardigheid het dichtst bij de praktijk van het toetsen van tekstbegrip komt van den bergh met de constate ring dat leerlingen met een hoge vaardigheid in de divergente produktie van semantische relaties of eenheden dus leerlingen die goed zijn in het produceren van alle mogelijke betekenisvolle relaties of betekenissen alleen hoge leessco res behalen wanneer zij ook goed zijn in het evalueren van semantische produkten dus in het beoordelen van de bruikbaarheid van hun eigen produk ten de veronderstelling is dat leerlingen die wel goed zijn in divergente produktie maar niet in tekstbegrip hun antwoorden ontlenen aan hun kennis van de wereld zonder ze te evalueren aan de gestelde vraag en aan de tekst dit lijkt me aannemelijk maar op dit punt had ik toch graag gezien dat de divergente produktie getoetst werd aan de hand van specifieke taaitoetsjes in plaats van door de toetsen getals associaties noem zoveel mogelijk woorden die te maken hebben met een gegeven getal of gebruiken genereren bedenk zoveel mogelijk manieren waarop een gegeven voorwerp gebruikt kan worden 108 tenslotte verbaasde het me dat voor elke intellectuele vaardigheid drie toetsen geconstrueerd zijn maar dat het merendeel van deze toetsen de meerkeuzevorm had zeker waar het gaat om de invloed van vraagvormen ligt een minder eenzijdig gebruik van vraagvormen voor de hand 4 conclusie de kritische toon van sommige van de hierboven gemaakte opmerkingen neemt niet weg dat ik grote bewondering heb voor het verrichte werk en erken dat veel van de resultaten van groot belang zijn voor de examenproblematiek bij het vak nederlands op c niveau van groot belang is dat van den bergh onmiskenbaar duidelijk heeft gemaakt hoe sterk de invloed van een specifieke tekst of schrijfopdracht is in vergelijking met de vorm van de vragen of van de schrijfopdracht voor de opbouw van examens en andere toetsen heeft deze bevinding grote consequen ties het is een extra impuls voor al eerder op gang gekomen pogingen om in tekstbegripexamens nederlands c d maar ook moderne vreemde talen meer gevarieerd tekstmateriaal op te nemen daarnaast maakt hij behartenswaardige opmerkingen over beoordelingsmethoden dat van den bergh zich niet heeft willen beperken tot een eenvoudiger evaluatie maar deze heeft verbonden met een bijdrage aan het onderzoek naar intellectuele vaardigheden is hem allerminst kwalijk te nemen het onderzoek heeft in dit opzicht ook resultaat gehad het zou mooi zijn als die resultaten aanleiding zijn om het verband tussen lees en schrijfonderwijs lees en schrijfprocessen en lees en schrijftaken verder in kaart te brengen noten 1 bij het schrijven van deze recensie werd dankbaar gebruik gemaakt van commentaar van marie christine sprengers harjet robben ted sanders en ton hendrix allen neerlandici en van hans kuhlemeier het resultaat blijft een persoonlijk oordeel bibliografie bergh h van den m c sprengers veranderingen in het examen nederlands tekstbegrip lbo mavo levende talen 428 1988 87 90 jong j h a l de taakcomponenten en vaardigheidsfactoren reactie op h van den bergh de correiationele structuur van enkele schriftelijke taalvaardig heden tijdschrift voor taalbeheersing 11 1989 3 215 224 meuffels b taalvaardigheden en processen een poging tot theoretische en empirische integratie tijdschrift voor taalbeheersing 3 1981 1 14 31 meuffels b boekbeoordeling h van den bergh examens geexamineerd tijd schrift voor taalbeheersing 12 1990 2 151 159 robben h functionele schrijfvaardigheid in het examen lbo en mavo levende talen 419 1987 188 195 109 zwarts m boekbespreking h van den bergh examens geexamineerd tijdschrift voor onderwijs research 15 1990 3 196 198 110