Toetsen tekstbegriptoetsen tekstbegrip?

toetsen tekstbegriptoetsen tekstbegrip maarten van gils woord voora f het is algemeen bekend dat bij het toetsen van tekstbegrip met open vragen meer getoetst wordt dan tekstbegrip alleen wij beoordelen immers ook de wijze waarop de leerling zijn antwoord formuleert wanneer het ons echter alleen gaat om het begrijpen van een tekst zijn meerkeuzevragen hie rv oor misschien beter geschikt zij bieden ook meer mogelijkheden tot een objectieve en snelle correctie men kan verwachten dat deze overwegingen er toe zullen leiden dat in de toekomst een deel van het examen in de meerkeuze vorm zal worden afgenomen het is daarom wellicht verstandig leerl i n gen reeds nu met deze wijze van vragen vertrouwd te maken tegen deze gedachten gang die ik ontleen aan het woord vooraf bij een bekende toetsenverzameling wil ik me in onderstaand artikeltje verzetten toetsenmakers vinden het wetenschappelijk onverantwoord twee of meer vaardigheden tegelijk te meten in hun ogen is bijvoorbeeld het stilleesstukje met open vragen onbe trouwbaar en besmet omdat daarin het tekstbegrip niet voldoende is geisoleerd zij prefereren de professionele multiple choicetest die een en niet meer dan een variabele probee rt te meten luistervaardigheid of wat daa rv oor doorgaat tekstbegrip of enkele deelvaardigheden daa rvan schrijfvaardigheid of iets wat daarmee korreleert en daar om noemen de konst rukteurs hun eigen toetsen specifiek het is zeer de vraag of de multiple choicetest wel verenigbaar is met de doelstellingen van het moedertaalonderwijs de nadelen van deze vraagvorm zijn overigens al zo vaak gesignaleerd e dat ik er nu niet nader op hoef in te gaan ik beperk me hier tot een aan val op de specificiteitstheo rie en tot de toetsing van de receptieve vaardigheden lezen en luisteren mijn boodschap is de tekstbegriptoets meet voo rnamelijk testhandigheid en toevals faktoren ik ga deze stelling met slechts een voorbeeld bewijzen het gebruikte tech niekje is echter zo simpel dat elke liefhebber het belastend materiaal gemakkelijk kan uitbreiden als een tekstbegriptoets alleen tekstbegrip meet dan moeten de ruwe skores van proef personen die niet over de tekst beschikken zeer dicht in de buu rt van de raadkans lig gen als daarentegen die skores het raadpercentage aanzienlijk overschrijden dan zullen we moeten aannemen dat er ook andere vaardigheden worden gemeten dan tekst begri p op deze redenering baseerde ik het nu volgende proefje 12 puzze l de onderstaande elf multiple choice items zijn te vinden in de toetsenverzameling waaruit ik zoeven ook een deel van het voorwoord heb geciteerd meerkeuze vragen bij een aantal teksten uit schrijvenderwijs uan e pistoor ik nodig de lezer uit eerst zelf zijn krachten te beproeven op dit elftal zonder de tekst erbij te halen en pas daarna mijn relaas verder te volgen 1 een copywriter r 3 is ee n a journalist die cursiefjes schrijft b schrijver van literaire teksten c s chrijver van reclameteksten d tekstschrijver voor radio en t v 2 wat is de taak van een copywriter eerste alinea a contact intensief bezig zijn met de moedertaal b de taal voor grote groepen toegankelijk maken c gebruik maken v an de zwakheden van de vrouwelijke natuur d mensen beinvloeden door middel van taaluitingen 3 welke brokken r 9 maakt de reclametaal a zij beinvloedt de taal ongunstig b zij beinvloedt het koopgedrag van de meeste vrouwen ongunstig c zij heeft de reclame zelf minder lonend gemaakt d zij heeft een aantal forse tekstschrijvers brodeloos gemaakt 4 tekstschrijvers gebruiken zo vaak engels of verengelste uitdrukkingen r 12 omdat a engelse uitdrukkingen een bron v an inspiratie vormen voor woordve rnieuwing b het publiek ontvankelijker is voor een engelse uitdrukking dan voor de gelijk waardige term in het nederl ands c nederl an dse woorden vrijwel geen betekenis meer hebben d zij in het engels veel beter contact intensief met de woorden kunnen zijn dan i n het nederlands wat is de overeenkomst tussen de verschillende soorten schrijvers die in de eerste alinea worden genoemd a zij beinvloeden bewust het publiek b zij hanteren hetzelfde instrument c zij willen perse gelezen worden d zij zijn verantwoordelijk voor woorddevaluatie 13 6 het blijkt dat schrijvers van reclameteksten zeer contact intensief kunnen zijn me t de taal dit lezen we in de zin die begint me t a de superlatievenziekte r 34 b de woorddynamiek r 25 c juist in de reclame r 22 d wij komen in de reclame r 30 7 een forse tekstschrijver r 32 is een tekstschrijver die a altijd het geschiktste woord gebruikt b een voorkeur heeft voor superlatieven c nooit kleine advertenties verzorgt d weinig waarde hecht aan de tekst 8 waarom worden in de reclame steeds minder superlatieven geb ru ikt derde alinea r 34 36 a superlatieven gebru iken is niet zindelijk b superlatieven hebben geen zeggingskracht meer c superlatieven horen niet bij dichterlijk taalgebruik d superlatieven verschijnen ook op spo rt pagina s 9 welk bezwaar kun je tegen de stijl van de schrijver aanvoeren a hij geb ru ikt te vaak hetzelfde woord b hij gebruikt te veel dichterlijke woorden c hij maakt nieuwe woorden die onbegrijpelijk zijn d hij schrijft lange ingewikkelde zinnen 10 uit welk e woord en blijkt dat de schrijver tracht de taal creatief te gebruiken a beroepscopywriter r 13 b nylon petticoat r 15 c superlatievenziekte r 34 d taalconstructies r 27 28 11 wat is de kern van het betoog van joop roomer a de kritiek op de reclametaal is ongefundeerd want de tekstschrijver geeft de superlatieven waar het publiek om vraagt b nu de reclametaal op zindelijke wijze wordt gebruikt blijkt dat de poetisch e woordcombinaties opvoedende waarden bezitten c tekstschrijvers zijn contact intensief bezig met de taal en lijden minder aan d e superlatievenziekte dan vroeger d zowel copywriters als sportjournalisten hebben er een handje van niets zeggende cliches te gebruiken 14 oplossing bij vele van deze items zal de identifikatie van het beste alte rn atief u niet moeilijk zijn gevallen u wist bijvoorbeeld al wat een copywriter doet vraag 1 en 2 u elimineerde enkele onlogische afleiders vraag 3 4 5 en 10 u konstrueerde al puzzelende de on bekende tekst met behulp van de informatie die in de itemformuleringen verstopt zat vraag 7 8 en 11 slechts in een enkel geval vraag 6 en 9 was het gemis van een tekst hinderlijk en dan moest u echt gaan raden met nog altijd 25 kans op een goed ant woord d an kzij uw algemene ontwikkeling uw gezond verstand uw vermogen tot kombineren en uw goede geste rn te hebt u vermoedelijk een fraaie skore tussen 7 en 11 punten weten te behalen gebruikers van schrijvenderwijs zullen intussen hebben ontdekt om welke tekst het hier gaat het is reclame en taal van joop roomer pag 122 123 van de achtste gewij zigde druk met de tekst erbij kunnen we een lijstje maken van de bedoelde antwoor den ic 2d 3a 4b 5b 6c 7b 8b 9a 10c 11c hoeveel had u er goed deze elf vragen blijken niet specifiek genoeg om het tekstbeg rip van moer lezers te meten dat is niet verwonderlijk want de toets is bestemd voor leerlingen gezien de plaats van de tekst in het schoolboek no 17 op een totaal van 76 teksten en acht examenopgaven mogen we aannemen dat klas 4 vwo tot de doelgroep behoort in hoeverre zijn ook hier onder merkwaardige omstandigheden hoge skores haalbaar voor leerlingen die over enige testhandigheid beschikken om dat te achterhalen legde ik de elf items twee maal voor aan een proefgroep van 71 leerlingen uit drie versch il lende klassen 5 havo 4 atheneum en 5 atheneum de eerste keer zonder tekst en meteen daa rn a met de tekst erbij tabel 1 geeft een over zicht van de resultaten berekend over alle deelnemers per item vermeld ik het per centage goede antwoorden de p waarde en de percentages leerlingen die een af leider aanstreepten de a waarden 3 u vindt telkens eerst de skores zonder en daaronder de skores met tekst de p waarden zijn gekursiveerd 15 tabell p en a waarden per item item no percentages p en a waarden a b c d niet ingevuld 1 11 6 72 11 1 3 96 2 4 26 70 20 4 76 3 68 15 14 1 1 83 8 8 4 7 65 28 1 87 1 1 5 64 14 5 14 3 34 51 15 6 26 47 22 3 1 7 21 65 7 7 33 46 10 8 3 10 70 6 1 4 8 3 89 7 1 96 3 1 9 28 4 28 36 4 45 1 25 2 8 10 5 21 46 26 1 1 11 59 2 8 11 5 7 54 23 10 4 13 75 8 welke voorlopige konklusies kunnen we trekken uit deze empirische gegevens twee wil ik er hier presenteren de eerste heeft betrekking op de a waarden de tweede op de p waarden 1 de helft van de afleiders funktioneert niet of nauwelijks onder normale omstandig heden de meeste van die afleiders zijn zelfs onaantrekkelijk voor leerlingen die niet over de tekst beschikken zie 1 b 2 c 3 d 4 a en c 5 c 6 d 8 a c en d 9 b 10 a en 11 a bij tekstloze toetsing zou een altematievenverhoudin g 16 25 25 25 25 theoretisch ideaal zijn geen enkel item slaagt er echter in om die ver houding zelfs maar te benaderen 2 het feit dat zo veel sche rt safleiders ook voor leerlingen gemakkelijk herkenbaar zijn draagt natuurlijk fors bij aan de hoge p waarden de invloed van raadvaardigheid op tekstbegri p is hier veel groter dan de officiele ideologie van de meettechnici toelaat over de hele toets bedraagt de gemiddelde p wa ar de zonder tekst 55 en met tekst 76 gesplitst naar de d ri e nivo s in mijn proefgroep gedraagt die gemiddelde p waarde zich als volgt zie tabel ii tabelll gedrag van de gem i ddelde p w aard e 5 ha vo 4 ath s ath to taal met tekst 69 77 81 7 6 zonder tekst 46 53 65 55 verschil 23 24 16 2 1 het verschil tussen de beide p waarden met en zonder tekst is mijns inziens de enig juiste maatstaf voor specifiek tekstbegrip invloeden van raadvaardigheid en algemeen verbale intelligentie zijn daarin zorgvuldig uitgeschakeld dat verschil is schrikbarend laag zeker als we het vergelijken met de hoge p waarden die er vlak boven staan een tijdje geleden heb ik wat gestoeid met een objektieve luisteroefening van het cito die ik zonder band liet maken door een vwo examenklas de gemiddelde p waarde bedroeg bij die gelegenheid 47 en op de twaalf vierkeuze items kwamen 24 sche rts afleiders4 voor ik wees er toen op dat bij dergelijke toetsen de leerlingskores altijd worden vertekend door de invloed v an voorkennis en kombinatievermogen niet alleen in 6 vwo maar ook op lagere nivo s dat geldt evenzeer voor de tekstbegriptoets die nu aan de orde is tabel ii wijst uit dat er over de hele linie meer raadvaardigheid wordt gemeten dan tekstbegrip ook al variee rt de verhouding tussen die beide variabelen per subgroep scholieren die al dan niet in een examensituatie met moderne objektieve tekstbe g riptoetsen te maken krijgen kunnen uit het bovensta an de iets heel belangrijks leren zij zouden zich vooral niet moeten storen aan het ouderwetse advies lees de tekst eerst goed door voor je met de be an twoording van de vragen begint hun enige doel is immers een hoge testskore en daarbij past geen tijdrovende leesstrategie wat je in je kop hebt telt toch ook mee i 5 veel doeltreffender lijkt de invulstrategie die sommige eindexamenkandidaten volgen wanneer ze de multiple choicetests frans duits en engels krijgen voorgelegd ze analyseren eerst de toetsitems en raadplegen ter kontrole de bijbehorende zinnen uit de tekst op die manier werken ze methodologisch 17 verantwoord vanuit een konkrete probleemstelling via werkhypothese en toetsing naar een oplossing toe nieuwe opgave n wie snel de kwaliteit van een tekstbegrip of luistertoets wil schatten beschikt in de specificiteitsproef over een praktisch hulpmiddel om het ergste kaf van het koren te scheiden zelf ga ik alle nieuwe opgaven op dit gebied eerst zonder tekst of band te lijf slaag ik er dan in meer dan de helft van de vragen korrekt te beantwoorden dan staat voor mij vast dat de toets in kwestie ongeschikt is voor selektief of diagnostisch gebruik in de klas pas wanneer mijn eigen nulskore in de buurt van het raadpercen tage ligt p 25 bij vierkeuzevragen is een diepgaander onderzoek nodig naar de onjuistheid van de aangegeven afleiders bijvoorbeeld of naar de relevantie van de ge stelde vragen er zijn mij slechtere vierkeuze items bekend dan die bij reclame en taal vooreerst is het een pluspunt dat nergens behalve misschien bij vraag 9 redelijke twijfel mogelijk is aan de juistheid van het aangegeven beste antwoord vervolgens als we achter elk item de vier antwoordmogelijkheden schrappen resteert er een aantal goede open vragen en tenslotte kan uit tabel i worden afgeleid dat bij de meeste items het gebruik van de tekst leidt tot een signifikante stijging van de p waarde ook dat is niet bij elke objektieve tekstbegriptoets gegarandeerd maar dat alles kompen seert niet het gebrek aan specificiteit in deze vorm toetst deze tekstbegriptoets te weinig tekstbegrip als reeds een oppe rvlakkig onderzoek aantoont dat een bepaalde multiple choicetest evident ondeugdelijk is dan zal een goede meettechnische analyse die eerste indru k bevestigen en zeker niet tegenspreken gerustste ll ende mededelingen over item test korrelaties r i t en betrouwbaarheid kr 20 missen in zo n geval iedere bewijs kracht dat soo rt informatie is trouwens zelden terzake en altijd onvolledig b de psy chometrie is gelukkig geen toverkunst waarmee men recht kan praten wat eigenlijk krom is tegen mijn specificiteitsproefje met reclame en taal is wel wat in te brengen kritiek op deze ene toets tast het systeem nog niet aan ik had de raadvariantie nader moe ten specificeren etc desondanks wens ik voor mijn konklusies een tamelijk algemene geldigheid te claimen de door mij gevolgde methode is gemakkelijk herhaalbaar op grotere schaal op diverse nivo s en met andere opgaven ik nodig de lezers en zeker ook de toetsenmakers graag uit via replikatie onderzoek mijn hypotheses te verifieren resp te falsifieren 18 n ot en 1 e pistoor meerkeu ze vrage n bij een aantal teks ten uit sch rijvenderwijs meulenhoff educatief amsterdam 1 97 3 2 p j m groot het toe tsen van taalvaardigheid wolters noordhoff groningen 1973 p 17 25 h bonset noti ties t a v meer keuze tekstbegriptoetsen op het eindexamen moer 1974 6 p 305 306 h bonnet enkele sociolinguistische bezwa re n tegen objektieve toetsen voor taalvaardigheid levende talen no 313 aug 1975 p 335 345 3 p j m groot a w p 86 87 4 m van gils geachte toehoorders levende talen no 312 juni 1975 p 225 227 5 k hennephof leesonderwijs moe r 1975 4 p 2 14 vv 6 h w feltkamp kwantificatie van tekstbegrip levende talen no 30 4 jan febr 197 4 p 35 36 m van gils de middelmatige opsteljury levende talen no 31 4 okt 1975 p 416 vv 7 speciaal aanbevolen materiaa l voor nader onderzoek de eindexamenopgaven nederlands tekst begrip die sinds enkele jaren worden voorgelegd aan de overwegend theoretisch opgeleide leer lingen van het l t o 19