Over eindexamens, validiteit en betrouwbaarheid

kritiek commentaar beschouwing kees de glopper over eindexamens validiteit en betrouwbaarheid 1 over examenfuncties het vorige nummer van spiegel bevatte een interessante bijdrage van kreeft 1990 die uitnodigt tot nadere beschouwing over eindexamens validiteit en betrouwbaarheid welke plaats nemen de eindexamens nederlands in het voortgezet onderwijs in wat is hun positie ten opzichte van het voorafgaande onderwijs en het leven na het diploma de onderstaande figuur probeert daarvan een beeld te geven figuur 1 examens en hun context kennis cn vaardighcidsdomein i onderwijsleerplan studie werk en aanbod burgerschap examenprogramma cn model examenopdrachten 10 afsluiting selectie 11 eindcijfers 13 slaag cn zak 12 bcslissingen 14 i niveaubewaking 15 16 allocatie kwalificatie paspoort in het hart van de figuur staat het examenprogramma met als eventue le verdere specificatie het examenmodel vgl kreeft 1990 de kop bevat het kennis en vaardigheidsdomein onze verkenning begint daar spiegel 9 1991 nr 1 97 104 het kennis en vaardigheidsdomein kv domein is de verzameling van mogelijke leerinhouden als het ware de catalogus van de mogelij ke leerstof van een schoolvak in ons geval gaat het om het vak nederlands en daarmee is het domein beperkt tot mogelijke kennis en vaardigheden op het gebied van taal en taalgebruik taalvaardigheid taalbeschouwing en literatuur ik noem het een verzameling van mo gelijke inhouden om aan te geven dat het een abstractie is er is geen schoolboek dat omvangrijk genoeg is om alle leerstof uit het domein te bevatten uit het kv domein moet geselecteerd worden in het onderwijs in de examens en in het naschoolse leven in het onderwijs wordt een selectie uit de mogelijke leerstof aange boden 1 er moet gekozen worden omdat niet alles in de beschikba re tijd en met de beschikbare middelen onderwijsbaar is niet alles hoeft ook aan iedereen onderwezen te worden veel leerlingen brengen van huis uit een aanzienlijke linguistische competentie in het neder lands mee ook is niet alle leerstof op ieder moment relevant wat in eerdere jaren onderwezen is hoeft gelukkig niet allemaal herhaald te worden verder worden onderwijsbare kennis en vaardigheden niet altijd passend geacht om maar een voorbeeld te noemen het leren vloeken en schelden wordt niet als pedagogische opdracht gezien tussen kv domein en onderwijs bestaat nog een andere dan de hiervoor beschreven selectie relatie omdat het nederlands niet alleen object maar ook voertuig van instructie is wordt er een voortdurend beroep gedaan op onderdelen uit het kv domein 2 van leerlingen wordt op allerlei momenten verlangd dat ze kunnen luisteren en spre ken lezen en schrijven zij moeten mondeling en schriftelijk aangebo den leerstof verwerken instructies opvolgen etc de kennis en vaar digheden waarop daarbij een beroep wordt gedaan zijn op heel veel momenten helemaal geen object van instructie of doelbewuste oefe ning over de selecties die in het onderwijs gemaakt worden valt veel meer te zeggen leerstofkeuze is voor een deel een kwestie van vraag en aanbod wat is nodig voor nu en voor later voor een belangrijk deel is de selectie ook historisch en traditioneel bepaald en weinig vatbaar voor verandering wesdorp 1984 een belangrijk aspect is de variatie in de leerstofkeuze met het klimmen van de schooljaren neemt de variatie in het onderwijsaanbod toe2 de variatie in onder wijsaanbod is overigens bij de wet geregeld het grondwetsartikel over de vrijheid van onderwijs is het vaandel waaronder ieder op geheel eigen wijze ten strijde mag trekken tussen het kv domein en het naschoolse leven3 bestaat eveneens een tweevoudige selectie relatie op allerlei onderdelen van het kv domein wordt een beroep gedaan kennis en vaardigheden op het gebied van het nederlands worden bekend of beheerst verondersteld 3 bepaalde onderdelen worden gewaardeerd andere verguisd in het naschoolse leven wordt meestal geen regulier onderwijs nederlands meer genoten toch vindt er wel op niet te verwaarlozen schaal training en leren plaats bij cursussen vergadertechnieken of 98 schriftelijk rapporteren worden bepaalde onderdelen van het kv do mein als object van instructie geselecteerd 4 de selecties die voor studie werk en burgerschap gemaakt worden zijn voor een belangrijk deel afwijkend van de keuzes die het onder wijs maakt 6 4 het onderwijs is zeker niet naadloos toegesneden op de eisen die het alledaagse leven aan jong volwassenen stelt het hoeft en dient dat op grond van zijn pedagogisch normatieve opdracht overigens ook niet te zijn de spanning tussen hetgeen het onderwijs biedt 1 en de samenleving vraagt 3 kan door beter onderwijs ne derlands wel verminderd worden en gelukkig is later compensatie zie 4 mogelijk al wordt die vaak duur betaald de eindexamens voortgezet onderwijs nederlands staan tussen twee vuren ze moeten met het verleden en de toekomst rekening houden zolang de spanning tussen onderwijsaanbod 1 en naschoolse eisen 3 niet te groot is kan de selectie die het examenprogramma uit het kv domein vormt deze twee heren dienen het onderwijs en de sa menleving toch zullen examens ook bij overeenstemming van 1 en 3 volgens eigen wetmatigheid selectief zijn 5 tussen domein en examendoelstellingen staan praktische bezwaren toetsmogelijkheden en tijd beperken de inhoud van examenprogramma s niet alles wat voor toetsing in aanmerking komt laat zich immers in schoolonderzoeken of centrale examens vangen tussen examens en onderwijs 7 en examens en naschools leven 8 zal de overeenstemming daarom altijd onvolledig zijn examenprogramma s en examenmodellen staan van jaar tot jaar aan de wieg van de eigenlijke examens de opdrachten die leerlingen ter verwerving van veelal zessen en zevens moeten volbrengen deze opdrachten vormen een operationalisatie van de doelstellingen operati onaliseren 9 is specificeren en opnieuw selecteren kiezen uit de vele mogelijke inhouden en vormen die voor toetsing ter beschikking staan examens monden uit in cijfers en beslissingen 10 deze vervullen feitelijk of hopelijk een aantal welbekende functies de koning 1978 voor het onderwijs dient het examen ter afsluiting 11 voor vadertje staat ter niveaubewaking 12 voor hoger onderwijs en arbeidsmarkt ter selectie 13 en allocatie 14 bezien vanuit de leerlingen geldt de kwalificatie en de paspoortfunctie van het examen 15 en 16 is er toekomst voor de examens nederlands in het voortgezet onder wijs kreeft 1990 heeft het nieuwe examenprogramma terecht een opgave voor neerlandici genoemd de cruciale vraag is voor hem of bij de huidige diversiteit en omvang van doelen een curriculum afhan kelijke examinering van het vak nederlands mogelijk is ik denk dat dat alleen maar kan als de inhoudelijke diversiteit een halt toe wordt geroepen dat kan in nederland zoals ik elders heb geschreven de glopper 1990 niet langs de koninklijke weg want pogingen tot het vaststellen van uitgewerkte leerplannen en specifieke onderwijsdoelstel lingen zijn door de heersende interpretatie van grondwetsartikel 23 tot mislukken gedoemd wie de inhoud van het onderwijs wil stroomlij 99 nen moet door de achterdeur naar binnen met haar opdracht aan de cven heeft de voormalige staatssecretaris ginjaar maas daarvoor gekozen voor sturing van het onderwijs via het examen of dat zal lukken is de vraag het zou mij verbazen als de uiteindelijke voorstel len van de cven in onverdunde vorm tot ministeriele beschikking worden verheven bij de inhoudelijke onderwijsvrijheid passen centrale eindexamens eigenlijk heel slecht decentrale school gebonden exa mens kunnen de afsluitingsfunctie beter vervullen zulke examens heten nu schoolonderzoek bieden vernieuwde examens nederlands betere mogelijkheden tot niveaubewaking door hun aard ieder jaar andere opgaven die per schooltype door alle leerlingen gemaakt moeten worden zijn eind examens zeer gebrekkige instrumenten voor bewaking van het onder wijsniveau veranderingen in het onderwijsniveau kunnen met examens niet vastgesteld worden omdat opdrachten niet periodiek herhaald worden afgenomen door de beperkte toetstijd en middelen kunnen ook niet alle relevante onderdelen geexamineerd worden voor niveau bewaking is periodiek peilingsonderzoek een veel nuttiger instrument er valt bij voorbeeld te denken aan jaarlijks steekproefonderzoek waaraan scholen en leerlingen verplicht zijn mee te doen omdat niet alle te onderzoeken leerlingen dezelfde opdrachten hoeven maken kan in zulk onderzoek een breed scala van kennis en vaardigheden aan bod komen selectie en allocatie zijn onder de heersende omstandigheden vooral functies van schooltype en vakkenpakketkeuze de examens spelen hierin nauwelijks een rol kreeft 1990 zullen vernieuwde examens nederlands deze functies beter vervullen ik verwacht niet dat dat het geval zal zijn het vak nederlands draagt niet of nauwelijks bij aan selectiebeslissingen het regent zessen en zevens taalvaardigheidspro blemen in de toekomst in studie werk en burgerschap worden door betere examens niet verholpen alleen een drastische herorientering van de onderwijsinhoud kan hier iets opleveren maar dat valt voorlo pig vrijheid van onderwijs niet te verwachten en al zou de inhoud van het onderwijs welbewust op naschoolse eisen worden afgesteld dan mag met het beperkte aantal uren nederlands geen wonder ver wacht worden vaardigheidsonderwijs is intensief en tijdrovend het is niet voor niks dat het zo belangrijke onderwijs in spreken en luisteren tot op heden nauwelijks uit de verf komt ligt het niet meer voor de hand om selectie en allocatie te regelen op de plaats waar feitelijk geselecteerd wordt bij de intree in het hoger onderwijs en op de arbeidsmarkt in werkelijkheid gebeurt dit naar alle waarschijnlijkheid al de samenhang tussen taalvaardigheid en doorstroming in het hoger onderwijs baltzer e a 1988 vormt daar een aanwijzing voor zullen vernieuwde examens een verbeterd paspoort opleveren en zal de kwalificatiefunctie beter gediend worden ook dat is zeer de vraag bij doorvoering van de voorstellen van de cven zal het pas poort wel veel beter ogen maar geen toegang bieden tot terreinen die voorheen verboden gebied waren ook een verblijfsvergunning in 100 hoger onderwijs of werk valt niet te verdienen zullen nieuwe exa mencijfers aantonen dat leerlingen essentiele kennis en vaardigheden verworven hebben de bewijskracht van toekomstige vijven en zessen zal afhangen van de meettechnische kwaliteit van nieuwe examens daarover wil ik in de volgende paragraaf nog een paar opmerkingen maken ter afsluiting van de bovenstaande wat pessimistische bespie geling wil ik de volgende keuze ter overweging geven a schoolgebonden curriculum afhankelijke examens die dienen ter afsluiting van het gegeven onderwijs gecombineerd met periodiek peilingsonderzoek aan het einde van het voortgezet onderwijs als middel voor niveaubewaking en aangevuld met entree of instap toetsen voor het hoger onderwijs b terugdringing van de inhoudelijke vrijheid van onderwijs centrale afstemming van de onderwijsinhoud op de eisen die het naschoolse leven aan taalkennis en vaardigheden stelt en centrale eindexamens als natuurlijk scharnierpunt tussen voortgezet en hoger onderwijs 2 over validiteit en betrouwbaarheid aan examens moeten eisen betreffende communiceerbaarheid validiteit en objectiviteit gesteld worden kreeft 1990 in reactie op kreeft wil ik het hier hebben over validiteit en betrouwbaarheid objectiviteit lijkt me niet de juiste term toetsen en examens kunnen immers tege lijk objectief en onbetrouwbaar zijn of betrouwbaar en niet objectief validiteit of geldigheid is in het geding als we aan een toetsscore een interpretatie willen hechten of een examenopdracht inderdaad bepaalde aspecten van de schrijfvaardigheid meet is een validiteits kwestie over de validiteit van het examenprogramma kan niet zinvol gesproken worden wel over de relevantie of representativiteit hierbij is de relatie tussen 1 3 en 5 in figuur 1 in het geding het is denkbaar dat het examenprogramma doelstellingen bevat waarvoor geen valide meetinstrumenten bestaan of doelstellingen die zo vaag geformuleerd zijn dat de validiteit van examenscores niet goed te evalueren valt dat alles betekent echter niet dat het validiteitspro bleem aleen of in de eerste plaats in de examenprogrammacommissie thuishoort toetsconstructeurs kunnen door hun operationalisatie van examendoelstellingen 9 de validiteit maken en breken in directe zin valt de validiteit van examenopdrachten te evalueren door de feitelijke opdrachten en meetresultaten te evalueren in het licht van de doelstel lingen in het examenprogramma examenopdrachten mogen inderdaad valide genoemd worden als ze de doelstellingen uit het examenpro gramma adequaat representeren vgl kreeft 1990 deze directe vorm van interne validiteit is heel belangrijk maar uiteindelijk niet de meest interessante belangwekkender zijn vragen die zich alleen indirect laten beantwoorden is het examen constructva lide zijn de examenopdrachten valide operationalisaties van onderde 101 len van het kv domein is het examen curriculumvalide en ecolo gisch of maatschappelijk valide representeren de opdrachten de inhoud van het gegeven onderwijs en de eisen van het naschoolse leven bij deze verder reikende vragen is niet alleen de kwaliteit van de operationalisaties in het geding in het antwoord moet ook betrok ken worden in hoeverre onderwijs examenprogramma en naschools leven op overeenkomstige wijze uit het kv domein selecteren betrouwbaarheid liever dan objectiviteit is een noodzakelijke voorwaarde voor validiteit dat wil echter niet zeggen dat de twee altijd in eikaars verlengde liggen wesdorp 1981 sprak in dit verband zelfs over een conflict tussen validiteit en betrouwbaarheid kreeft neemt een diametraal ander standpunt in waar hij stelt dat globale beoordeling vanuit het oogpunt van objectiviteit en derhalve ook van validiteit kreeft 1990 40 cursivering kdg ongewenst is de kern van de problematiek is de mate van vrijheid van beoorde laars en beoordeelden door het opstellen van beoordelingsvoorschrif ten correctiemodellen schalen en wat dies meer zij wordt de vrijheid van beoordelaars teruggedrongen in de hoop dat dit leidt tot meer gewenste en minder ongewenste variatie in oordelen de uiterste vrij heidsbeperking is te vinden in de objectieve toets met mechanische sleutels beperking van de vrijheid van de beoordeelde heeft als doel dat leerlingen gedwongen worden om te laten zien of zij een welom schreven iets weten of kunnen ook hier gaat het om het vergroten van gewenste en het terugdringen van ongewenste variatiebronnen de vrijheid van beoordelaar en beoordeelde kunnen niet onafhanke lijk gevarieerd worden verkleining van de beoordelaarsvrijheid gaat in de regel gepaard met meer gebondenheid voor de beoordeelde en gebondenheid van de beoordeelde maakt beperking van beoordelaars vrijheid beter mogelijk beperking van de beoordelaarsvrijheid kan in de literatuur op ruime instemming rekenen toch zijn er ook wel tegengeluiden meuffels 1985 de meeste vragen worden echter opgeroepen door onvrijheid van de beoordeelde de discussie over objectieve toetsen voor het meten van schrijfvaardigheid getuigt daar van van schooten de glopper 1990 de discussie over de vrijheid van de beoordeelde wordt vooral in termen van meer en minder gevoerd dat verhindert het zicht op het eigenlijke vraagstuk dat ik de locatie van de vrijheid zou willen noemen bij open bepaalde en gestructureerde schrijfopdrachten schoonen 1991 wordt aan leerlingen een schrijfopdracht verstrekt met aanwij zingen omtrent de gewenste inhoud het te schrijven type tekst het doel en het publiek naar aanleiding van de opdracht vervaardigen de leerlingen schrijfprodukten die vervolgens beoordeeld worden de schrijfopdracht laat de schrijver meestal een zekere vrijheid in de wijze waarop de taak uitgevoerd moet worden bij correctie opdrach ten en bij gesloten opdrachten zijn de schrijfsituatie en de te produce ren tekst in veel verdergaande mate vastgelegd er moeten tekortko mingen gecorrigeerd of alternatieven beoordeeld worden in teksten die speciaal voor toetsdoeleinden zijn samengesteld de vrijheid van de 102 schrijver is bij deze indirecte methoden veel verder ingeperkt een voorbeeld met betrekking tot de spelling kan duidelijker maken op welke plaats directe en indirecte methoden in vrijheid verschillen in teksten die naar aanleiding van opdrachten geschreven worden kunnen spelfouten geteld worden zulke foutentellingen kunnen als indicatie voor de spelvaardigheid van schrijvers opgevat worden net als prestaties op een dictee of een andersoortige spellingtoets bij een dictee kunnen schrijvers hun woorden niet zelf kiezen bij een zelf te schrijven tekst tot op zekere hoogte wel in een dictee kunnen bepaal de probleemtypen opzettelijk vertegenwoordigd worden ook kan de moelijkheidsgraad van de items de te spellen woorden door de toets constructeur gecontroleerd worden bij een zelf te schrijven tekst kunnen bepaalde probleemtypen door de schrijver al dan niet opzette lijk vermeden worden bij een zelf te schrijven tekst heeft de schrijver de moeilijksgraad van de te schrijven woorden de items tot op zeke re hoogte in de hand op deze plaats heeft de schrijver derhalve veel vrijheid de kans is daarom groot dat de spelling van het merendeel van de te schrijven woorden geen probleem vormt ondanks de schijn bare lengte is de test daarom te kort gaat het niet om de spelling maar om de inhoud of compositie van teksten dan dienen schrijvers opnieuw op bepaalde plaatsen juist wel en op andere weer niet vrij gelaten te worden zo lijkt variatie in kennis over het onderwerp waarover geschreven moet worden mij eigenlijk ongewenst die variatie kan teruggedrongen worden door leerlingen gedocumenteerde opdrachten aan te bieden niet alleen maar een specificatie van het onderwerp het doel het publiek en de aard van de te schrijven tekst maar ook een kennisbestand b v een verza meling feiten citaten met daarbij een gerichte opdracht tot selectie en ordenen van relevante informatie moet de stilistische kwaliteit van het taalgebruik beoordeeld worden dan zijn juist weer andere vormen van vrijheid en gebondenheid nodig afhankelijk van het te meten aspect van schrijfvaardigheid moeten steeds weer andere bronnen van variatie geneutraliseerd worden het gaat niet in de eerste plaats om de mate maar om de locatie van de vrijheid noten 1 de inhoud en de structuur van het kv domein voor het vak neder lands laten zich niet eenvoudig omschrijven welke leerstof maakt er deel van uit welke niet hoe laat het domein zich beschrijven de dissertatie van sijtstra 1990 behandelt dergelijke problemen 2 deze variatie hangt o a sterk samen met verschillen in leerresulta ten 103 3 het naschoolse leven is hier samengevat onder de noemers studie werk en burgerschap cf de glopper van schooten 1990 4 vgl resultaten van onderzoek van blok de glopper 1983 en de glopper van schooten 1990 bibliografie baltzer j k de glopper e van schooten taalvaardigheid in het hoger onderwijs amsterdam sco 1988 blok h k de glopper taal voor het leven harlingen flevodruk 1983 glopper k de het kan nog beter in hulshoff h g rijlaars dam red vernieuwing van het eindexamen nederlands havo en vwo discussiebijdragen amsterdam instituut voor de lerarenoplei ding van de universiteit van amsterdam 1990 85 88 glopper k de e van schooten de inhoud van de examens ne derlands voor havo en vwo amsterdam sco 1990 koning p de functies van afsluitingen een opsomming pedagogi sche studien 1978 433 449 kreeft h een nieuw examenprogramma nederlands een opgave voor neerlandici spiegel 8 1990 31 45 meuffels b globaal versus analytisch beoordelen moer 1985 5 9 14 schooten e van k de glopper de validiteit van meerkeuze in strumenten voor het meten van schrijfvaardigheid tijdschrift voor taalbeheersing 12 1990 93 110 schoonen r de evaluatie van schrijfvaardigheidsmetingen amster dam sco 1991 sijtstra j doel en inhoud van taalonderwijs arnhem cito 1990 wesdorp h evaluatietechnieken voor het moedertaalonderwijs den haag staatsuitgeverij 1981 wesdorp h research vs tradition the unequal fight the evalua tion of the traditional grammar curriculum in the netherlands amsterdam sco 1984 manuscript aanvaard 18 maart 1991 104