Bruikbaarheid van objektieve studietoetsen in het onderwijs

2 1 zie hiervoo r roge r s c r leren in v rijh e id haar lem 19 71 22 ma ge r r f het bep alen va n doelstellingen voo r geprogram m eerde instruc tie alphen a d rijn 1966 t o pg 17 23 vgl citaat aschner bij bergeijk j van didac tisch handelen een terreinverkenning in verban d m et de practische scholing van aa nstaande leraren gronin gen 19 7 1 d iss p 73 24 p ete rs bips m e a studie toe tsen toelichting bij ee n ge luidsband me t diaserie a rnh e m 1972 nr 6 25 goodman p compulsory miseducation pinguin educational specials 19722 i llic h zie noot 19 bruikbaarheid van objektieve studietoetsen in het onderwij s l eo prick en hildo weldorp het cito bestrijkt met zijn materiaal een groot gedeelte van het onderwijs omdat de toetsen die dit instituut construeert veelal op kritieke momenten in het onderwijs worden gehanteerd zoals bij toelatingsprocedures en eindexamens beinvloeden zij dat onderwijs dit te meer als gevolg van het ontbreken van een instituut voor leerplanont wikkeling voor de meeste vakken het construeren van een toets ter meting van in de regel vage onderwijsdoelstellingen houdt een grote verantwoordelijkheid in voor de mensen die zich hiermee bezighou den om al deze redenen is het gewenst dat een ieder die zich betrokken voelt bij ons onderwijs deze invloedrijke instelling met een gezonde dosis wantrouwen bekijkt en kritisch begeleidt vanuit dit oogpunt bezien kunnen wij alleen maar gelukkig zijn met het artikel van bonset en griffioen met toets en band door het ganse land hoe gebrekkig dit ook moge zijn het doel van onze reactie is niet alleen deze gebrekkigheid te demonstreren maar tevens het denken over de doelstellingen van het moedertaalonderwijs te bevorde ren omdat de lezer het artikel van b en g bij de hand heeft leek het ons het meest voor de hand liggend op een en ander puntsgewijs te reageren daarbij willen we beginnen met hoofdstuk ii interne kritiek omdat in het voorgaan de gesproken wordt over de opzet van het artikel en daarna een overzicht wordt gegeven van de inhoud van pricks cito publikatie 19 gevolgd door enkele opmer kingen par ii over de verdiensten van deze en dergelijke publikaties 1 hoofdstuk iii interne kritie k hoofdstuk iii begint met de opmerking van b en g dat zij de term woorddiskriminatie liever zouden vervangen door die van foneemdiscriminatie de reden van deze voor keur is ons niet duidelijk na deze weinig relevante opmerking stellen de schrijvers dat het geheugen volgens ons bij iedere aktiviteit van het intellect dus ook bij luisteren een rol speelt een belangrijke moeilijkheid bij het begrijpen van een auditief gepresenteerde tekst is da t 11 men niet zoals bij stillezen terug kan gaan naar de tekst de aanbieding is einmalig daar komt nog bij dat het tempo waarin het materiaal wordt aangeboden niet door de ontvanger kan worden bepaald om deze twee redenen is het geheugen van eminent belang bij het begrijpend luisteren spearritt die een uitgebreid onderzoek deed naar faktoren die deel uitmaken van luistervaardigheid adviseert o a geheugenoefening ter verhoging van listening comprehension wat betreft het onderdeel verhalen en verhandelingen noemen de auteurs het bezwaar dat het materiaal bestaat uit geschreven teksten deze kritiek zouden zij nooit geuit hebben wanneer ze de bij deze toets behorende band hadden beluisterd inderdaad is er sprake van geschreven materiaal maar de teksten zijn geschreven door een radio tekstschrijver die dus gewend is zich er bij het schrijven van teksten rekenschap van te geven dat het materiaal auditief wordt gepresenteerd inderdaad hebben we te maken met geschreven taal maar dan de geschreven taal van de causerie of het hoorspel van schrijftaal is beslist geen sprake b en g vervolgen met in het normale maatschappelijke leven neemt luisteren in een eenrichtingssituatie niet de grootste plaats is en so what moeten we ons op school alleen richten op die vaardigheden die in het normale leven de grootste plaats inne men als dit het geval is kunnen we maatschappij kritische teksten in het onderwijs negeren de vraag zou natuurlijk moeten zijn of het kunnen luisteren in een eenrichtinssituatie een voldoende relevante vaardigheid is om er onderwijs in te geven naar onze mening is dit wel degelijk het geval niet alleen omdat dit eenrichtingsverkeer zich voordoet wanneer we ons bedienen van audio visuele media de nieuwsuitzendingen en de aktualiteiten zijn de dichtstbeluisterde radioprogramma s maar ook omdat er of we er nu gelukkig mee zijn of niet daarbuiten situaties te over zijn waarin men alleen maar luistert de politieke redevoering de toespraak de inleiding tot een discussie en het theater bovendien speelt de luistervaardigheid ook een rol in die situaties waarin de luisteraars niet alleen moeten luisteren maar tevens potentieel spreker zijn zoals bij groepsdiscussies gesprekken forums de lessituatie etc wat betreft het luisteren naar de massamedia vragen b en g zich retorisch af of hier niet een kritische en evaluerende houding t a v het getoonde past i p v alleen een begrijpende retorische vragen worden nu eenmaal niet gesteld om ze te ontkennen en ook wij zullen dit niet doen maar wel willen we opmerken dat deze vraagstelling buiten beschouwing laat of dit begrijpen al dan niet van belang is en omdat wij vinden dat dit wel belangrijk is zijn we van mening dat het alle zin heeft dit begrijpen te doceren begrijpen is nl een noodzakelijke voorwaarde voor zinvolle kritiek en evalua tie wat dit laatste betreft nog dit de afdeling nederlands van het cito probeert wel degelijk kritische en evaluerende vragen in zijn toetsen op te nemen en wijkt daarmee reeds af van de vigerende onderwijsdoelstellingen zoals we die in het gemiddelde schoolboek vinden b en g trekken de konklusie dat de toets de doelstellingen geenszins valideert en waarom niet omdat zeggen b en g niet alle doelstellingen van het luisteronderricht in deze toets worden gemeten nu wordt over deze toets gezegd dat deze kan worde n 12 gezien als een auditief gepresenteerde pendant van het stillezen cito publikatie 19 pg 8 wanneer men de validiteitsvraag formuleert als de vraag of de testopgaven en het instrument als geheel het bedoelde begrip adequaat representeren de groot 1961 pg 274 dan is de toets valide wannee r de teksten en de bijbehorende vragen zodanig zijn gekozen dat ze behoren tot die verzameling teksten en vragen waarvan het begrijpen een onderwijsdoelstelling vormt het instrument betrouwbaar meet afgezien van de onjuiste beweringen van b en g over de teksten hebben zij niets gesteld wat de validiteit van deze toets in twijfel kan trekken en hun konklusie dat de toets niet valide is is dan ook nergens op gebaseerd b en g spreken als hun mening uit dat het onverstandig is eenrichtingsverkeertoetsen te maken zolang niet bewezen is dat goed luisteren in een eenrichtingssituatie bij draagt tot een beter funktioneren in een tweerichtingssituatie ze lichten dit toe met te stellen dat zij zich personen voor kunnen stellen die zich in een situatie waarin ze niets kunnen zeggen reeds na 5 minuten gefrustreerd voelen alweer jammer dat b en g de teksten van de toets niet beluisterd hebben want die duren slechts 1 a 4 minuten maar afgezien van die 5 minuten het volgende b en g kunnen zich bepaalde snel gefrustreerde personen voorstellen maar wij weten dat ook snel gefrustreerde personen in een discussie niet adequaat funktioneren wanneer ze niet begrijpen wat een ander zegt empirisch onderzoek is nooit weg maar mag even min fungeren als een alibi om niets te doen onder punt 2 noemen b en g de opvatting dat begrip een noodzakelijke voorwaarde is voor evaluatie en kritische reflektie meer logisch dan psychologisch inderdaad deze redenering is logisch maar deze kritiek vormt tevens een niet terecht verwijt aan de psychologie de psycholoog bloom spreekt wel degelijk over een hierarchie waarin eerst begrip en daarna kritiek komt tenslotte noemen b en g het eenrichtingsverkeer een legitiem doel wanneer men zich het leren luisteren naar de media en de docent ten doel stelt in dit geval had prick e e a als apart onderwijsdoel in zijn publikatie kunnen vermelden aldus b en g dit verwijt verbaast ons niet alleen omdat de schrijvers onder punt 3 van paragraaf 1 die massamedia noemen maar ook omdat in cito publikatie no 19 pg 5 het volgende gezegd wordt de voornaamste reden om een luistertoets te construeren vormde de reeds in de inleiding genoemde verschuiving naar audiovisuele communicatie in onze moder ne maatschappij omdat de school de leerling ertoe dient op te leiden om zich hoe dan ook in de maatschappij te bewegen is het aanleren van de vaardigheden die daarbij van belang zijn i c het luisteren noodzakelijk 2 hoofdstuk iv externe kritie k b en g beginnen met het verwijt dat faktoren waarover o a de sociale psychologie beweringen doet niet zijn opgenomen in de toets wanneer de auteurs erin slagen deze beweringen te vertalen in gewenste vaardigheden of attituden en zich niet beperke n 13 tot kreten is het mogelijk hier iets mee te doen en deze wellicht in een toets op te nemen het verwijt dat we in deze toets geen visserstaal of zeeuws hebben opgeno men leggen we graag naast ons neer wanneer b en g even later stellen dat de teksten van deze toets geen enkele emotie bij de leerlingen zullen oproepen dan gaat dit ons te ver dan blijkt alweer dat ze de band niet beluisterd hebben en ook niet aan leerlingen hebben voorgelegd op pg 9 van de cito publikatie wordt trouwens gesproken over de reakties van de leerlingen even verder spreken b en g over de vernieuwde uitgave van de toets van een vernieuwing was geen sprake de toets is geconstrueerd en gepretest in het kader van een onderzoek een gedeelte ervan nl de verhalen en verhandelingen is mede op grond van de onderzoekresultaten geschikt bevonden om aan het onderwijs aan te bieden de effecten van een dergelijke luistertoets op het onderwijs zijn volgens b en g altijd ongunstig wij stellen nogmaals dat naar onze mening dit soort onderzoek bijdraagt tot een operationaliseren van doelstellingen voordat dit onderzoek plaatsvond waren er geen pogingen tot concretisering gedaan nu kan de discussie over de doelstellingen op gang komen en het onderwijs zich hierop gaan bezinnen aan het slot van paragraaf 4 noemen b en g in een drietal punten wat voor luister onderwijs deze toets impliceert als eerste noemen ze waarnaar je luistert heeft niets met jezelf en of de maatschappij waarin je leeft te maken reeds enkele keren hebben we erop gewezen dat b en g de band niet beluisterd hebben alvorens hun stuk te schrijven dit heeft geleid tot een aantal konklusies en aanmerkingen die pertinent onjuist zijn deze bewering is er een van ter weerlegging van deze konklusie volgt hier een van de teksten op s traa t j het kleine meisje silvia ging met haar moeder mee boodschappen doen ze huppelde springerig langszij aan de kant waar niet de tas was tot ze opeens op de stoep een plaatje zag liggen een plaatje vol met pinguins m bah jigh gooi gauw weg zei haar moeder dat is vies daar hebben oude mannen op gespuwd en honden op gepoept bah vies j het kleine meisje silvia gooide bedroefd het plaatje terug op straat het plaatje vol pinguins tot ze tien tegels verder weer iets zag iets blinken in de goot ze raapte het op het was een kwartje maar toen ze aan de woorden van haar moeder dacht wierp ze het geldstuk meteen weer weg de moeder zag het rollen rende er achteraan raapte het op en zei m foei silvia wat doe je nou dat is een kwartje stoute meid je mag toch zomaar geen geld weggooien als twee d e kenmerk van h et door de toets te bevorderen luisteronderwijs noemen b en g 14 eenrichtingsverkeer is de meest normale kommunikatievorm wanneer jarenlang het onderwijs alleen geconfronteerd zou worden met dit soort toetsen zou dit gevaar reeel zijn wij hopen echter met deze toets die gedeelten van de doelstellingen dekt bereikt te hebben dat eindelijk auditieve kommunikatievormen aandacht krijgen in het onder wijs als derde kenmerk van het door de toets gepropageerde soort luisteronderricht noe men b en g als luisteraar hou je je mond en probeert a ll een te begrijpen wat er gezegd wordt inderdaad als luisteraar hou je je mond zolang je luistert voor je repliceert verwerf je de informatie die je nodig hebt om dit adequaat te doen wanneer b en g dit gedaan hadden hadden ze een heleboel zaken die ze nu hebben beweerd niet kunnen bewe ren 3 mo e d e rtaalond e rwij s en objecti e v e s tudi e toets e n d at taal geen doel is maar een instrument wordt door prick niet ontkend uit zijn werk blijkt echter de opvatting dat communiceren gebruik maken van dat instrument enige taalvaardigheid verondersteld het is dan ook de doelstelling van vele vormen van onderwijs die taalvaardigheid verder te ontwikkelen weliswaar stellen b en g dat de doelstellingen van ons taalonderwijs voortvloeien uit ons wereldbeeld en dat een waardevrij moedertaalonderwijs niet bestaat zaken die niet door prick worden ont kend maar zij vergeten dat onafhankelijk van het wereldbeeld er een aantal vaardig heden is dat de moeite van het verwerven waard is er bestaan o i communale doelstellingen d w z doelstellingen die bestaan uit een aantal voor elke maatschappijvisie acceptabele en wenselijke dee l vaardigheden naast die communale doelstellingen die voor iedereen gelden bestaan er differentiele waar b en g naar het schijnt het hele onderwijs mee willen vullen wij zijn het daarmee oneens volgens ons blijft er een fonds van taalvaardigheden dat gemeenschappelijke doelstelling van het gehele basisonderwijs is dat iedere reele communicatiesituatie zich per definitie onttrekt aan iedere objectieve toetsing is daarom s lechts een schijnargument immers het is niet de bedoe ling de situatie te toetsen doch de vaardigheden die daarbij een rol spelen een aantal vaardig heden valt daarbij uit de boot omdat je met objectieve studietoetsen niet alles kunt andere vaardigheden worden getoetst in een andere situatie dan de reele bv als met eenrichtingsverkeerluistertoetsen het luisteren getoetst wordt en er ook konk l usies uit getrokken worden m b t het tweerichtingsverkeer luisteren weer andere vaardigheden worden getoetst in een bijna reele situatie bv als wij met een tekstbegriptoets nagaan of een leerling een aantal fundamentele leesvaardighe den beheerst nog weer andere vaardigheden kunnen getoetst worden in een bijna of geheel levens 15 echte situatie bv de vaardigheid in het hanteren van het woordenboek waarbij de leerling zijn woordenboek inderdaad moet gebruiken b en g stellen kortweg dat iedere objectieve toetsing onmogelijk is wij stellen dat niet alle vaardigheden met behulp van objectieve toetsen gemeten kunnen worden wij geloven zelfs dat een flink aantal communale doelstellingen op het gebied van de taalvaardigheid niet in objectieve toetsen operationaliseerbaar is als de reele communicatiesituatie niet nabootsbaar is in de toetsingssituatie hoeft de toets nog niet per se invalide te zijn een aantal belangrijke metingen kan verricht worden zonder dat die reele situatie daar is wie dat niet aanvaardt werpt een aantal nuttige hulpinstrumenten weg en kiest voor omslachtiger doch levensechte procedu res daarover nog straks maar het moet ons hier alvast van het hart dat het niet accepteren van diagnostische en evaluatieve toetsen volgens ons een niet logische consequentie is van de principiele bezwaren tegen objectieve studietoetsen immers juist voor het onderwijs in een aan tal door iedere maatschappijvisie geaccepteerde basisvaardigheden zijn diagnostische toetsen uitstekende hulpmiddelen gebleken die recht doen aan de individuele proble men van de leerling het heeft er alle schijn van dat b en g ofwel het bestaan van deze communale vaardigheden ontkennen bf het profijt van dit soort toetsen niet willen accepteren omdat de toetsingssituatie niet de reele communicatiesituatie weerspiegelt b en g stellen een aantal alternatieve evaluatiemethoden voor bv 1 methoden die valide zijn t o v de onderwijsdoelen het probleem zit hem niet in de uitspraak die in zijn algemeenheid ook door het cito wordt gehanteerd maar in de keuze van de onderwijsdoelen daarover zijn b en g niet concreet met termen als projectonderwijs of ontscholing worden vage ideeen aangestipt maar het meeste bezwaar hebben wij tegen de op het eerste gezicht valide toetsings methode van b en g spreken als er gesproken moet worden luisteren als er geluisterd moet worden hoe dit in de praktijk geschiedt blijft vaag maar er zijn voldoende studies op dit gebied gedaan om te stellen dat deze methode veelal leidt tot het verwerven van schijninformatie over de beheersing van spreek en luistervaardigheden dergelijke methoden zijn zeer onbetrouwbaar meten bijna niets en zijn dus niet valide al heeft het er alle schijn van dat ze het wel zijn hetzelfde bezwaar geldt voor het als 4 voorgestelde evalueren in gesprekken het samen kriteria opstellen 2 is volgens ons een zeer acceptabele stap om tot een goede toetsing te komen maar zolang de technieken van het evalueren van het product 2 niet omschreven zijn kunnen wij alleen vrezen dat te snel het geloof in de validiteit van de toetsingsmethode het wint van het wantrouwen dat wij te dien aanzien koeste ren op grond van de onbetrouwbaarheid ervan het evalueren van het proces en niet alleen het product 3 lijkt ons acceptabel mits voor de noodzakelijke betrouwbaarheid in de meetprocedure wordt gezorgd de cito aanbieding van objectieve luistertoetsen sluit deze procesevaluatie niet uit 4 objectieve studi e toetsen en onderwijstechnologi e de door b en g genoemde argumenten voor objectieve studietoetsen controleerbaar heid herhaalbaarheid en vergelijkbaarheid zijn naar ons weten nergens in de literatuu r 16 over dit onderwerp als specifieke voordelen van studietoetsen genoemd het zijn veel eer kenmerken van goed empirisch onderzoek toch volgen hier enkele reacties op de uitspraken over dit onderwerp objectieve studietoetsen en controleerbaarheid objectieve toetsen maken doelstel lingen concreet en controleerbaar dank zij die controleerbaarheid konden b en g reageren op pricks mening t a v de doelstellingen of gedeelten daarvan het is niet zo dat alleen objectieve toetsen die controleerbaarheid van de doelstellingen mogelijk maken het is wel zo dat in het algemeen zeer vaag gepraat en geschreven wordt over doelstellingen de alternatieve doelstellingen van b en g zijn ons dan ook niet duide lijk hoewel het onderwijs geen auto is achten wij magers opvattingen omtrent het onderwijs juist de leerling heeft recht op een zo helder mogelijke formulering van de doelstellingen op een adequaat opgebouwd curriculum in wezen zou hij de kwaliteit van het onderwijs moeten kunnen taxeren voor hij zich erin stort objectieve studietoetsen en herhaalbaarheid een programma waarvan toetsen een onderdeel vormen kan worden herhaald overigens niet met steeds hetzelfde ge wenste resultaat wat is daartegen er is veel voor volgens ons een programma is overdraagbaar kan in bepaalde situaties de kortste weg naar het doel zijn en waarom zou dan die herhaalbaarheid slecht zijn wij wijzen op bv verrijkingsprogramma s inclusief toetsen toetsitems bewaren is verstandig mits elk jaar de validiteit van de items t o v de dan geldende doelstellingen wordt geaccepteerd de doelstellingen verschuiven maar niet zo snel dat na drie jaar niets meer bruikbaar is telkenjare echter kiest de docent zelf wat hij nog wil gebruiken ook leerboeken audio visuele hulpmiddelen schoolmeubi lair en schoolgebouwen bewaren we enige tijd als er een te grote kloof ontstaat tussen de erdoor vastgelegde doelstellingen en de doelstellingen van het moment individuele en sociale realiteit moeten we dat signaleren en dienen we het program de toets het boek de diastrip of het schoolgebouw niet te prolongeren objectieve studietoetsen en vergelijkbaarheid dat iedereen op ieder moment hetzelf de zou moeten leren volgt o i niet uit het bestaan van objectieve toetsen en wellicht niet eens uit het aangegeven gebruik ervan toetsen maken juist verregaande individua lisering en differentiatie mogelijk en er zijn reeds vele voorbeelden van zulke curricula met ingebedde toetsen die blijken te werken de bezwaren tegen toetsen op grond van het ge ruik als vergelijkingsmiddel zijn niet zonder meer gerechtvaardigd om probleemgebieden op te sporen met het oog op een adequaat onderwijsbeleid is zulk vergelijkend gebruik acceptabel b en g vertonen hier de eerder gesignaleerde neiging absoluut te zijn in hun oordeel verwerping van het instrument omdat het niet aansluit bij de individuele en sociale behoefte van de betrokkenen is ongerechtvaardigd er is bij de betrokkenen o m behoefte aan basisvaardigheden het ontbreken daarvan wordt o m geconstateerd met deze instrumenten wij geloven dat het aan de vries ontleende citaat waarin een wat doordravende schrijver een caricatuur schildert van ons systeem geen recht doet aan wat b en g steeds centraal willen stellen de mens immers wat zijn dat voor mensen die dat caricaturale waardesysteem accepteren zijn het marionetten of mensen wij gelove n 17 in het gezonde verstand van de mens en zien de vries citaat dan ook meer als een debaterstruc clan als een stuk waaraan je hem kunt houden 5 angst voor exacth e i d tot slot van dit antwoord nog enkele algemene opmerkingen het artikel van b en g is gefundeerd in het vanuit hun maatschappijvisie veroordelen van het onderwijsmodel en het waardensysteem van de moderne onderwijstechno logie hun bezwaren tegen gedeelten van pricks toetsen zijn een uitvloeisel van die veroordeling kenmerkend voor hun houding is ons inziens een angst voor exactheid meetbaarheid concreetheid samengevat in de afgrijselijke gevaren van de controleerbaarheid de herhaalbaarheid en de vergelijkbaarheid samengevat in het de ries citaat wij gunnen hun die angsten maar wijzen erop dat hun alternatieven vaag en onduide lijk zijn dat hun doelstellingen hun toetsingsmethoden zo vaag geschilderd zijn dat er eigenlijk geen sprake is van een alternatief wij willen dat alternatief net zo concreet voor ogen hebben als het voor b en g verwerpelijke alternatief van prick voorts moet het ons van het hart dat de vrees ongegrond is dat een bepaalde meet methode die enige exacte kenmerken heeft impliciet het verderfelijke waarde systeem stabiliseert alsof het de instrumenten zijn en niet de mensen die bepalen wat er gebeurt het is vreemd dat b en g zo weinig vertrouwen in de mens hebben dat ze bang zijn dat deze in de ban van zijn instrumentarium zal geraken literatuur bloom benjamin s ed taxonomy of educational objectives the classification of educational goals new york mc kay 1969 2 dln groot a d de methodologie s gravenpage 1961 spearritt donald listening comprehension a factortal analysis uitg a c e r melbou rne 1962 18