Het beoordelen van (mondelinge) taalvaardigheid – Een reactie op H. Wesdorps ‘Evaluatietechnieken voor het moedertaalonderwijs’

henk lammers leo lent z het beoordelen van toetsings mondelinge taalvaardigheid een reactie op h wesdorps evaluatie problematie k technieken voor het moedertaalonderwijs moedertaalonderwijs en objectieve toetsen de discussie daarover kent al een hele moer traditie in jaargang 1973 kruisten bonset griffioen van gils en prick wesdorp de degens over het toetsen van uistervaa rdigheid in jaargang 1974 en 1975 ging de dis cussie verder over het toetsen van tekstbegrip bonset en lu ijten in jaargang 1976 kwam van gils daar nog eens op terug nu jaargang 1979 vatten henk lammers en leo lentz de draad van de discussie weer op naar aanleiding van het boek evaluatietechnieken voor het moedertaalonderwijs van h wesdorp in hun kritische bespreking van dit boek gaan lammers lentz vooral in op de toetsingsprob ematiek van de mondelinge taalvaardigheid naar hun idee botsen de normen voor goed normaal functioneel onderwijs met normen voor betrouwbare in toetstechnisch opzicht toetsing bij het normaal functioneel moedertaalonderwijs verkeer je vaker in besprekings dan in beoordelingssituaties in le id i n g wesdorp zelf beschouwt zijn verslag als een tussenstand en spreekt van een materiaalverza augustus 1978 publiceert h wesdorp het eind meling die nog een lange weg moet gaan voor het verslag van een studie naar het meten van het gewenste eindprodukt er is dat eindprodukt zou taalvermogen met als ondertitel een inventaris dan een voor de onderwijspraktijk en of de atievnbordeligsmthodenvr stelvar onderwijsresearch bruikbare handleiding betref digheid het begrijpend lezen de spreek luister fende de problematiek van de taalvaardigheid en discussievaardigheid wesdorp is verbonden evaluatie moeten zijn wesdorp 1978 1 om nu aan het research instituut voor toegepaste tot een zo goed en bruikbaar mogelijk eindrap psychologie ritp en heeft zijn onderzoek port te komen legt wesdorp deze tussenstand kunnen verrichten dankzij een subsidie van de voor aan een aantal deskundigen vakspecialisten stichting voor onderzoek van het onderwijs en didactici aan pedagogische academies univer svo het onderzoek is nog niet voltooid sitaire en nieuwe lerarenopleidingen opmerke 15 lijk is dat in deze opsomming de leerkrachten druk van objectiviteit gewekt die is er natuurlijk ontbreken niet wesdorp maakt wel degelijk keuzes en doet januari 1979 stuu rt wesdorp een brief aan dege dat vanzelfsprekend op grond van zijn ideeen nen die in eerste instantie het rapport toege over het toetsen van taalvaardigheid deze visie stuurd kregen hij schrijft in deze brief dat bij na wordt echter niet expliciet gemaakt en niet ter der inzien de doelgroep verder beperkt moet wor discussie gesteld de tekst werkt echter tussen de den het boek blijkt niet geschikt voor studenten regels door wel degelijk opinierend hoe die van de opleidingsinstituten hij deelt mee aan een opinie er dan precies uitziet moeten we evenwel beknopt boekje voor studenten te werken het afleiden uit passages als de volgende rapport zelf is op dit moment niet meer verkrijg het is echter de vraag of de eis van de normale baar maar wesdorp spreekt de hoop uit dat het functionaliteit die terecht aan onderwijssituaties binnenkort weer op ruimere schaal verkrijgbaar gesteld mag worden ook per se moet gelden voor is toetsingssituaties p 255 het is naar onze mening duidelijk dat men bereid het rapport heeft vier ongeveer even lange moet zijn in de toetssituatie enige concessies te hoofdstukken die gewijd zijn aan schrijven lezen doen ten aanzien van de natuurlijkheid om op spreken discussieren en luisteren elk hoofdstuk andere punten voordeel te behalen p 256 begint met een algemene inleiding op de aard van betrokkenheid van de leerkracht als beoordelaar de vaardigheid en de problemen die hieruit voort kan negatieve effecten hebben sterker nog kan komen voor de beoordeling tot meer interactie leiden tussen leraar en leer vervolgens worden verschillende beoordelings ling en deze interactie kan de beoordelingsbe methoden aan de hand van literatuur besproken trouwbaarheid negatief beinvloeden p 256 d eze literatuur doet meestal verslag van weten 257 schappelijk onderzoek weinig voorbeelden ko uit deze passages kunnen we concluderen dat de men uit de lespraktijk betrouwbaarheid voor wesdorp zwaar weegt en weldorp beperkt zich tot de evaluatie van de dat hij bereid is daarvoor offers te brengen taalvaardigheid van de leerlingen in het voortge de hamvraag is natuurlijk onder welke omstan zet onderwijs en in de hogere klassen van het ba digheden is zo n offer verantwoord en welke sisonderwijs een aantal beoordelingsmethoden overwegingen moeten daarbij betrokken worden die aan bod komen zijn de cloze techniek de sa tot een afweging van de verschillende argumen menvatting beoordelingsschalen open vragen in ten komt weldorp echter niet hij licht niet toe elk hoofdstuk wordt onderscheid gemaakt tussen wanneer we die eis van normale functionaliteit2 globale en analytische beoordeling en komt de mogen laten vallen hij geeft niet aan welke con mogelijkheid van objectieve toetsing ter sprake cessies acceptabel zijn juist een publikatie die in de laatste paragraaf van elk hoofdstuk gaat over een handleiding moet resulteren zou aan de leer de affectieve aspecten van de vaardigheid het kracht duidelijk moeten maken dat het antwoord eerste deel van hoofdstuk 1 over schrijfvaardig op dergelijke vragen afhangt van het soort toet heid kan beschouwd worden als een algemene in sing het moet duidelijk worden dat een crite leiding weldorp bespreekt hier bronnen van on rium als bijvoorbeeld betrouwbaarheid hoog ge betrouwbaarheid een bespreking waarop hij in noteerd staat als het gaat om een centrale toets de latere hoofdstukken regelmatig terugkomt met het oog op selectie waar weldorp een poging doet die duidelijkheid e e n vis ie i s nodig te verschaffen wint zijn betoog aan inzichtelijk heid als voorbeeld noemen we het schema op weldorp doet een poging een overzicht te geven pagina 254 waarin de samenhang tussen enerzijds van de beschikbare evaluatietechnieken voor taal de vrijheid van de beoordelaar en die van de leer vaardigheid d at moet positief gewaardeerd wor ling en anderzijds de beoordelingsmethode wordt den ook omdat weldorp bereid is gebleken daar aangegeven uit dat schema blijkt dat betrouw voor een grote hoeveelheid literatuur in beschou baarheid en validiteit3 moeilijk te combineren wing te nemen d aarbij willen we echter een paar zijn en dat er keuzen gemaakt moeten worden opmerkingen maken d oor de hoeveelheid en de het schema helpt de leerkracht bij het maken van verscheidenheid van de literatuur wordt de in die keuze 16 twee visies aspecten sluiten wij ons aan bij de traditie maar menig auteur zet vraagtekens bij die traditie en wie zoals wesdorp enige orde wil brengen in de vraagt zich af of de geconstateerde verschillen problemen rond het toetsen van taalvaardigheid bijvoorbeeld tussen de ontwikkeling van de die heeft een organiserend principe nodig een spreek en schrijfvaardigheid geen artefacten visie op het taalvaardigheidsonderwijs een theo zijn van de gehanteerde meetmethoden kanaalar rie zo n visie is een noodzakelijke voorwaarde tefacten of van het onderwijssysteem didac om te kunnen kiezen tussen de verschillende be tische artefacten p 1 oordelingsmethoden maar er is nog een voor weldorp vraagt zich in het voorwoord af of de waarde het expliciteren van die visie als dat keuzen die hij gemaakt heeft de bruikbaarheid niet gebeurt is een zakelijke discussie over beoor van het rapport niet hebben aangetast wij zijn delingsmethoden onmogelijk het is dan vaak geneigd die vraag met ja te beantwoorden wij moeilijk vast te stellen of bezwaren zich richten denken dat zijn visie niet het juiste kader biedt tegen de methode zelf of tegen de achterliggende voor de verbetering van het taalvaardigheidson visie omdat weldorp zijn visie maar in beperkte derwijs mate duidelijk maakt doen we hier een poging dat onderwijs is te zeer procesmatig om alleen tot reconstructie daarbij dreigt het gevaar dat het produkt als criterium voor de kwaliteit van we weldorp onrecht aandoen maar dat risico het onderwijs te kunnen nemen wij denken dat loopt een auteur die het beschrijven van zijn visie het niet zozeer weldorp is die faalt als wel de on overlaat aan zijn critici nu eenmaal derzoekstraditie waarop hij zich baseert we vin in de meeste onderzoeken waar weldorp zijn den steun voor deze mening bij meuffels 1978 studie op baseert wordt veel belang gehecht aan 58 59 die er in een artikel over effectmeting op een zo groot mogelijke betrouwbaarheid van een wijst dat van breed opgezet empirisch onderzoek toets de achterliggende filosofie daarbij is als weinig te verwachten valt als het theoretisch we een een betrouwbare toets hebben kunnen we kader voor dat onderzoek ontbreekt ook die eindelijk eens meten wat het effect van ons on gritz 1977 1 komt tot een dergelijke conclusie derwijs is en zo onderscheid maken tussen goed hij wijst erop dat we ondanks een onmetelijk en slecht onderwijs binnen deze traditie is het aantal empirisch analytische onderzoeken nu nog organiserend principe dus betrouwbaarheid ter niet meer weten over bijvoorbeeld het verloop wille van de effectmeting wij beschouwen wes van communicatieve processen in het onderwijs dorp als een aanhanger van deze filosofie mede dan twintig jaar geleden hij geeft aan dat veel op grond van zijn voorwoord waar hij schrijft verschijnselen die niet meet en kwantificeerbaar zonder een acceptabel evaluatie instrumenta zijn buiten beschouwing bleven zodat we nu rium is elke ontwikkeling vernieuwing of verbe voornamelijk de beschikking hebben over een on tering van het moedertaalonderwijs een imaginai samenhangend geheel van resultaten uit het re zaak p 3 dit citaat leidt niet onherroepelijk effect onderzoek tot onze conclusie maar onze interpretatie wordt ondersteund door het volgende wie het effect in onze visie is taalvaardigheid het kunnen ver van een bepaalde taalvaardigheidsmethode wil we rven en verwerken van informatie dat bete meten moet allerlei storende elementen tot een kent dat een leerling in staat moet zijn aan de minimum beperken zowel de te toetsen vaardig hand van een concrete vraag informatiebronnen heid als de toetssituatie moeten zo zuiver moge personen instanties encyclopedieen boeken lijk zijn in dit licht bezien is het niet verwonder tijdschriften kranten te raadplegen daaruit in lijk dat weldorp zich behoudend opstelt ten aan formatie te verzamelen en deze informatie zo te zien van een tweetal vernieuwingen in het moe ordenen en te presenteren dat ze opnieuw toe dertaalonderwijs die afbreuk doen aan deze zui gankelijk is voor anderen bij vaardigheden als le verheid zen en luisteren ligt het accent dan op het ver netgebruik van informatiebronnen een vaar werven van de informatie en op het beoordelen digheid die met veel recht een moedertaalvaardig van het belang de kwaliteit van de informatie bij heid genoemd zou kunnen worden valt buiten vaardigheden als spreken en schrijven ligt het het bestek van dit rapport p 2 accent op de ordening en de presentatie van de met onze indeling naar de vier taal vaardigheids informatie waarbij de leerling bijvoorbeeld in 17 staat moet zijn rekening te houden met zijn pu bij het toetsen van luistervaardigheid bliek perren 1968 constateert in dit verband dat we in onze benadering van het moedertaalonderwijs vaak wel in staat zijn te discrimineren betrouw staat het omgaan met informatie in reele taalge baar te meten t a v zaken die minder belangrijk bruikssituaties centraal dit betekent dat de in zijn terwijl we slechts onbetrouwbare oordelen formatie werkelijk van belang is voor de leerlin kunnen vellen over zaken die echt wel belangrijk gen en dat er praktische consequenties aan ver zijn het dilemma is dat tussen betrouwbare me bonden zijn enkele voorbeelden tingvan irrelevante vaardigheden en onbetrouw het schrijven van een brief aan de ouders doel bare meting van relevante vaardigheden informatie geven over de plannen voor een klasse p 256 avond belang toestemming van de ouders prak dit dilemma blijkt voor wesdorp zwaar te wegen tische consequentie het al dan niet doorgaan van bij elke vaardigheid zien we opnieuw de worste de avond een artikel voor de schoolkrant doel ling om een zo eerlijk mogelijk evenwicht te vin standpunt uiteenzetten over de censuur van de den tussen betrouwbaarheid en relevantie rector in de vorige editie belang persvrijheid op een bruikbare handleiding voor de onderwijs school praktische consequentie een op gang ge praktijk dient uit te gaan van de keuzes die de brachtediscussie het lezen van een artikel uit leerkracht gewoonlijk in dit dilemma maakt wij de krant en een samenvatting maken als je het denken dat leerkrachten bij het oefenen van een voor je werkstuk wilt gebruiken een gesprek met vaardigheid proberen evaluerende opmerkingen de leraar wiskunde voorbereiden om een herkan te maken die een leerling zo veel mogelijk inzicht sing voor een proefwerk te bepleiten geven in de manier waarop hij met een vaardig in deze taalactiviteiten komen vele technische heid omgaat pas in tweede instantie zal hij zich aspecten van taalvaardigheid aan de orde deze bekommeren om de betrouwbaarheid van zijn kunnen zeker apart behandeld en beoordeeld oordeel als er in het onderwijs voortdurend con worden mits duidelijk is met welk doel de activi cessies worden gedaan aan de betrouwbaarheid teiten verricht worden als dat duidelijk is wordt dan is het niet juist om bij het samenstellen van de beoordeling al een stuk eenvoudiger is mijn een handleiding concessies te doen aan de rele brief helder plezierig leesbaar heb ik dat artikel vantie en de natuurlijkheid er ontstaat dan een uit de krant zodanig weergegeven dat de samen wrijving tussen toetsing en onderwijs dat dit ge vatting de informatie bevat die ik ook voor mijn vaar dreigt blijkt uit wesdorps standpunt ten werkstuk nodig heb kortom de beoordeling aanzien van een aantal bronnen van onbetrouw richt zich op de vraag heb ik mijn doel bereikt baarheid deze zijn de variabiliteit van de beoor en heb ik dat op een adequate manier aange delaar de verschillen in de testsituatie en de va pakt het is duidelijk dat hier niet langer sprake riabiliteit van de beoordeelde wesdorp waardeert is van taalvaardigheid in engere zin maar eerder deze bronnen negatief en doet voorstellen hoe ze van communicatieve vaardigheid welk etiket we te elimineren wesdorp 1978 252 255 overi er ook opplakken het is belangrijk dat deze visie gens leiden deze voorstellen tot een verlies aan een aantal consequenties heeft die verschillen van validiteit een betrouwbaar en valide oordeel die van wesdorp ter illustratie bespreken we er over zulke complexe vaardigheden als bijvoor een de betrouwbaarheid beeld het luisteren blijkt een illusie de betro uwbaa rh e id n aar ee n h a ndl e id in g we gebruiken hier het woord betrouwbaar in een wesdorp heeft met dit rapport een eerste stap bijzondere betekenis een toetstechnische be willen zetten naar een handleiding voor de evalu trouwbaar betekent dan in hoeverre krijg je in atie van taalvaardigheid welke informatie heeft meerdere toetssituaties met dezelfde toets de een onderzoeker nodig om zo n handleiding te zelfde resultaten gewoonlijk kan de betrouw maken baarheid vergroot worden door de toetssituatie te uiteraard dient hij op de hoogte te zijn met de structureren doen we dit dan dreigt het gevaar evaluatiemethoden die in de vakliteratuur be dat we alleen minder relevante vaardigheden kun schreven worden maar hij dient ook een visie op nen toetsen weldorp schrijft over dit probleem het taalvaardigheidsonderwijs te hebben die aan 18 sluit bij wat er in de praktijk van het onderwijs vertrouwen van de leerkracht van het geloof in gebeurt kennelijk moet daarvoor meer gebeuren eigen kunnen maar als we nagaan hoe je als leer dan het enqueteren van leerkrachten want van kracht gewaardeerd wordt dan lijkt het ons erg de problemen zoals die duidelijk werden uit een moeilijk om nog veel geloof in eigen kunnen over door wesdorp 1974 gehouden enquete vinden te houden ten aanzien van de toetsingsproble we in dit rapport opmerkelijk weinig terug de matiek wordt er een situatie gecreeerd waarbij de leerkracht moet dan ook van ondervraagde tot verantwoordelijkheid en de deskundigheid van de deelnemer worden dit vereist dat de deskundig leerkracht in de verdrukking komt wordt in de heid van de leerkracht gewaardeerd en gebruikt eerst alinea van bovenstaand citaat niet uitgelegd wordt wij denken dat dit nu nauwelijks het geval dat het maken van een goede toets een moeilijk is zelfs in een progressief boek als taaldidac karwei is het vraagt zo n grote deskundigheid tiek aan de basis treffen we nog een passage als dat zelfs de deskundigen van het cito het nog de volgende aan niet kunnen wat wil je als leerkracht dan nog aan kritiek op het gebruik van objectieve toet natuurlijk zijn leraren wel deskundig het is sen in het onderwijs heeft het de laatste jaren alleen een ander soort deskundigheid gewoon niet ontbroken voor een deel is ze zeker ge lijk zullen leraren niet weten hoe ze een item rechtvaardigd het samenstellen van een goede analyse moeten uitvoeren maar ze zullen wel de is betrouwbare en valide toets is een moeilijk gelijk kunnen aangeven of bijvoorbeeld een karwei dat een grote deskundigheid vraagt en toets aansluit bij het onderwijs dat ze willen ge zelfs toetsen die door deskundigen bijvoorbeeld ven de eerste soort deskundigheid is belangrijk door het centraal instituut voor toetsontwikke voor degenen die een toets met een hoge graad ling cito in arnhem gemaakt zijn voldoen van betrouwbaarheid voorstaan de tweede soort nog niet altijd aan de te stellen eisen deskundigheid is belangrijk voor degenen die hun niettemin geloven we dat de critici zich in veel onderwijs zo veel mogelijk normaal functioneel gevallen beter zouden kunnen richten tegen de willen houden wij constateren dat deze twee toetsgebruikers die zich lang niet altijd voldoen soorten deskundigheid nogal eens verward wor de rekenschap geven van wat we en wat niet met den en dat leerkrachten wegens het ontbreken een bepaalde toets kan worden gemeten en die van de eerste soort deskundigheid ten onrechte aan de uitkomst soms conclusies verbinden die de als ondeskundig worden behandeld toetsontwerpers zeker niet voor hun rekening zouden willen nemen wat ooit is opgemerkt ten wesdorp zelf is niet optimistisch over de moge aanzien van een scheermes namelijk dat het een lijkheid zijn rapport nog te bewerken tot een nuttig instrument is voor wie er verstandig mee bruikbare handleiding we delen zijn pessimisme omgaat maar een gevaarlijk wapen kan worden niet alleen omdat er nog veel moet gebeuren en in handen van een dwaas geldt mutatis mutandis het een bijzonder moeilijke taak is maar ook om ook voor een toets dat het probleem eerst opgelost kan worden als we zijn het hier maar gedeeltelijk mee eens om wesdorp het roer omgooit en voor een principieel dat de zaak in werkelijkheid natuurlijk niet zo andere aanpak kiest simpel ligt uit wesdorp 1974 en driest e a 1975 blijkt hoe invloedrijk de luistertoetsen in de praktijk zijn het gaat ons wat te ver om al die note n leraren als dwazen te bestempelen wij geloven bij de cloze techniek wordt uit een tekst bijvoor dat de leraren helemaal niet zo n vrije keus heb beeld elk tiende woord weggelaten de leerlingen ben de door het cito vervaardigde toetsen zijn moeten deze open plekken in de tekst i nvullei hoe nu eenmaal geen scheermessen die iedere leer hoger het aantal juiste invullingen des te hoger het kracht willekeurig kan laten liggen of oppakken tekstbegrip volgens ons bevindt de leerkracht zich in de vol normale functionaliteit dit principe komt erop neer dat je je onderw i js zo inricht dat je leerlingen er gende situatie enerzijds kan hij zelf bepalen wat iets van leren dat ze naar eigen oordeel a o f op kor er gebeurt anderzijds is er pressie tijdgebrek te termijn praktisch kunnen gebruiken b o f alleen sectiebeleid schoolleiding om de bestaande toet maar boeiend vinden ten brinke 1977 sen te gebruiken hoe de uiteindelijke beslissing een toet s is b e trouwbaar a ls we bij h er haa ld e afn a dan uitvalt hangt in grote mate af van het zelf mes onder vergelijkbare omstandigheden bij dezelfd e 19 leerlingen dezelfde resultaten krijgen t diegritz en h rosenbusch kommunikation zwischen een toets is valide als we inderdaad meten wat we schiilerns schulp magogische und lingu istische unter w i llen met en suchungen didaktische konsequenzen munchen 1977 onze betekent hier natuurlijk dat we aansluiten bij j p diest e a luiste rv aardigheid in het moedertaalon en een verdere uitwerk ing proberen te geven aan de de r wijs in levende talen 312 1975 p 242 250 ideeen zoals we die vinden in een project als gericht b meuffels effectonderzoek taalvaard igheid in spek schrijven griffioens zeggenschap en ten brinkes tator 1978 1979 n r 1 2 p 47 6 1 the complete mother tongue curriculum n i jmeegse werkgroep taaldidactiek taaldidact iek aan de basis 2e druk groningen 197 8 h weldorp schoolonderzoek methoden voor het vak literatuur nederlands op het havo deel 1 enquete resultaten am sterdam ritp 1974 s ten brinke the complete mother tongue curriculum h wesdorp evaluatietechnieken voor het moedertaalon a tentative survey of all he relevant ways of teaching derwijs een inventarisatie van beoordelingsmethoden the mother tongue in secondary education groningen voor de stelvaardigheid het begrijpend lezen de spreek 1977 luister en discuss ievaardigheid amsterdam ritp 197 8 sterke staaltjes stevige stappen naar fie van dij k straatweg 222 breukelen 20