Documenten
o f l ee r k r a c h t e n da n we l lee rlinge n op ste llen beoordelen wat ligt er dan meer voor de hand da n dat men de leerlin gen el ka a rs ops tellen laat becommentarieren h et idee dat h et inschake l e n van l ee rlin ge n a ls b eoordel aars va n e l k aars tek sten e e n positieve invloed uitoefent op de stalvaardigheid is niet ni e u w omstre ek s 1970 werd d ez e zogenaa m de peer eva lua tion do or me t name ame rikaan se o nde rzo e kers gepropa geerd a ls e e n vee l be lovende didactiek voor het stellen in de loop de r j a r e n is e r heel wat e mp irisch on de r z oek n aa r de effecten va n pee r e valu at i o n v erricht r ijl aa rs d am toont in zijn disse rt at ie overtui gend aan dat al dat onderzoek laboreert aan een a a n tal me t ho d olog isc he f e ilen d ie on d u b boekbespreking b el zinni ge co ncl usies ove r de ef fec tiv ite i t v a n pe er evalua tion uitsluit en in e e n g rootsc hee p s on de rz oe k waar aa n acht schol e n g e me ensch ap p en m eew erkt e n met in tot a al 22 k lassen 11 docen ten en 264 leerlin g en van d e de rde klas b meuffels van het h a vo en v w o pro b eert r ijl aars d am leerlingen beoordelen dergelij ke ma nco s t e voorkomen en d at m aa kt elkaars opstelle n da t zijn studie z e ker niet kan worden a fgeda an a ls een lout e re re pl ica t i e een louter e herhaling van eerder verricht onderzoek b ovendien doel van het onderzoe k tracht hij e e n theoret ische b ij d ra ge t e leveren aan de fun derin g van deze stal d idactie k in november van het afgelopen jaar promo veerde gert rijlaarsdam op een proefschrift theoretische achtergron d getiteld effecten van leerlingenrespons op aspecten van stalvaardigheid waarom zou peer evaluation positieve effecten rijlaarsdam is als wetenschappelijk onderzoe op de stalvaardigheid van leerlingen hebben ker verbonden aan de sco stichting centrum volgens rijlaarsdam zijn eventuele positieve voor onderwijsonderzoek van de universiteit effecten te verklaren uit het feit dat leerlingen van amsterdam een instituut dat de afgelo zoveel teksten van elkaar moeten lezen het pen jaren een zekere faam en reputatie heeft gevolg daarvan is onder meer dat ze gevoeli opgebouwd op het gebied van praktisch rele ger worden voor fouten ook die welke voor vant onderwijsonderzoek ook het empirisch komen in hun eigen teksten deze grotere ge onderzoek waarop rijlaarsdam promoveerde voeligheid resulteert in een intensiever en beoogt praktische inzichten op te leveren die zorgvuldiger corrigeren en herschrijven van de voor moedertaalleraren relevant zijn in een eigen tekst bovendien lezen de leerlingen empirisch effect onderzoek gaat rijlaarsda m teksten geschreven aan de hand van een op na of leerlingen wanneer ze commentaar moe dracht die ze ook zelf hebben ontvangen ten leveren op elkaars opstellen beter gaan doordat de leerlingen die teksten over dezelfde schrijven zelfs als die leerlingen niet beter opdracht onderling vergelijken kunnen ze kunnen schrijven dan leerlingen die via een abstracte modellen construeren van de ideale traditionele didactiek zijn onderwezen waarin tekst de docent de opstellen becommentarieert dan een positief effect van peer evaluation zou ook nog kan aan dat resultaat een zeker praktisch verklaard kunnen worden uit het feit dat leer belang niet ontzegd worden de werkdruk van lingen commentaar leveren op elkaars schrijf de neerlandicus het is genoegzaam bekend produkten zodoende leren ze impliciet dan is als gevolg van het vele correctiewerk in wel expliciet criteria hanteren voor de ideale de regel vrij hoog als het toch niet uitmaakt tekst de kennis van deze criteria zal ook ge 39 mo biliseerd w orden als zij zelf een tekst moe realist genoeg om niet de illusie te koesteren ten schrijven dat empirisch onder w ijskundig onderzoek tot verder zou een positief effect van peer fooi proof didactieken leidt evaluation op de stelvaardigheid verklaard kun nen worden uit de specifieke aard van het ont alternatieve verklaringen vangen commentaar meer dan een persoon beoordeelt een schrijfprodukt bovendien is die het is niet eenvoudig om empirisch onderwijs beoord elende persoon een mede leerlin g d ie re kundig onderzoek op deugdelijke wijze op te latief snel feedbac k geeft k rachtens deze spe zetten en uit te voeren zeker wanneer dat on cifieke kenmerken van het commentaar ken derzoek ook nog praktisch relevante uitkom nen de leerlingen dat commentaar meer bete sten moet opleveren tal van storende varia kenis toe zodat ze met de gegeven feedback belen kunnen gewenste leereffecten ve rtroebe meer gaan doen h erschrijven wordt dan ook len alternatieve verklaringen van de gevonden niet meer als een straf maatregel beschouwd onderzoeksuitkomsten liggen in de regel voor maar als een uitdaging om te voldoen aan de het oprapen kunnen de negatieve onderzoeks commentaren uitkomsten van rijlaarsdam misschien alterna hoe belangwekkend deze summier weergege tief verklaard worden heeft hij wellicht ven theoretische overwegingen ook mogen belangrijke storende invloeden over het hoofd zijn de in praktisch opzicht meest klemmende gezien vraag blijft toch gaan leerlingen nu echt beter in dit verband is het van belang op te merken schrijven als niet hun docent maar zijzelf de dat rijlaarsdam zijn onderzoek op voorbeeldige opstellen beoordelen wijze heeft opgezet en uitgevoerd waarbij vrij wel niets aan het toeval is overgelaten dat hij re sultate n geen positieve effecten van peer evaluation aangetroffen heeft kan dus niet alternatief rijlaarsdam verwacht dat 1 leerlingen onder verklaard worden uit bijvoorbeeld een gebrek wezen via de peer evaluation didactiek betere kige en rommelige onderzoeksopzet of uit de opstellen schrijven dan leerlingen die van de onbetrouwbaarheid van meetinstrumenten leerkracht feedback hebben ontvangen beter twee korte voorbeelden mogen voldoende zijn voor zover dat betrekking heeft op doel en om deze stelling te illustreren publiekgerichtheid stijl en opbouw van een e e n van de meest netelige problemen bij tekst 2 deze leerlingen meer ve rt rouwen effect onderzoek van stalvaardigheid betreft krijgen in eigen kunnen meer plezier in het de omstandigheid dat die stalvaardigheid op schrijven en minder angst om negatief beoor betrouwbare wijze gemeten moet worden het deeld te worden op de schrijftaak 3 deze is algemeen bekend dat opstelbeoordelaars het leerlingen hun schrijfprocessen ten positieve vaak niet met elkaar eens zijn over de kwali zullen veranderen bijvoorbeeld tijdens het teit van de opstellen en sterker dat ze schrijven zullen ze meer alternatieven genere het vaak ook niet met zichzelf eens zijn wan ren op het gebied van de inhoud de presenta neer ze dezelfde serie opstellen na enkele we tiestructuur en de formuleringen ken opnieuw moeten beoordelen in zulke ge anders dan veel empirisch onderwijskundig on vallen schort het aan de betrouwbaarheid van derzoek zijn de resultaten van de studie van de beoordeling en in die gevallen kan ook rijlaarsdam verrassend ondubbelzinnig afge nooit een effect van peer evaluation gevonden zien van enkele veranderingen in schrijfproces worden via een apa rt vooronderzoek is rij sen kon geen van de verwachte effecten wor laarsdam nagegaan of opstelbeoordeling aan den aangetoond al met al zijn deze resultaten de hand van zogenaamde opstelschalen be enigszins teleurstellend trouwbaar is opstelschalen zijn in kwaliteit rijlaarsdam heeft welbewust en mijns in oplopende voorbeeldopstellen bijvoorbeeld 7 ziens terecht gekozen voor een empirische die elk voorzien zijn van een cijfer bijvoor aanpak om de effecten van peer evaluation te beeld 4 5 6 6 7 8 en 9 en die de beoor beproeven mededelingen van docenten over delaar als referentiepunt dient te gebruiken bij de effectiviteit van peer evaluation acht hij het toekennen van een cijfer blijkens de resul geen doorslaggevend bewijs voor de kwaliteit taten levert deze beoordelingsprocedure een van peer evaluation overigens is rijlaarsdam extreem hoge betrouwbaarheid op vergeleke n 40 althans m e t conventionele beoorde lin gs proce d i e nt z o n o n de rzoek s on twerp n aa s t e e n expe dures dat r ijlaarsdam geen effecten van peer ri m ente l e g ro ep ee n co nt r ole groep te be v at evalua tion g evond en hee f t kan dus ni e t alter te n i c ee n groe p be s taa nde ui t patienten die natief verklaar d w orden ui t de onbetrou w baar a lleen een pl a c eb o e e n n epp il on tvan ge n hei d van d e o p stelbeoordeling blij kt n u d at de expe rim e n tele g r oep m i nder een ander probleem w aarmee je als effect l ast he eft v an hoof d p ijn da n de controle g r o ep onderz o eker soms gec onf r on te erd word t is d at dan k an d ie winst in i ed er geva l niet meer toe de leer k rac h ten die e en nieu w ont w i kke l de d i geschre v e n w orden aan de invloed van de dactiek in d it g eval peer evaluation moeten arts geven zich vaak niet of in onvoldoende mate o ok in on der w ijsk u nd i g o nd er zoek d ient na ast aan de instructies van de onderzoe k er houden een expe r ime nt e le g roe p een cont role g roep staat er in de instructie dat er met de cursus op te tred en ten e in d e a lte rnatieve verk larin gen 6 maal geoefend moet w orden dan oefent de uit t e slui ten b ijvoorbeel d het feit dat leerlin een slechts 5 maal d e a nder 3 ma a l enzo gen ou der rijper w orden en als g evolg daar voort a ls de leerkrachten zich niet houden van beter g aan schrijven aan de instructies dan kan er iiberhaupt geen r ijlaarsdam heeft naar mijn oordeel geen erg effect aangetoond worden via observaties gelukkige keuze gedaan w at betreft de vorm leerlingenvragenlijsten en docentenlogboeken en inrichting van de experimentele en de kon rijlaars dam concluderen dat d e overtre cont role g roe p b eid e g roe p en vol gen precies din g en tegen h et voor g eschreven lessenplan dezelfde door rijla a rsdam ontw i kk elde steldi minimaal w aren opnieu w sluit dit gegeven dac t ie k die zonder meer intensief genoemd een mogelijk alternatieve verklaring van de ge k an worden sommige bij het onderzoek be vonden onderzoeksuitkomsten uit trokken docenten vreesden zelfs hun ge wone hoe kunnen die negatieve onderzoeksuit programma voor het derde leerjaar niet af te komsten dan verklaard w orden of moeten we kunnen k rij gen zoveel lesuren slokte de steldi w ellicht voetstoots aannemen d at peer dactiek op h et enige aspect waarin d e twee evaluation vergeleken met traditionele steldi groepen verschil d en betrof de aard van de dactieken niet tot positievere effecten leidt feedback in de experimentele groep de peer evaluation groep lazen de leerlingen elkaars tu ssen s c ylla en charibd i s opstellen leverden er aan de hand van standaard reactieformulieren schriftelij k com ik heb toch wel enkele bedenkingen tegen de mentaar op en ontving en schriftelijk commen onderzoeksopzet die rijlaarsdam gekozen taar van drie leerlingen in de controle groep heeft juist die onderzoeksopzet maakt dat hij ontvingen de leerlingen eveneens schriftelijk nauwelijks positieve effecten van peer commentaar op precies dezelfde standaard evaluation kan aantreffen ook al zouden ze er reactieformulieren nu echter ingevuld door de in werkelijkheid zijn docent met zulke uiterst minieme verschillen in elk effect onderzoek moeten de resultaten tussen beide condities zal men niet licht forse van een experimentele groep vergeleken wor verschillen in schrijfvaardigheid aantreffen en den met die van een controle groep zou je bij dus ook niet positieve effecten van peer voorbeeld willen weten of een pil tegen hoofd evaluation pijn effectief is dan kun je niet volstaan met oo k in een heel ander opzicht acht ik d e mani een onderzoeksontwerp waarin aan een aantal pulatie van de experimentele en de controle hoofdpijnlijders de pil wordt toegediend en ver conditie niet geheel geslaagd althans ongeluk volgens na enkele weken wordt nagegaan of kig ge k ozen d e generaliseerbaarheid van de die personen minder last hebben van hun onderzoeksuitkomsten van r ijlaarsdams studie kwaal zo n ontwerp sluit een aantal alterna naar de schoolse praktijk wordt sterk gemiti tieve rivaliserende verklaringen van een posi geerd d oor d e omstandighei d dat in d e peer tief resultaat niet uit n et de medicijn per se evaluation groep tel kens d rie leerlingen schrif maar de speciale aandacht en zorg van de arts telijk en anoniem commentaar leverden op die het betreffende medicijn verstrekte zou de hetzelfde opstel en dat onafhankelijk van el afname in hoofdpijn teweeg gebracht kunnen kaar m ondeling overleg tussen deze drie be hebben om zulke vaak triviaal aandoende al oordelaars of tussen de d rie beoordelende leer ternatieve verklaringen uit te kunnen sluiten lingen en de schrijver leerlin g vond niet plaats 41 h et ko mt m ij v oor dat pee r e v a lu ation a ls ste l ten die aan het onderzoek van r ijlaarsdam didactiek juist een inspirerende en motiverende meewe r kt en k onden u itsluite n d schri ftelijk invloed op d e l eerlin g en kan ui t oef enen kra ch commentaar leveren aan de hand van tens het feit dat er in d e k las in kleine g roe p 5 puntsschalen op de volgende zes aspecten jes gezamenlijk met de schrijver leerlin g van een opstel doelgerichtheid publiekgericht g esproken en gediscussieerd wordt heid st ructuu r be trou wbaa rheid nieuws w a a r nu zou men kunnen tegenwerpen dat r ijlaars de en ta a l geb rui k op alle a n de re aspecten van dam juis t voor de z e s t rin gent e o pzet gek oz en een o p st el d i e mede de kwa liteit bepalen k on heeft teneinde d e interne validiteit van z ijn on niet worden gereageerd dat betekent dat een derzoek te optimaliseren zodat alternatieve d ocent d ie pee r evalu ation in d e pr aktij k w il verklaringen van een positief effect radicaal to ep assen nog st eed s de o pste llen v a n d e 1 4 uitgesloten kunnen w orden en dus precies is a 1 5 jarige l ee rlin g en za l mo eten cor ri g eren op na te g a an w e l ke facto r ve r antw oorde lij k is vaak voor k omend e fouten s p el en inter p unc voor d it p ositieve e ff ect maa r ook in de d oor tie fou t en d ro g r ede nen gr a mmaticale onre gel r ijlaarsdam gekozen opzet hoe string ent deze mati g heden d iscrep a nties tussen bedoelde en ook is kunnen w e niet precies aangeven wel uitgedrukt e betekenis enzovoort o ok in de ke factor debet is aan een eventueel positief p eer evaluation d i da ctie k bl ij ft de d ocent als effect van peer evaluation de hoeveelheid specifiek deskundige onmisbaar m en kan en feedback drie commentaren in plaats van mag immers niet v a n el ke 1 4 a 15 jarige leer slechts een de aard van de feedbac k com lin g van d e derde k las va n het havo v w o ver mentaar van een mede leerling versus com wachten d at hij bijvoor beeld de spellin g regels mentaar van een docent of het lezen van el tot in de p untjes beheerst kaars opstellen toegegeven elke on d erwijs een tw eede a rgument te gen de s tellin g dat de kundige onderzoeker die met zijn onderzoek studie van rijlaarsdam een desavouering van praktisch relevante resultaten w il b ereiken d e n eerlandicus als opstel b eoordelaar behelst moet als het ware laveren tussen de s cylla is het volge nde de on d erzoe k suitkomsten van de interne validiteit en de charibdis van g een verschil in ef f ectiviteit tussen de de externe validiteit i c de generaliseerbaar leerlingen feed back en docenten fee d back heid van de onderzoeksuitkomsten naar de al kunnen immers heel goed al ternatief verklaard ledaagse schoolse situatie hoe sterker het wor d en uit de deskundig h eid van de n eerlandi accent op de optimalisering van de interne va cus h et is zeer w el mog elij k dat de docenten liditeit komt te liggen hoe strakker in de regel in de controle groep kw alit atief beter commen de onderzoeksopzet maar ook hoe moeilijker taar leverden dan de leerlingen in de experi de resultaten te generaliseren zijn mentele groep d e leerlingen onderwezen met de peer evaluation didactie k kunnen geleerd de deskundigheid van de neerlandicus hebben van het commentaar geven maar deze als opstelbeoordelaa r leerwinst ten opzichte van de leerlingen in de controle groep zou teniet kunnen worden ge in bepaa l de wetenschappelij ke kr i ngen i s het daan doordat leerlingen slecht en docenten tegenwoordig bon ton de terzake kundigheid goed commentaar op een opstel leveren van de neerlandicus a l s opstelbeoordelaar te rijlaarsdam heeft via vragenlijsten de leerlin discred i teren in zekere zin kan men rijl aars gen in beide condities gevraagd naar hun te dams studie ook al heeft rijlaarsdam aller vredenheid over de feedback er bleken geen m i nst d i e bedoeling opvatten als een fronta verschillen tussen beide condities r ijlaarsdam le aanva l op de competentie van de neerlandi merkt echter op naar mijn oordeel zeer te cus het maakt i mmers n i et uit voor zover het recht dat gepercipieerde kwaliteit van ont om de verbetering van de schrijfvaardigheid vangen commentaar niet hetzelfde is als objec gaat of men leerlingen de opstellen laat be tieve k w aliteit juist op dit punt zou vervolg oordelen dan wel een specifiek daartoe opge onderzoek noodza kelijk zijn lei de docent leerlingen zij n kennelijk even deskundig als docenten i n het beoordelen van de onmisbare neerlandicus opstellen twee relativerende opmerk i ngen zijn hier op de bovenstaande kritische op en aanmerkin hun plaats zowel de leerlingen als de docen gen op de dissertatie van r ijlaarsdam moete n 42 niet beschou w d worden als een vernietigende tussen de effectiviteit van een steldidactiek en v o rm van kritie k eerder als mog elij k e vragen de persoon van een docent zo heeft rij die gestel d kunnen w or d en en w aaro p men laarsdam aangetoond de betreffende interac graag een ondubbelzinnig antwoord had willen tie komt erop neer dat de ene docent in rij krijgen eerder heb ik al o p gemer kt dat r ij laarsdams onderzoek succes had met de peer laarsdam zijn onderzoek erg zorgvuldig heeft evaluation didactiek de andere daarentegen opgezet en u it g evoe rd e n dat de probl e men juist met de traditionele didactiek waarin de w aarmee hij in zijn ond e rzoe k geconfronteerd docent zelf de feedback gaf dit resultaat is w erd de spanning tussen interne en e xterne een treffende illustratie van de inmidde l s tot validiteit karakteristie k zijn voor elk platitude verworden stelling dat de docent onderwijskundig empirisch onderzoek met met zijn enthousiasme zijn deskundigheid en praktische pretenties r ijlaarsdams dissertatie specifieke kwaliteiten en voorkeuren een on is niet alleen de moeite waard voor collega misbare schakel in elk leerproces vormt onderzoekers maar ook voor docenten n eder lands die geinteresseerd zijn in een didactisch noot programma voor de stelvaardigheid rest de vraag is het zinvol peer evaluation in wanneer h i er gesp r oken wordt van geen posi t i e v e effe cten va n peer evalu ati o n da n w or dt de praktijk toe te passen daarmee ni et b ed o eld dat d e l eerlin ge n d ie on d er wie peer evaluation in de klas wil toepassen wezen werden met de pee r eval uati on d i da ctiek moet beseffen dat hij ook in deze didactiek n i et vooru itg i ngen i n schrijfvaard i ghe i d integen niet van elk correctiewerk ontslagen wordt deel zi j g i ngen i n de loop van het derde school ten tweede dient hij te beseffen dat de door j aar fli nk vooru i t die vooruitgang was echter r ijlaarsdam ontwikkelde steldidactiek en daar anders dan ve r wacht niet substant iee l groter mee samenhangend lesprogramma extreem dan die van l eer li ngen d ie van hun d ocent feed veel tijd kosten in rijlaarsdams onderzoek do back ontv i ngen mineerde het schrijfon d erw ijs zozeer dat som mige van de betrokken docenten vrees d en hun gewone programma voor het derde leerjaar g c w r i jlaarsdam effecten van leerlingen niet af te krijgen naar rijlaarsdams visie be respons op aspecten van stelvaard igheid dis hoort het schrijfonderwijs de spil van het curri se rt atie univers i teit van amsterdam 1986 culum nederlands te worden waaraan andere uitgegeven als sco r apport nr 88 isb n vakonderdelen ten dienste w orden gesteld tot 90 6813 105 2 prijs f 11 50 te bestellen bij slot dient hij zich met het oog op de effec sti chting kohnstamm fonds voor onderwijs tiviteit van peer evaluation ervan bewust te research grote bicke r straat 72 1013 ks zijn dat er een bijzondere interactie bestaat amsterdam 43