Documenten
b meuffels globaal versus beoordelen analytisch beoordelen in moer 1984 4 werd geschreven over beoordelen met behulp van een studiepuntensys teem in datzelfde jaar moer 1984 6 kwam een andere oplossing voor beoordelen aan de orde een evaluatieplan en een puntensysteem in dit nummer reflecteert bert meuffels over globaal en analytisch beoordelen van op stellen zijn stelling is dat een analytisch schema niet tot een hogere betrouwbaarheid leidt daar probeert hij tevens een psychologische verklaring voor te geven d e b etrouwbaarh ei d v a n op st elb e oord e lin g bekend dat de betrouwbaarheid van de beoorde ling van schrijfvaardigheid vaak te wensen over een docent in het moedertaalonderwijs die de laat meuffels 1983 voor de leerling wiens schrijfvaardigheid van zijn leerlingen beoogt te schrijfvaardigheid beoordeeld wordt is dat een vergroten zal die leerlingen regelmatig schrijfop frustrerende zaak hij zal zich immers onrecht drachten verstrekken en zal de proeven van kun vaardig behandeld voelen als blijkt dat het cijfer nen op het gebied van schrijven opstellen dat zijn docent aan zijn schrijfprodukt heeft toe scripties nota s werkstukken en dergelijke gekend sterk afwijkt van het cijfer van een ande corrigeren en beoordelen hij beoordeelt niet om re docent die dat produkt ook heeft beoordeeld dat hij met alle geweld een oordeel wil vellen en een leerling zal evenzeer vreemd opkijken over die ene unieke prestatie van een leerling wanneer bij een herbeoordeling van zijn opstel maar omdat hij door middel van dat oordeel door dezelfde docent een heel ander cijfer uit de mits het voldoende specifiek en gedifferentieerd bus komt deze twee situaties zijn karakteristiek is de leerling kan informeren over zijn sterke voor een onbetrouwbare beoordeling 1 de cij en zwakke punten fouten en tekortkomingen fers die dezelfde beoordelaar bij herbeoordeling gewapend met die kennis kan de leerling zijn aan dezelfde opstellen toekent lopen uiteen de prestaties gericht verbeteren ze vorm van betrouwbaarheid staat bekend onder natuurlijk kan de leerling zijn schrijfvaardigheid de naam beoordelaarsstabiliteit 2 de cijfers op grond van de gegeven feedback alleen maar die twee of meer beoordelaars aan dezelfde op verbeteren wanneer het door de docent geleverde stellen toekennen lopen uiteen en deze vorm commentaar op het schrijfprodukt voldoende be van betrouwbaarheid staat bekend als interbe trouwbaar is uit empirisch onderzoek is echter oordelaarsovereenstemming 9 oordelen over schrijfprodukten moeten in vol sproken claim in de literatuur aan doende mate betrouwbaar zijn wat blijft er im maar heeft het gebruik van een analytisch schema mers over van de pretentie de schrijfvaardigheid wel het beoogde effect neemt de betrouwbaar van de leerlingen te verbeteren wanneer een leer heid van opstelbeoordeling inderdaad toe wan kracht een opstel een voldoende geeft terwijl hij neer we opstellen beoordelen aan de hand van datzelfde opstel twee weken daapvoor als onvol een analytisch schema in dit artikel zal ik mede doende heeft gekwalificeerd bij een onbetrouw aan de hand van empirische gegevens uit de on bare beoordeling dient men een groot vraagteken derzoeksliteratuur illustreren dat een analytisch achter elke beoordeling te zetten en alle prak schema niet tot een hogere betrouwbaarheid tische beslissingen die men op zo n beoordeling leidt tevens zal ik een psychologische verklaring baseert zijn in hoge mate tentatief en speculatief hiervoor geven de betrouwbaarheid van schrijfvaardigheidsbe oordeling mag dan vaak te wensen over laten we ee n pla u s ib e l e ver o n d erst e l ling beschikken volgens sommige onderzoekers wel over kennis en inzicht in methoden die die be het ligt alleszins in de rede om te veronderstellen trouwbaarheid kunnen verhogen zo zal volgens dat het gebruik van een analytisch schema de volovics schelvis de betrouwbaarheid dat wil schrijfvaardigheidsbeoordeling betrouwbaarder zeggen en de beoordelaarsstabiliteit en de inter maakt zo n schema immers verscherpt de beoor beoordelaarsovereenstemming toenemen wan delingstaak door een specificatie van die aspecten neer we de schrijfvaardigheid niet op de gebruike van het schrijf produkt waarop de beoordelaar tel lijke globale maar op analytische wijze beoorde kens moet letten len bij nadere beschouwing blijkt het gebruik van bij een globale beoordelingswijze beoordeelt de een analytisch schema toch problematischer te beoordelaar een werkstuk als geheel zonder ana zijn dan in eerste instantie wellicht lijkt ook al lyse van het schrijfprodukt in afzonderlijke as dwingt een vereenvoudiging c q explicitering van pecten hij kent in de regel oordelen toe op basis de beoordelingstaak in een aantal specifieke ken van zijn eigen niet geexpliciteerde normen hij merken de beoordelaar tot concentratie op tel beoordeelt de opstellen kortom op grond van een kens een specifiek aspect feit blijft dat die afzon relatief ongedifferentieerde totaalindruk resulte derlijke aspecten beoordeeld moeten worden en rend in een cijfer anders dan bij globale beoor dat de oordelen over die aspecten per opstel op deling wordt bij analytische beoordeling de over de een of andere wijze tot een eindoordeel wor all kwaliteit van een opstel opgesplitst in een den gecombineerd het probleem van de beoor aantal deelaspecten goals stijl spelling woord deling van een complex geheel de kwaliteit van keuze opbouw en elk opstel moet op elk van een schrijf produkt wordt bij een analytisch sche de onderscheiden deelaspecten apart beoordeeld ma in feite verschoven naar het probleem van de worden het analytisch eindoordeel bestaat beoordeling van afzonderlijke kenmerken welke meestal uit het gemiddelde van alle oordelen op en hoe en van het combineren van die afzon de in het analytisch schema onderscheiden deel derlijke oordelen tot een eindoordeel aspecten de verwachting is dat het gebruik van voor dat laatste problematische aspect het een analytisch schema de beoordeling meer combineren van verschillende oordelen tot een betrouwbaar zal maken met meer be eindoordeel hebben de propagandisten van een trouwbaar bedoelen we hier zowel dat een beoor analytisch schema een wel heel erg simpele oplos delaar eenzelfde proda kt bij herhaalde beoorde sing te bieden tel de oordelen over de aspecten ling hetzelfde zal waarderen als dat meerdere bij elkaar op en middel deze deze in de praktijk beoordelaars hetzelfde produkt met grotere on gangbare gedragswijze druist paradoxaal genoeg derlinge overeenstemming zullen waarderen in tegen het typische karakter van een analytisch volovics schelvis 1979 p 75 schema bij de constructie van zo n schema gaat het citaat over de positieve invloed van een ana men er immers vanuit dat de overall kwaliteit lytisch schema op de betrouwbaarheid is betrek van een schrijf produkt opgesplitst kan worden in kelijk willekeurig gekozen uit nationale en inter een aantal min of meer onafhankelijke deelaspec nationale publikaties over opstelbeoordeling heel ten maar zijn die deelaspecten echt onafhanke vaak treft men de in bovenstaand citaat uitge lijk dan mag men ze natuurlijk niet als appels e n 10 peren bij elkaar optellen en middelen zo n ge vaak ondoorzichtig en meerduidig zijn vaak middelde zegt dan niets meer slecht gedefinieerde categorieen als stijl inhou een voorbeeld leerling a heeft voor de catego delijke structuur bieden de beoordelaar relatief rie spelling een 4 voor de categorie stijl een 8 weinig steun zodat deze in zijn cijfergeving gro behaald terwijl voor leerling b precies het omge tendeels op prive normen en interpretaties is keerde geldt beide leerlingen behalen na midde aangewezen cf wesdorp 1981 p 59 61 nomi ling hetzelfde eindcijfer in feite zijn beide eind naal mogen analytische en globale beoordeling cijfers incompatibel want de ene 6 verwijst naar dan wel fundamenteel van elkaar verschillen in geheel andere schrijfkwaliteiten dan de andere 6 de praktijk komen ze vaak op hetzelfde neer het verwijt van de propagandisten van een analy in recent empirisch onderzoek blijkt men echter tisch schema tegen de gebruikers van een globale wel degelijk op de hoogte van de gevaren van beoordelingsmethode dat deze een mysterieuze conceptuele en terminologische vaagheid van de beoordelingswijze is waarbij het oordeel prive beoordelingscategorieen om de interpretatie van opvattingen weerspiegelt die verborgen blijven in die categorieen te verduidelijken en te uniforme het hoofd van de beoordelaar kortom het feit ren voorziet men de beoordelingscategorieen van dat je niet meer weet waarnaar zo n oordeel ver een uitgebreide verbale toelichting en soms wijst verliest veel van zijn kracht als men beseft wordt de cijfergeving voor een categorie boven dat door het optellen en middelen van afzonder dien nog verduidelijkt aan de hand van voor lijke analytische oordelen tot een eindoordeel de beeldopstellen niettemin vertonen de resultaten analytische beoordelingswijze precies hetzelfde van empirisch onderzoek waarin de hier genoem verwijt treft de voorzorgsmaatregelen getroffen zijn hetzelfde voor het analytisch schema teleurstellende beeld e en mog el ijk e v er k la rin g samenvattend kan gesteld worden dat analy voor h et fale n va n ana lyt ische s ch e m a s tische schema s de beoordelingstaak beogen te expliciteren en te vereenvoudigen die explicite resultaten van empirisch onderzoek tonen over ring en vereenvoudiging zo wordt algemeen aan duidelijk aan dat een analytische beoordeling niet genomen dient een forse betrouwbaarheidswinst of nauwelijks betrouwbaarder is dan een globale op te leveren zowel wat betreft de beoordelaars beoordeling morrison vernon 1941 lamb stabiliteit als de interbeoordelaarsovereenstem 1953 nisbet 1955 volovics schelvis 1979 zon ming uit de onderzoeksliteratuur blijkt echter dervan 1979 zijlmans blok 1980 meuffels dat analytische schema s niet betrouwbaarder 1985 deze uitspraak is echter gebaseerd op de oordelen opleveren dan de globale beoordelings in de literatuur gemaakte vergelijking van de be wijze de ter verklaring hiervan gesignaleerde trouwbaarheid van analytische eindoordelen met conceptuele enlof terminologische vaagheid van de betrouwbaarheid van globale oordelen het de beoordelingscategorieen kan wellicht som optellen van afzonderlijke analytische oordelen mige met name oudere onderzoeksresultaten en het middelen daarvan tot een analytisch eind verklaren maar zeker niet alle en met name niet oordeel is zoals gezegd in zeer veel gevallen een de meest recente een afdoende verklaring voor dubieuze procedure de betrouwbaarheid van het falen van analytische schema s moet elders globale oordelen moet vergeleken worden met de gezocht worden betrouwbaarheid van een analytisch oordeel per afzonderlijke categorie zoa l s spelling opbouw e e n p syc ho log ische v erk lari ng oorspronkelijkheid enzovoort en uit deze ver gelijking blijkt dat een globale beoordeling door een verklaring voor het falen van analytische de bank genomen zelfs superieur is aan een analy schema s moet niet zozeer gezocht worden in on tische beoordeling volkomenheden van die schema s zelf maar veel een in de literatuur vaak genoemde verklaring eer in de manier waarop mensen opstellen beoor voor het falen van analytische schema s falen delen of die beoordeling nu op analytische dan voor zover het de verhoging van de betrouwbaar wel op globale wijze plaatsvindt heid betreft is dat de aanduidingen en eventue de kern van de hier voorgestelde psychologische le omschrijvingen van de beoordelingscategorieen verklaring is dat beoordelaars opstellen niet zo waaruit analytische schema s zijn opgebouwd zeer dimensioneel als wel typo gisch beoorde 11 len typologisch beoordelen is de normale na zouden we de een bijvoorbeeld aardig noemen tuurlijke wijze van beoordelen zoals die bij een terwijl alle andere persoonlijkheidseigenschappen globale beoordelingswijze plaatsvindt een analy irrelevant zijn voor een juiste typering van de be tisch schema dwingt beoordelaars af te zien van treffende persoon de ander agressief weer een die normale vorm van beoordelen dwingt hen ander standvastig enzovoort opstellen dimensioneel te beoordelen iets waar onderzoek heeft aannemelijk gemaakt dat men toe deze niet althans niet zonder intensieve sen elkaar niet dimensioneel beoordelen maar ty training in staat zijn pologisch verschillende soorten eigenschappen de begrippen typologisch en dimensioneel zijn relevant voor het beschrijven van verschillen kunnen verduidelijkt worden aan de hand van de de personen barendregt 1978 1979 deze ge wijze waarop mensen elkaar beoordelen dat wil dachtengang kan toegepast worden op opstelbe zeggen elkaar persoonlijkheidseigenschappen toe oordeling in het ene opstel treft ons de stijl en kennen stel dat iemand gevraagd wordt zo alle andere eventueel in de beoordeling te verdis nauwkeurig en informatief mogelijk drie hem be conteren aspecten zijn irrelevant voor een tref kende personen a b en c te beschrijven met fende karakterisering van dat opstel in een an behulp van de persoonlijkheidseigenschap vro der opstel dringt de oorspronkelijkheid ervan lijk somber a wordt als een vrolijke jongen ge zich op enzovoort het zijn juist deze saillante karakteriseerd b als een sombere en c als een per opstel varierende karakteristieken waarop we meisje van ja van wat eigenlijk van gemiddel ons globale oordeel voornamelijk baseren wan de vrolijkheid maar wat snoet je je daar bij neer dergelijke saillante karakteristieken in een voorstellen opstel ontbreken is de onzekerheid over de juist door het toekennen van de eigenschap vrolijk heid van het oordeel maximaal het beoordelen of somber wordt in feite een voorspelling ge van opstellen is niet zozeer moeilijk doordat bin daan dat a respectievelijk b zich in de meeste si nen elke beschrijvingswijze zich tussen opstellen tuaties naar alle waarschijnlijkheid vrolijk respec grote verschillen voordoen maar doordat ver tievelijk somber zal gedragen maar dat we c met schillende opstellen de beoordelaar uitnodigen behulp van diezelfde dimensie als gemiddeld vro tot verschillende beschrijvingswijzen lijk karakteriseren draagt in feite niets bij tot ons vermogen haar gedrag specifiek te voorspellen h e t effect va n typologi sch b eoo rdele n als persoonlijkheidseigenschap verwijst een be op d e b et rouwbaarh eid grip als vrolijkheid somberheid niet zozeer naar van ee n analyt isc h sc h e m a de uiteinden van een dimensie als wel naar een type als c tot geen van beide typen behoort is een analytisch schema dwingt de beoordelaar te het zaak haar met andere begrippen te beschrij abstraheren van zijn natuurlijke manier van be ven cf bern allen 1974 oordelen het typologisch beoordelen een analy uiteraard is het voorbeeld fictief in werkelijk tisch schema dwingt de beoordelaar tot een vorm heid beoordelen mensen elkaar niet met behulp van dimensioneel beoordelen i c alle opstellen van slechts een eigenschap maar met behulp van moeten beoordeeld worden op telkens hetzelfde een aantal persoonlijkheidseigenschappen zoals aspect ongeacht de vraag of dat aspect relevant is extravert intelligent aardig standvastig agres voor een treffende karakterisering van een op sief enzovoort als we personen dimensioneel stel waartoe deze niet in staat is een analytisch zouden beoordelen zou dat betekenen dat we beoordelaar blijft typologisch beoordelen en dat aan alle te beoordelen personen telkens alle per maakt dat analytische beoordeling even betrouw soonlijkheidseigenschappen zouden toekennen baar i c stabiel is als globale beoordeling waarvan we bij onze persoonsbeschrijvingen ge dat laatste kan als volgt verduidelijkt worden bruik maken zij het dat de mate waarin ze die ei stel dat een beoordelaar 20 opstellen nakijkt met genschappen bezitten per persoon verschilt als behulp van een analytisch schema dat onder we personen echter typologisch zouden beoorde meer de categorie oorspronkelijkheid bevat als len dan zouden we juist niet alle eigenschappen die beoordelaar bij zijn analytische beoordeling in varierende mate aan alle te beoordelen typologisch te werk gaat zoals ik aanneem dan personen toekennen maar verschillende soorten zal hij een opstel uitsluitend hoog waarderen eigenschappen aan verschillende personen zo wanneer dat opstel er op die categorie uit 12 springt wanneer met andere woorden dat opstel ter zonder veel resultaat een globale beoorde in vergelijking met de andere opstellen extreem lingswijze is even betrouwbaar als een analy oorspronkelijk is alle opstellen die in de ogen tische als men de betrouwbaarheid van analy van de beoordelaar niet of nauwelijks oorspron tische beoordeling berekent voor analytische kelijk zijn worden op een neutrale hoop geveegd eindoordelen dit laatste is echter in methodisch zo n beoordelaar maakt een heel scherp onder opzicht een dubieuze procedure vergelijkt men scheid tussen opstellen die extreem oorspronke derhalve de betrouwbaarheid van analytische be lijk zijn en opstellen die dat niet zijn hij maakt oordeling per afzonderlijke categorie met die van nauwelijks een onderscheid tussen opstellen die globale beoordeling dan blijkt globale beoorde weinig oorspronkelijk z i jn voor de betrouw ling door de bank genomen zelfs superieur baarheid van het analytisch oordeel heeft dit de betekent dit nu dat analytische schema s maar af volgende consequentie de beoordelaar kent be geschaft moeten worden wat pleit er eigenlijk trouwbare analytische oordelen toe voor zover vo or zo n schema en wat er tegen een opstel extreem oorspronkelijk is hij kent on het in praktisch opz icht evidente nadeel van ana betrouwbare oordelen toe voor zover opstellen lytische schema s is dat deze van een beoordelaar weinig of helemaal niet oorspronkelijk zijn het wel erg veel vergen opstellen moeten telkens af analytische oordeel van een typologisch oorde zonderlijk op ee n aspect beoordeeld worden zo lende beoordelaar is derhalve opgebouwd uit en dat niet alleen een groot beroep wordt gedaan op betrouwbare en onbetrouwbare componenten en het concentratievermogen maar tevens op de be niet zoals bij analytische schema s impliciet schikbare tijd via een globale beoordelingsme wordt aangenomen uit uitsluitend betrouwbare thode corrigee rt men al snel zo n 20 tot 40 op componenten het gevolg hiervan is dat analy stellen per uur finlayson 1951 wolowitsj tische beoordelingen niet betrouwbaarder i c 1976 een onbereikbaar aantal wanneer men de stabieler zijn dan globale opstellen analytisch zou nakijken dit bezwaar de hier voorgestelde theoretische verklaring voor klemt des temeer omdat de extra tijdsinvestering het falen van analytische schema s is op twee ma bij een analytische beoordelingsmethode in het nieren empirisch getoetst enerzijds via een kwa geheel niet gecompenseerd wordt door een forse litatieve analyse van protocollen van hardop den betrouwbaarheidswinst kende beoordelaars tijdens het beoordelen van het grote voordeel van analytische schema s is de opstellen anderzijds via een kwantitatief statisti transparantie in de beoordeling de leerling weet sche analyse van opstelbeoordelingen de resulta vooraf op welke aspecten hij zal worden beoor ten van dat empirisch onderzoek zijn grotendeels deeld en zo hoo rt het ook zonder een volledig in overeenstemming met de uit de theoretische en uitpu tt end overzicht van voor en nadelen van verklaring afgeleide empirische voorspellingen analytische schema s te presenteren is toch zoveel meuffels 1985 al duidelijk dat wanneer bij een globale be oorde lingswijze vooraf de criteria worden gespecifi g lobaal of a na lytisc h be oord e l e n ceerd waarop schrijf produkten beoordeeld zullen worden en wanneer gedifferentieerde feedback om hun schrijfvaardigheid te verbeteren dienen wordt geleverd op basis van in schrijfprodukten leerlingen vaak in de gelegenheid te worden ge aanwezige saillante karakteristieken er wel heel steld de betreffende vaardigheid te oefenen en sterke argumenten moeten worden aangevoerd dienen ze specifieke gedifferentieerde feedback om een analyt ische beoordelingswijze te prefere over hun sterke en zwakke punten te ontvangen ren boven een globale beoordelingswijze zonder die feedback moet betrouwbaar zijn omdat de intensieve training zijn beoordelaars immers niet betrouwbaarheid van globale beoordeling vaak te tot dimensioneel oordelen in staat bovendien wensen over laat hebben velen hun toevlucht ge zijn dimensionele oordelen in het gros van de ge zocht in een analytische beoordelingswijze ech vallen voor leerlingen nauwelijks informatief 13 literatuur barendregt j t een knelpunt in de psychodiagnostiek cations 1985 p 386 39 2 in bulletin persoonlijkheidsleer 1978 6 p 126 128 morrison r l p e vernon a new method of ma r barendregt j t een natuurlijke methodologie in g j k i ng english compositions in british journal of educa mellenbergh r f van nae tsen h weldorp red rede tionalpsychology 1941 11 p 109 11 9 als richtsnoer bijdragen over methoden van denken en nisbet j d english composition in secundary school werken in de gedragswetenschappen aangeboden aan selection in british journal of educational psychology p ro f dr a d de groot bij zijn afscheid van de universi 1955 25 p 51 5 5 teit van amsterdam s gravenhalte mouton 1979 p volovics sche l v i s j j h e t ontw ikkel en en beoordelen 13 1 8 van een analytisch beoordelingsschema voor schrijfpro bem d j a allen on predicting lome of the people dukten van mavo leerlingen in tijdschrift voor taalbe lome of the time th e search for c ro ss situational consis heersing 1979 1 1 p 75 94 tencies in behavior in psychological review 1974 p weldorp h evaluatietechnieken voor het moedertaal 506 52 0 onderwijs een inventarisatie van beoordelingsmethoden finlayson d s the reliability of the marking of voor d e stelvaardigheid het begrijpend lezen bespreek essay s in british journal of educational psychology lui s ter en discussievaardigh e id s gravenhalte svo 1951 21 p 134 13 6 reeks n r 42 198 1 lamb h the engl ish ess a y in secunda ry selection wolowitsj j j het ontwikkelen van een analytisch be examinations a compari sion of two methods of mar oordelingsschema voor schrijfprodukten van mavo leer king in british journal of educarional psychology lingen amste rd a m ritp 197 6 1953 23 p 131 13 3 zonde rvan f e a ontwikkeling en toetsing van een meuff e l s b hoe meer hoe beter in tijdschrift voor analytisch beoordelingsmodel een exploratief onder taalbeheersing 19831 5 p 243 256 zoek int pub ru 197 9 meuffels b het beoorde len van opstel len dimensio zijlmans s h blok de ontwikkeling van een beoor neel of typologisch in w k b koning red taalbe delingsinstrumentarium voor gericht schrijven mavo heersing in theorie en praktijk do r drecht fori s publi lbo int e rimrappo rt 1 en 11 amsterdam ritp 1980 14