Comparatief beoordelen van schrijfproducten voor waardevolle feedback

Wat is de kernactiviteit van de docenten?

Docenten beoordelen de teksten van leerlingen op een holistische en vergelijkende manier, waardoor ze meer oog hebben voor de communicatieve effectiviteit van teksten en daar ook gerichter feedback op kunnen geven. Het is ook mogelijk om de leerlingen mee te laten beoordelen, zoals in een peer assessment.

Met comparatief beoordelen heb je oog voor de communicatieve effectiviteit van teksten

Hoe pak je dat aan?

Comparatief beoordelen kan op twee manieren:

(1) Teksten paarsgewijs beoordelen. Dit kan handmatig met alle teksten uitgeprint op papier of met de online tool Comproved. Door een reeks paarsgewijze vergelijkingen kunnen alle teksten worden gerangschikt van minst goed tot goed. Op basis van deze rangschikking kunnen cijfers worden toegekend.

(2) Teksten vergelijken met vooraf geselecteerde ankerteksten. Ankerteksten zijn representatieve teksten voor verschillende kwaliteitsniveaus van schrijven in een specifiek tekstgenre en voor een specifieke doelgroep. Zo kunnen bijvoorbeeld goede, gemiddelde en minder goede ankerteksten worden geselecteerd voor argumentatief schrijven in de bovenbouw havo/vwo. Cijfers voor nieuwe leerlingteksten worden bepaald door deze te vergelijken met de kwaliteit van de ankerteksten.

Beide manieren worden hieronder verder toegelicht.

1. Paarsgewijs vergelijken in Comproved

Leerlingen uploaden hun eigen werk in de tool en de vakdocent wijst beoordelaars toe. Dat kunnen de leerlingen zelf of collega’s uit de vaksectie zijn. Elke beoordelaar maakt meerdere paarsgewijze vergelijkingen, waarbij tekstparen steeds automatisch worden samengesteld. Op basis van deze vergelijkingen door meerdere beoordelaars worden de teksten gerangschikt van goed naar minder goed. Het is in Comproved ook mogelijk om naast het vergelijken feedback te geven op elke tekst in een vergelijking. Dat kan door de sterke en minder sterke punten te benoemen. Hoe meer beoordelaars dat doen, hoe rijker de feedback is en hoe beter de schrijver kan inschatten hoe de tekst overkomt op verschillende lezers. Aan de hand van de rangorde kan de docent bepalen waar het omslagpunt ligt tussen voldoende en onvoldoende, en kunnen cijfers worden toegekend.

Figuur 1. Voorbeeld van het proces van paarsgewijs vergelijken in Comproved
Figuur 2. Voorbeeld van feedback geven in Comproved
Figuur 3. Voorbeeld van feedback geven in Comproved

2. Vergelijken met ankerteksten

In deze methode worden de teksten niet onderling vergeleken, maar met ankerteksten voor verschillende kwaliteitsniveaus. In figuur 4 staat een voorbeeld van een beoordelingsschaal met vijf ankerteksten oplopend in kwaliteit. De gemiddelde tekst heeft hier een willekeurige score van 100 gekregen, en voor elk van de teksten zijn de plus- en minpunten beschreven. De taak voor de beoordelaar is om elke nieuwe leerlingtekst te vergelijken met de ankerteksten op de schaal en zo de score voor tekstkwaliteit te bepalen. Deze procedure leidt over het algemeen tot zeer betrouwbare oordelen. De kwaliteit van de oordelen valt of staat natuurlijk wel met de kwaliteit van de geselecteerde ankerteksten, deze selectie moet dus zorgvuldig gebeuren, het liefst doe je dat samen met collega’s.

Figuur 4. Een voorbeeld voor een ankerschaal voor overtuigende teksten voor leerlingen in de bovenbouw van het basisonderwijs. Bovenaan staan de ankerteksten, onderaan zijn per tekst de plus- en minpunten beschreven.

Met welk effect?

Psychologisch: De holistische en comparatieve manier van beoordelen maakt gebruik van de expertise van de docent (Lesterhuis, 2018). In plaats van te blijven hangen in het afwegen van plussen en minnen zoals bij analytische beoordelingsschema’s, moet je oog hebben voor de communicatieve effectiviteit van de gehele tekst. In elke vergelijking stel je jezelf de vraag: ‘welke van deze teksten is informatiever of overtuigender’? Het maken van dit soort vergelijkingen is makkelijk en gaat relatief snel. Afhankelijk van de teksten let je op verschillende aspecten, zoals de inhoud van het bronmateriaal of de argumentatiestructuur. Naarmate twee teksten in een vergelijking meer op elkaar lijken let je meer op details, zoals woordkeuze, spelling of grammatica. Hierdoor worden uiteindelijk alle relevante aspecten meegenomen in het eindoordeel.

Praktisch: Comparatief beoordelen via paarsgewijs vergelijken is zeer betrouwbaar, mits je elke tekst tussen de 10 en 15 keer vergelijkt. Het beoordelen door middel van ankerteksten is ook zeer betrouwbaar en gaat een stuk sneller dan paarsgewijs vergelijken. Beide methodes zijn zeer geschikt om het beoordelingswerk te verdelen onder meerdere beoordelaars. Een bijkomend voordeel van samen beoordelen is dat de uitkomsten niet enkel van een docent afhankelijk zijn, maar gebaseerd zijn op een gedeelde consensus (Lesterhuis, 2018). Samen kom je tot betere oordelen dan alleen.

Waarom werkt het zo?

Comparatief beoordelen is makkelijker dan het beoordelen met een analytisch beoordelingsschema omdat het beter aansluit bij onze natuurlijke manier van beoordelen. We zijn immers beter in het maken van vergelijkingen dan in het vellen van een absoluut oordeel. Sterker nog, zelfs als je een absoluut oordeel moet vellen, dan maak je onbewust een vergelijking met je eigen standaard of met eerder gezien werk. Het principe van paarsgewijs vergelijken stamt dan ook al uit 1927, waarin de psychofysicus Thurstone aantoonde hoe het mogelijk is om op basis van paarsgewijze vergelijkingen objecten met een verschillend gewicht op een betrouwbare, maar subjectieve manier te ordenen van licht naar zwaar. Onderzoek heeft in de afgelopen jaren uitgewezen dat dit ook werkt voor het beoordelen van meer complexe vaardigheden. Op basis van deze wetenschappelijke inzichten is de online tool Comproved ontwikkeld en zijn er tekstschalen gemaakt voor verschillende tekstgenres.

 

Meer weten?

  • Voorbeelden van tekstschalen voor betogen en uiteenzettingen uit het onderzoeksproject LIFT.
  • Special Schrijfonderwijs en toetsing bij Engels en Nederlands van SLO en Cito. (Download beschikbaar in december).
  • Lesterhuis, M. (2018). The validity of comparative judgement for assessing text quality: An assessor’s perspective [Proefschrift]. Universiteit Antwerpen.
  • Bouwer, R., Goossens, M., Mortier, A. V., Lesterhuis, M. & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment: leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs. Phronese.
  • De online comparing-tool Comproved.  
  • Een jaarlicentie voor docenten VO is er al voor €75. Neem contact op via info@comproved.com voor meer informatie.
  • Binnenkort zijn praktijkvoorbeelden van het werken met Comproved en tekstschalen in bovenbouwsecties Nederlands beschikbaar. De praktijkvoorbeelden zijn opbrengsten van het project Schrijfvaardigheid in het Schoolexamen (Levende Talen Nederlands).

Graag als volgt naar deze bijdrage verwijzen: Bouwer, R. (2020). Comparatief beoordelen van schrijfproducten voor waardevolle feedback. Didactiek Nederlands – Zo kan het ook. Geraadpleegd [datum] via [https://didactieknederlands.nl/zokanhetook/2020/11/comparatief-beoordelen-van-schrijfproducten-voor-waardevolle-feedback/].

Auteurs:

Renske Bouwer

Renske Bouwer is Universitair Docent Taal & Educatie aan de Universiteit Utrecht en als wetenschappelijk adviseur betrokken bij de academische spin-off Comproved. Zij is in 2016 cum laude gepromoveerd op effectief schrijfonderwijs in het basisonderwijs en heeft gepubliceerd over toetsing en beoordelen van schrijfvaardigheid in diverse nationale en internationale tijdschriften.