Wat zijn tekstbegrijpelijkheids voorspellingen waard? Een vergelijkend onderzoek (deel 4)

In dit hoofdstuk maak je kennis met Nederlandse instrumenten die zeggen de begrijpelijkheid van een tekst te meten. Ze verschillen, in vele opzichten, zo zal blijken. Dat is goed, want zo valt er iets te kiezen. Maar er zou meer vooruitgang geboekt kunnen worden als de makers zouden uitwisselen en samenwerken. Dat ze dat niet doen is begrijpelijk, omdat de meesten in een commercieel veld opereren.

Voor het Nederlands zijn er nu zeven instrumenten. Via een klik kun je je een indruk vormen van de instrumenten: wat ze doen, met welk doel en wie de makers zijn.

• Accessibility Leesniveau Tool
• Klinkende Taal
• LiNT
• Schrijfassistent
• Texamen
• Textmetrics
• Wizenote
• Conclusies

Het onderzoek doe ik aan de hand van een en dezelfde tekst, om te zien wat elke tool ermee doet. In elke tool heb ik dezelfde tekst ingevoerd, afkomstig uit een ander hoofdstuk dat ik schreef voor het Handboek Didactiek Nederlands. Dat was een concept van de inleiding uit het hoofdstuk over methoden voor lezersonderzoek. Hieronder zie je deze voorbeeldtekst.

Stel, een farmaceutisch bedrijf wil weten of een nieuwe bijsluiter begrijpelijk is. Er is een klein potje met geld om er lezers bij te betrekken. Die kunnen we dus inzetten voor een test. We hebben twee weken de tijd gekregen. Hoe pakken we dat aan?
Op het eerste gezicht misschien een simpele vraag. We nodigen een groepje lezers uit en vragen of ze de tekst begrijpelijk vinden. Maar kunnen die proefpersonen eigenlijk wel goed beoordelen of de tekst begrijpelijk is? Hoe komen zij tot een oordeel? Waar letten ze dan precies op? Er zijn veel redenen om te twijfelen of hun oordeel zal overeenkomen met het oordeel van patiënten die de bijsluiter lezen. Als je dit hoofdstuk gelezen hebt, zul je begrijpen dat er een ruime hoeveelheid methoden beschikbaar is om antwoord te geven op de vraag over de begrijpelijkheid. En vermoedelijk weet je dan ook wanneer je welke methode het best kunt gebruiken, want er bestaat niet één heilige methode die altijd de beste is.
Ik spreek in het vervolg trouwens telkens over een tekst, maar dat kan ook een website zijn, of een formulier, of een handleiding bij een Ikea-meubel. Er is geen goede overkoepelende term voor al die vormen van communicatie waar tekst en beeld samenwerken in allerlei media. Wie wil weten welke methode geschikt is om een antwoord te krijgen op de vraag of een tekst begrijpelijk is, moet eerst twee andere vragen beantwoorden.

Deze tekst werd door de verschillende instrumenten geanalyseerd op leesbaarheid en begrijpelijkheid. Soms kwamen de resultaten overeen, vaak waren er ook verschillen. Zie de uitwerkingen en conclusie per vraag.

Hoe werkt de tool?

Vraag 1 Naar welke tekstkenmerken kijkt de tool?

Sommige tools zijn te gul met het markeren van moeilijke woorden en vooral moeilijke zinnen. Ten onrechte wordt elke zin met een bijzin of een opsomming als moeilijk gekwalificeerd. Maar ook een simpele zin zonder bijzin of opsomming krijgt die kwalificatie, zoals Hoe pakken we dat aan?
Zie link voor een uitwerking.

Vraag 2 Levert de tool een score op voor begrijpelijkheid en wat betekent die score?

De tools bieden verschillende maten voor begrijpelijkheid, veelal gebaseerd op discutabele criteria. De oordelen van experts over de begrijpelijkheid van teksten zijn onbetrouwbaar. Het Europees Referentiekader voor de Talen is niet ontwikkeld voor een niveaubepaling van teksten, maar voor sprekers van een vreemde taal. En een schaal in termen van leeftijdsgroepen miskent de grote verschillen in leesvaardigheid tussen leerlingen van dezelfde leeftijd. LiNT biedt een maat in termen van het soort genre waar de ingevoerde tekst op lijkt en biedt een score die gebaseerd is op grootschalig onderzoek met leerlingen.
Zie link voor een uitwerking.

Vraag 3 Is er aandacht voor verschillende groepen lezers?

Sommige tools claimen ten onrechte dat na een bepaalde score een bepaald percentage lezers de tekst zal begrijpen. Zo’n uitspraak is om vier redenen onverantwoord. In de eerste plaats omdat er een verkeerd idee van begrijpen aan ten grondslag ligt. Voor begrip van een tekst heeft een lezer meer nodig dan wat de tools meten. Ten tweede is er onvoldoende serieus onderzoek waaruit blijkt dat teksten met een bepaalde score door een bepaald percentage volwassen lezers wordt begrepen. De makers van LiNT hebben vooral bij scholieren getest en daarna met een beperkte groep volwassenen. Ten derde bevat elke tekst zelf allerlei elementen, waardoor variatie binnen de tekst zelf ontstaat. Sommige passages of onderdelen worden misschien wel begrepen, andere niet. Ten slotte miskent deze claim het belang van de opbouw van een tekst voor de begrijpelijkheid. Plaats alle zinnen in de tekst in een willekeurige volgorde en de tool komt met precies dezelfde score.
Zie link voor een uitwerking.

Vraag 4 Hoe transparant is de tool over de techniek die erachter zit?

De tools verschillen qua transparantie over de gebruikte techniek. Alleen ALT en LiNT maken expliciet duidelijk welke analyses ten grondslag liggen aan de scores en de gebruikte maten voor complexiteit. LiNT is de enige tool die gebaseerd is op empirisch onderzoek met veel teksten, grote groepen proefpersonen, geavanceerde taaltechnologie en een reeks wetenschappelijke publicaties.
Zie link voor een uitwerking.

Hoe kan je de tool gebruiken?

Vraag 5 Hoe flexibel is de tool voor aanpassingen voor eigen gebruik?

De gebruiksvriendelijkheid van de tools is redelijk. De gebruiker plakt een tekst in de tool, drukt op een knop en krijgt vrij snel een score; soms via de mail en soms in de tool zelf. Vijf tools laten vervolgens op een heldere manier zien welke woorden of zinnen als moeilijk worden beschouwd.
Zie de link voor een uitwerking.

Vraag 6 Biedt de tool een diagnose van onderdelen van de tekst op specifieke kenmerken?

De tools zijn het behoorlijk oneens over de vraag wat de moeilijke woorden en zinnen zijn in een proeftekst. Natuurlijk is dit een uiterst beperkte steekproef, maar nu lijkt het wel een toevalstreffer welke woorden en zinnen er uitgekozen worden om te verbeteren.

Vraag 7 Biedt de tool suggesties voor verbetering?

Sommige tools bieden suggesties voor verbetering. Die slaan erg vaak de plank mis. Op dit punt valt nog bijzonder veel winst te boeken.
Zie link voor een uitwerking.

Vraag 8 Is de tool gekoppeld aan verdere hulp bij het schrijven?

Twee tools worden aangeboden door bureaus die meer hulp bieden bij het schrijven. Dat zijn Klinkende Taal, ondergebracht bij het bureau Loo van Eck, en Texamen dat wordt aangeboden door BureauTaal. Beide bureaus bieden coaching en trainingen aan. De Schrijfassistent is gekoppeld aan een website met een grote hoeveelheid taaladvies: https://taaladvies.nl/.

Hieronder volgt een beschrijving van zeven instrumenten voor het Nederlands.

Accessibility Leesniveau Tool

Accessibility Leesniveau Tool (ALT) is een product van de Stichting Accessibility, een onderneming die (zonder winstoogmerk) werkt aan het toegankelijk maken van digitale informatie voor mensen met een handicap. Oorspronkelijk waren dat mensen met een visuele handicap, maar tegenwoordig is de missie verbreed tot het verbeteren van de toegankelijkheid van internet en andere digitale media voor alle mensen, inclusief ouderen en mensen met een handicap.

De tool werkt eenvoudig. Je plakt een tekst in het scherm en met een druk op de knop krijg je een score van het “leesniveau” van de tekst.

ALT kan tien keer gratis gebruikt worden.

Klinkende Taal

De tweede tool is Klinkende Taal. Dit is een product van de firma GridLine, een Amsterdams bedrijf dat gespecialiseerd is in taaltechnologie voor het Nederlands. De tool wordt zowel door GridLine zelf als door het communicatiebureau Loo van Eck aangeboden.  Dit instrument controleert je tekst zowel op correctheid als op leesbaarheid en begrijpelijkheid. Na de invoer van een tekst ziet de gebruiker de resultaten van de analyse op verschillende tekstkenmerken die elk hun eigen kleur krijgen. De suggestie is dat de onderstreepte passages of woorden in de tekst verbetering behoeven. Na revisie kan de gebruiker de tekst opnieuw laten analyseren om na te gaan of die beter leesbaar is geworden.

Klinkende Taal biedt organisaties een abonnement waarbij de prijs afhankelijk is van het aantal licenties, de duur van het contract, de taalmodules die de organisatie wil gebruiken en of het om Word gaat of Web. Sinds 2021 biedt Klinkende Taal ook ZZP-abonnementen aan voor € 240 per jaar (Web) of € 360 per jaar (Word); er is geen beperking in het gebruik, er geldt wel een fair use-afspraak. De tool met alleen de begrijpelijkheidsscore (dus zonder nadere diagnose en suggesties) van Klinkende Taal staat gratis online. Je kunt de tool met de andere opties een week lang gratis op proef krijgen. Organisaties kunnen op aanvraag de Word Plugin gratis uitproberen.

Leesbaarheidsinstrument voor Nederlandse Teksten

De derde tool is LiNT (Leesbaarheidsinstrument voor Nederlandse Teksten), ontwikkeld met steun van NWO, de Nederlandse organisatie voor het wetenschappelijk onderzoek, in het kader van een onderzoeksproject naar begrijpelijke taal. Drie universiteiten droegen bij aan de ontwikkeling, maar het meeste werk werd verricht aan de Universiteit Utrecht onder leiding van Henk Pander Maat. Van de zeven tools die ik bespreek is dit het instrument waar het meeste onderzoek voor is uitgevoerd. Eigenlijk zijn er twee tools uit voortgekomen: T-Scan voor het wetenschappelijk onderzoek en LiNT voor een ruimere toepassing. Met T-Scan worden teksten op ruim vierhonderd kenmerken geanalyseerd, wat natuurlijk veel te veel is voor alledaags gebruik. LiNT maakt gebruik van T-Scan, maar werkt met veel minder tekstkenmerken en presenteert de resultaten op een toegankelijker manier voor een breder publiek.

Net als bij de meeste andere tools kun je bij LiNT een tekst kopiëren naar een scherm en met een druk op de knop klaarzetten start je de analyse. Het resultaat wordt even later via de mail naar je toegestuurd. Er is ook een optie om teksten te uploaden naar LiNT, maar dat moet dan wel in een specifiek format en met enige voorbewerking van de teksten.

LiNT is nog niet vrijelijk te gebruiken voor iedereen. Er zijn plannen om het instrument zonder kosten voor ambtenaren bij de overheid beschikbaar te stellen. Dat gebeurt in samenwerking met de Taalunie. Wie er nu gebruik van wil maken moet toestemming vragen.

Schrijfassistent Nederlands

De vierde tool is Schrijfassistent Nederlands, een online schrijfhulp, ontwikkeld door het Instituut voor Levende Talen (ILT) van de KU Leuven, in samenwerking met de Vlaamse omroep VRT en de krant De Standaard. Net als bij de andere tools kan de gebruiker een tekst in een webpagina plakken en op een aantal criteria laten beoordelen. Maar vervolgens is vrijwel alles anders dan bij de andere tools. Er komt geen score voor de leesbaarheid van de tekst, maar het instrument biedt tal van suggesties voor verbetering.

De Schrijfassistent is gratis en voor iedereen onbeperkt toegankelijk.

Texamen

De vijfde tool is Texamen. Dit instrument is ontwikkeld door BureauTaal, een bureau dat in 2002 is opgericht en zich specialiseert in trainingen voor begrijpelijk schrijven, in schrijf- en redactiewerk, en in advies voor organisaties die betere teksten willen maken. Ook hier is het gebruik simpel: plak een tekst in de tool en klik op Bepaal tekstniveau voor de score. Die wordt even later zichtbaar en loopt op een schaal van A1 tot het hoogste niveau C2.

Bij Texamen kan iedereen kan een demo aanvragen en daar dertig dagen gebruik van maken. Daarna kost een abonnement € 995 per jaar, waarmee iedereen in de organisatie gebruik kan maken van de tool. Met scholen of universiteiten heeft Texamen nog geen ervaring.

Textmetrics

De zesde tool is Textmetrics. Dit is een tool waarmee je teksten niet alleen kunt laten beoordelen op begrijpelijkheid, maar ook op geloofwaardigheid, sentiment, toegankelijkheid voor zoekmachines en tenslotte op diversiteit en inclusie (met name op genderneutraliteit en leeftijd). De tool kan worden gebruikt in maar liefst twaalf talen. Ik beperk me in deze bespreking tot de eerste drie functies, waarbij de nadruk ligt op de begrijpelijkheid van Nederlandse teksten. De makers van de tool claimen dat de tool vooral nuttig is bij recruitment, marketing, corporate communicatie en inclusieve communicatie.

Na de beoordeling levert Textmetrics net als Texamen een score op dezelfde schaal van A2 tot C2, maar deze tool claimt ook je tekst op geloofwaardigheid te kunnen beoordelen en op de vraag of je tekst genderneutraal is.

Textmetrics wordt op maat ingericht voor de gebruikers, waarbij de kosten afhankelijk zijn van de modules die men gebruikt en het aantal gebruikers in de organisatie. Bij veel gebruikers kan het tarief dan ongeveer € 100 per gebruiker worden.

Wizenote

De zevende tool is Wizenote, ontwikkeld door Wizenoze. Dat is een van oorsprong Nederlands bedrijf met als missie een veilige en passende omgeving op het Internet te ontwikkelen voor kinderen van verschillende leeftijden en onderwijsniveaus. Daartoe is een database ontwikkeld met maar liefst 40 miljoen websites waar kinderen veilig informatie kunnen zoeken. Scholen en andere organisaties kunnen een abonnement nemen op Web for Classrooms, waarmee alle leerlingen dan voor opdrachten zowel thuis als op school kunnen werken.

De tools Wizescan en Wizenote zijn eigenlijk een bijproduct van Wizenoze. Ze zijn ontwikkeld om van een specifieke website te kunnen bepalen voor welk leerniveau de tekst geschikt is. Maar inmiddels wordt die tool ook aangeboden voor derden.

Wizenote biedt een gratis tool en een betaalde optie aan. Wizescan is gratis voor iedereen, maar biedt alleen een leesbaarheidsscore. Wizenote kan door iedereen tien keer gratis gebruikt worden. Daarvoor moet je wel een account aanmaken. Een abonnement kost € 250,- per maand voor een abonnement met 200 leesbaarheidsanalyses per maand voor een onbeperkt aantal gebruikers.

Conclusies

1. Er zijn zeven tools die allemaal verschillend zijn. Dat is een goede zaak, want zo valt er iets te kiezen.
2. De tools zijn het behoorlijk oneens over de vraag wat de moeilijke woorden en zinnen zijn in een proeftekst. Natuurlijk is dit een uiterst beperkte steekproef, maar nu lijkt het wel een toevalstreffer welke woorden en zinnen er uitgekozen worden om te verbeteren.
3. De tools zijn het behoorlijk eens over het niveau dat zij toeschrijven aan de proeftekst, hoewel ze verschillende schalen gebruiken.
4. Sommige tools bieden suggesties voor verbetering. Die slaan erg vaak de plank mis. Op dit punt valt nog bijzonder veel winst te boeken.
5. De tools bieden verschillende maten voor begrijpelijkheid, veelal gebaseerd op discutabele criteria. De oordelen van experts over de begrijpelijkheid van teksten zijn onbetrouwbaar. Het Europees Referentiekader voor de Talen is niet ontwikkeld voor een niveaubepaling van teksten, maar voor sprekers van een vreemde taal. En een schaal in termen van leeftijdsgroepen miskent de grote verschillen in leesvaardigheid tussen leerlingen van dezelfde leeftijd. LiNt biedt een maat in termen van het soort genre waar de ingevoerde tekst op lijkt en biedt een score die gebaseerd is op grootschalig onderzoek met leerlingen.
6. De tools verschillen sterk in toegankelijkheid. Sommige zijn gratis en oneindig bruikbaar, andere hebben een proefperiode voor gratis gebruik en één tool is alleen toegankelijk voor niet commerciële doelen.
7. De gebruiksvriendelijkheid van de tools is redelijk. De gebruiker plakt een tekst in de tool, drukt op een knop en krijgt vrij snel een score; soms via de mail en soms in de tool zelf. Sommige tools laten vervolgens op een heldere manier zien welke woorden of zinnen als moeilijk worden beschouwd.
8. De tools verschillen qua transparantie over de gebruikte techniek. Alleen de tool die in een academische context is ontwikkeld (LiNt) maakt expliciet duidelijk welke analyses ten grondslag liggen aan de scores en de gebruikte maten voor complexiteit. Dat is ook de enige tool met een wetenschappelijk verantwoorde empirische basis.
9. Sommige tools claimen ten onrechte dat na een bepaalde score een bepaald percentage lezers de tekst zal begrijpen. Zo’n uitspraak is om vier redenen onverantwoord. In de eerste plaats omdat er een verkeerd idee van begrijpen aan ten grondslag ligt. Voor begrip van een tekst heeft een lezer meer nodig dan wat de tools meten. Ten tweede is er onvoldoende serieus onderzoek waaruit blijkt dat teksten met een bepaalde score door een bepaald percentage volwassen lezers wordt begrepen. De makers van LiNt hebben vooral bij scholieren getest en daarna met een beperkte groep volwassenen. Ten derde bevat elke tekst zelf allerlei elementen, waardoor variatie binnen de tekst zelf ontstaat. Sommige passages of onderdelen worden misschien wel begrepen, andere niet. Ten slotte miskent deze claim het onderscheid tussen leesbaarheid en begrijpelijkheid. De meeste tools lijken meer op de leesbaarheid gericht dan op het begrijpen van de tekst. Plaats alle zinnen in de tekst in de omgekeerde volgorde en de tool komt met precies dezelfde score. Goed voorlezen zou dan nog prima lukken, maar begrip van de tekst wordt echt veel moeilijker.
10. Er lijkt geen uitwisseling en samenwerking te bestaan tussen de makers van de tools. Dat is begrijpelijk, omdat de meesten in een commercieel veld opereren, maar het is jammer dat zij daardoor niet van elkaar kunnen leren en gezamenlijk voortgang boeken.

Lees verder:

• Inleiding
• Leesbaarheid en begrijpelijkheid (deel 2)
• Taaltechnologie (deel 3)
• Keuzehulp (deel 5)

Graag als volgt naar deze bijdrage verwijzen: Lentz, L. (2021). Wat zijn tekstbegrijpelijkheidsvoorspellingen waard? Een vergelijkend onderzoek. In WODN Werkgroep Onderzoek Didactiek Nederlands (Ed.), Handboek Didactiek Nederlands. Levende Talen. Geraadpleegd [datum] via [https://didactieknederlands.nl/handboek/2021/10/wat-zijn-tekstbegrijpelijkheids-voorspellingen-waard-een-vergelijkend-onderzoek-deel-4/]