Lezersonderzoek (deel 1): inleiding

Veel instanties en bedrijven hechten er terecht aan begrijpelijk te communiceren met burgers en klanten. Over wat begrijpelijkheid van teksten is, verscheen in dit handboek een bijdrage van Leo Lentz. In de volgende bijdrage gaat hij in op hoe men de begrijpelijkheid van teksten, website, applicaties onderzoekt, om tijdens de ontwerpfase de communicatie te verbeteren, of in de eindfase een keuze te maken uit verschillende versies.

Stel, een farmaceutisch bedrijf wil weten of een nieuwe bijsluiter begrijpelijk is. Er is een klein potje met geld om er lezers bij te betrekken. Die kunnen we dus inzetten voor een test. We hebben twee weken de tijd gekregen. Hoe pakken we dat aan?

Op het eerste gezicht misschien een simpele vraag. We nodigen een groepje lezers uit en vragen of ze de tekst begrijpelijk vinden. Maar kunnen die proefpersonen eigenlijk wel goed beoordelen of de tekst begrijpelijk is? Hoe komen zij tot een oordeel? Waar letten ze dan precies op? Er zijn veel redenen om te twijfelen of hun oordeel zal overeenkomen met het oordeel van patiënten die de bijsluiter lezen. Als je dit hoofdstuk gelezen hebt, zul je begrijpen dat er een ruime hoeveelheid methoden beschikbaar is om antwoord te geven op de vraag over de begrijpelijkheid. En vermoedelijk weet je dan ook wanneer je welke methode het best kunt gebruiken, want er bestaat niet één heilige methode die altijd de beste is.

Ik spreek in het vervolg trouwens telkens over een tekst, maar dat kan ook een website zijn, of een formulier, of een handleiding bij een Ikea-meubel. Er is geen goede overkoepelende term voor al die vormen van communicatie waar tekst en beeld samenwerken in allerlei media. 

Wie wil weten welke methode geschikt is om een antwoord te krijgen op de vraag of een tekst begrijpelijk is, moet eerst twee andere vragen beantwoorden.

  1. Wat is precies het doel van de tekst? Als je niet weet wat het doel van de tekst is, dan weet je ook niet welke prestatie je van je lezers moet verwachten. Als het doel is: de lezer kan na het lezen van dit recept een lasagneschotel bereiden, dan weet je dus dat de prestatie eigenlijk in de keuken verricht moet worden. Maar als het doel is: de lezer moet weten of dit geneesmiddel veilig gebruikt kan worden, dan is de testsituatie heel anders. In de praktijk gaat het meestal niet louter om de begrijpelijkheid van de tekst. Vaak wil de opdrachtgever ook weten of de tekst bijvoorbeeld geloofwaardig is, of lezers overtuigd zijn van de noodzaak om iets wel of niet te doen.
  2. Wat is het doel van de test? Wil de opdrachtgever eventueel de documenten nog een keer laten redigeren door een van zijn beste auteurs? Dan spreken we van een formatief doel. De test moet inzicht geven in mogelijke verbeteringen. Maar het kan ook zijn dat het farmaceutisch bedrijf wil weten of het geneesmiddel al aangeboden kan worden op de markt. Dat noemen we een summatief doel. De test geeft dan bijvoorbeeld als resultaat dat 80% van de proefpersonen een reeks vragen over de bijsluiter goed kan beantwoorden en de juiste passages kan aanwijzen. Een summatieve test helpt om te besluiten of de tekst wel of niet klaar is om uitgebracht te worden.

Methoden

Als je weet wat de lezers moeten kunnen met de tekst en wat het doel is van de test kun je vervolgens kiezen uit een heel scala van methoden: zie de keuzehulp voor de methoden. We maken onderscheid tussen gesloten methoden, die vaak meer kwantitatieve resultaten opleveren en open methoden, die meer kwalitatieve resultaten leveren.

Aspecten van kwaliteit

Zulk onderzoek naar de kwaliteit van een tekst is vaak gericht op de begrijpelijkheid, maar dat is niet het enige zinvolle aspect van kwaliteit. We maken onderscheid tussen vier variabelen:

  • Vindbaarheid: kunnen lezers specifieke informatie makkelijk lokaliseren?
  • Begrijpelijkheid: komen lezers tot een goed begrip en juiste toepassing?
  • Geloofwaardigheid: aanvaarden lezers de strekking van de tekst?
  • Aantrekkelijkheid: oordelen lezers positief over de inhoud en vorm van de tekst?

Het zal duidelijk zijn dat je voor elk van die vragen verschillende opties hebt bij de keuze van je methode. Als het om de vindbaarheid gaat, zul je overwegen om lezers een reeks zoekopdrachten te geven en te observeren hoe snel ze de informatie vinden. In een digitale omgeving kun je hun navigatiegedrag vastleggen en het proces later terugspelen voor een nauwkeurige analyse. Maar als het gaat om begrijpelijkheid ligt een begripstoets misschien voor de hand. En de geloofwaardigheid en aantrekkelijkheid test je misschien beter met een vragenlijst waarin je attitudes en opinies meet. De aantrekkelijkheid kan betrekking hebben op de inhoud van de tekst, bijvoorbeeld een oordeel over de relevantie van de informatie, maar ook op de vorm van de tekst, bijvoorbeeld de lay-out, de illustraties of de stijl. Bij elk van die opties kies je dus een bepaalde onderzoeksmethode.

Methodologische vereisten

Onderzoek moet voldoen aan allerlei methodische eisen. De onderzoeker zal in zijn of haar verslag dus zeker een verantwoording afleggen voor de gemaakte keuzes. Hoeveel proefpersonen waren er nodig? Uit welke groepen zijn die mensen geworven? Waarom hebben zij taak X en taak Y moeten uitvoeren? Hoe luidde de instructie voor die taken? Op welke manier zijn de teksten aan de proefpersonen aangeboden? Wat was de rol van de proefleider? Hoe zijn de data precies verzameld? En op welke manier zijn die geanalyseerd? Hoe is voorkomen dat een andere proefleider op grond van dezelfde data tot andere conclusies zou komen?

Vaak zal het onderzoek meer kwalitatief dan kwantitatief van aard zijn. Dat is echter allerminst een wet van Meden en Perzen. Bovendien is de grens tussen die twee benaderingen ook niet haarscherp te trekken. Het onderzoek is duidelijk kwalitatief wanneer de proefleider een reeks van groepsgesprekken organiseert, we noemen dat focusgroepen, waarin de proefpersonen eerst hun algemene indruk van de tekst bespreken, daarna nauwkeurig gaan lezen, om vervolgens in een groepsgesprek de sterke en zwakke punten van de argumentatie (en dus de overtuigingskracht) van de tekst bespreken. Zulk onderzoek geeft indicaties van de aantrekkelijkheid en geloofwaardigheid van de tekst en leidt veelal tot concrete verbetervoorstellen. Het gaat om interpretaties door lezers van de tekst en om een kwalitatieve analyse van die reacties.

Het onderzoek is duidelijk kwantitatief wanneer de proefleider de proefpersonen uitnodigt in een testlokaal, het te evalueren document laat lezen en daarna een vragenlijst uitdeelt met begripsvragen die in meerkeuzevorm gesteld zijn. Daarna krijgen zij een test waarmee hun woordenschat gemeten wordt. In het verslag van dit onderzoek wordt gerapporteerd in hoeverre de tekst begrepen is door lezers met verschillende niveaus van geletterdheid. Maar er zijn allerlei tussenvormen en combinaties denkbaar, waarin lezers bijvoorbeeld eerst een begripstoets doen en daarna in een open gesprek vertellen wat zij makkelijk en moeilijk aan de tekst vonden.

Kenmerkend voor de kwantitatieve methoden van tekstevaluatie is dat proefpersonen nauwelijks of geen sturing kunnen geven aan de taak die ze uitvoeren. De regie ligt vrijwel volledig bij de proefleider. Daarom noemen we dat gesloten methoden. Daartegenover staan natuurlijk open methoden, waar de proefpersoon bijvoorbeeld de ruimte heeft om meer feedback te geven op de vorm dan op de inhoud, of op de geloofwaardigheid dan op de begrijpelijkheid.

Al die methoden worden al decennia gebruikt in de neerlandistiek, vooral in de taalbeheersing, en in andere disciplines van communicatie-onderzoek. Sommige methoden delen we met de sociale wetenschappen, zoals de vragenlijst, het interview en observatie. Andere delen we met onderzoek in de informatietechnologie en games en apps-industrie, zoals het usability-onderzoek met bijvoorbeeld proefpersonen die hardop denkend een taak uitvoeren. 

Hoe beslis je nu welke methode je gaat gebruiken? Daarvoor moet je weten wat het doel van het document is en wat het doel van de test is. De keuzehulp helpt je op weg om een keuze te maken tussen tien verschillende methoden.

Hoe zet je lezersonderzoek op? In vier hoofdstukjes leid ik je door 13 cruciale momenten in het opzetten, uitvoeren en rapporteren van lezersonderzoek (zie opzetten, uitvoeren en rappporteren van lezersonderzoek). 

Methoden

Gesloten methoden

  1. De vragenlijst: De vragenlijst is de meest gebruikte methode om begrip te testen, maar ook om opinies te meten. En hoewel we dat dus allebei vaak met een vragenlijst doen, zijn er toch wel verschillen tussen beide. Vooral wat betreft de valkuilen voor de ontwerpers van de vragenlijst. Daarom bespreken we hier de beide soorten vragenlijst afzonderlijk.
    1. De vragenlijst/toets Begrip: klassieke toets in de vorm van een vragenlijst, zoals in schoolexamens
    2. De vragenlijst Opinies: proefpersonen geven hun opinie of oordeel over (aspecten) van de tekst
  2. De close-test: proefpersonen vullen ontbrekende woorden in een tekst: hoe meer woorden goed, hoe beter het begrip van de tekst

Open methoden

Bij open methoden voor evaluatie krijgen de proefpersonen veel meer ruimte dan bij de gesloten methoden. Bijvoorbeeld om zelf passages aan te wijzen waar zij iets over willen opmerken. Maar ook ten aanzien van de focus van de feedback: de vorm van de tekst, de structuur, de inhoud, de stijl of de navigatie van een website. Om die reden kan de proefleider veel minder gebruik maken van vooraf gecodeerde categorieën en antwoordopties. De feedback van de lezers moet niet zozeer geteld maar geïnterpreteerd worden. Daarom leveren deze methoden eerder kwalitatieve data.

  1. Lezersprotocol: proefpersonen lezen de tekst hardop en onderbreken het lezen telkens als zij commentaar hebben.
  2. Hardop denken: proefpersonen lezen de tekst stil voor zichzelf, soms voeren zij daarbij ook een taak uit; zij onderbreken het lezen als ze commentaar hebben (concurrent) of geven commentaar als ze klaar zijn met lezen of de taak (retrospectief).
  3. Plus-en-minmethode: proefpersonen lezen de tekst en zetten in de marges plussen en minnen; daarna neemt de proefleider die markeringen met hen door.
  4. Interview: een mondelinge variant van de vragenlijst waarbij de proefpersonen in een gestructureerd vraaggesprek feedback geven op de tekst.
  5. Observatie: proefpersonen passen een (veelal instructieve) tekst toe in een concrete situatie waarbij de proefleider observeert en aantekeningen maakt.
  6. Eye tracking: proefpersonen bezoeken een website, een app of andere digitale omgeving waarbij hun navigatiegedrag en hun oogbewegingen geregistreerd worden.
  7. Focusgroepen: proefpersonen zitten in kleine groepjes van vijf tot zeven deelnemers, lezen een document en geven daarna feedback onder leiding van de proefleider.

Opzetten, uitvoeren en rapporteren van lezersonderzoek

Welke methode je ook kiest, altijd moet je tijdens de voorbereiding ingewikkelde beslissingen nemen die de kwaliteit van de test beïnvloeden. En ook daarna, tijdens de uitvoering, bij de analyse van de resultaten en bij het schrijven van het rapport, moet je telkens keuzes maken. In de bijdrage Lezersonderzoek in stappen bespreek ik elk van die stappen.

  1. Voorbereiding
    1.1 Proefpersonen
    1.2 Testlocatie
    1.3 Informed Consent
  2. Uitvoering
    2.1 Setting van de test
    2.2 Rol van de proefleider
    2.3 Registratie van de data
  3. Analyse
    3.1 Diagnose van de resultaten
    3.2 Inschatting van de Kans en de Ernst
    3.3 Betrouwbaarheid
  4. Rapportage
    4.1 Omvang
    4.2 Inhoud
    4.3 Structuur
    4.4 Stijl

Lees hier de andere bijdragen over onderzoeksmethoden bij lezersonderzoek:
Lezersonderzoek (deel 2): Methoden van onderzoek
Lezersonderzoek (deel 3): onderzoek in stappen

Graag als volgt naar deze bijdrage verwijzen: Lentz, L. (2021). Lezersonderzoek: hoe evalueer je een tekst, formulier of website bij lezers? Didactiek Nederlands – Handboek. Geraadpleegd [datum] via [https://didactieknederlands.nl/handboek/2021/01/lezersonderzoek-deel-1-inleiding/].

Auteurs:

Leo Lentz
+ posts

Leo Lentz is hoogleraar aan de Universiteit Utrecht op het terrein van taal en communicatie. Hij doet onderzoek naar de begrijpelijkheid van teksten en de gebruiksvriendelijkheid van digitale documenten. Dat zijn meestal alledaagse teksten, zoals bijsluiters bij medicijnen, kookrecepten of formulieren en websites; maar hij doet ook onderzoek naar minder alledaagse documenten die te maken hebben met financiën: hypotheekaktes, pensioendocumenten, aanmaningen en verzekeringen.