Kanttekeningen bij meta-analyses

Bron: Janssen, T., & Van Weijen, D. (2017). Effectief schrijfonderwijs op de basisschool. Een didactisch kader ten behoeve van landelijk peilingsonderzoek. Amsterdam/Den Haag: Universiteit van Amsterdam en NRO.  Bewerkt door Gert Rijlaarsdam

Inleiding

Aan iedere meta-analyse liggen keuzes ten grondslag, bijvoorbeeld ten aanzien van de selectie van onderzoeken en de wijze waarop deze gegroepeerd en geanalyseerd worden. Deze keuzes zijn deels arbitrair. Het kan voorkomen dat meta-analyses over hetzelfde onderwerp andere resultaten opleveren. Niettemin vormen meta-analyses een belangrijke bron van informatie; ze geven ons richtingaanwijzers voor welke didactische benaderingen keer op keer effect genereren en welke een relatief groot effect bewerkstelligen.

Het aantal gepubliceerde meta-analyses van onderzoek naar effectief schrijfonderwijs is in de afgelopen 15 jaar sterk toegenomen. Na een eerste grote analyse van Hillocks (1984/1986) bleef het voor schrijfvaardigheidsonderzoek lang stil, maar sinds begin deze eeuw is met name de Amerikaanse onderzoeksgroep rond Steve Graham zeer actief op dit terrein. Het is nu zelfs zo dat er ´meta-meta-analyses’ verschijnen: reviews van meta-analyses (o.a. Graham, Harris, & Chambers, 2016).

Wie meta-analyses raadpleegt om zich een beeld te vormen wat ingrediënten zijn van een effectieve schrijfdidactiek, heeft veel steun aan zulk onderzoek, als een eerste oriëntatie wat de opties zoals zijn.

Kanttekeningen

1. Het aantal onderzoeken waarop een uitkomst in een meta-analyse berust kan enorm verschillen. Voor de effectiviteit van sommige benaderingen van schrijfonderwijs wordt steeds naar dezelfde onderzoeken verwezen (bijvoorbeeld Schunk & Swartz, 1993, voor het stellen van doelen), terwijl andere benaderingen (zoals strategie-instructie) veel vaker onderzocht zijn. Hoe meer onderzoeken bijdragen aan de gemiddelde effectgrootte, hoe zekerder je kunt zijn van die effectgrootte. in goede meta-analyses gaat men na in hoeverre de variatie storend is voor de interpretatie (homogeniteitsanalyses), maar zo’n analyses is ook gevoelig voor het aantal onderzoeken in de formule.

2. Definities van benaderingen van schrijfonderwijs zijn meta-analyses lang niet altijd duidelijk, of specifiek. De onderzoeksrapportages geven mondjesmaat informatie over de precieze inhoud en vorm van effectieve schrijfprogramma’s. Om hier een beter beeld van te krijgen, moeten geïnteresseerde lezers de oorspronkelijke interventie-onderzoeken raadplegen waarop de meta-analyses gebaseerd zijn. Meta-analisten creëren vaak brede categorieën (‘strategieonderwijs’), die weliswaar allemaal gemeen hebben dat zij bijvoorbeeld over strategieën gaan, maar toch een tamelijk heterogeen gezelschap vormen. Ze variëren in didactische benadering, tekstgenres, duur van de interventie, leerjaar. Op zich is die variatie geen hindernis, het vergroot de generalisatie van het instructieprincipe: het principe (onderwijs strategieën) blijkt dan in verschillende contexten effectief. Anderzijds: door de variatie is het niet meer zo duidelijk vast te stellen of het de inhoud van het onderwijs is (‘leerstof: strategieën’) en/of de didactische aanpak.    

3. Lastig is dat verschillende didactische benaderingen elkaar vaak niet uitsluiten. Strategieonderwijs bestaat uit een aantal onderwijsleerfasen, zoals directe instructie, doelen stellen, observerend leren, samenwerkend leren en oefening met allerlei vormen van feedback. Dat maakt het moeilijk om vast te stellen wat nu precies de effectieve ingrediënten van schrijfonderwijs zijn.

4. Verreweg het meeste onderzoek naar effectief schrijfonderwijs is verricht in de Verenigde Staten. Dit roept de vraag op hoe generaliseerbaar de resultaten ervan zijn naar het Nederlandse (basis)onderwijs. Zoals Graham en Rijlaarsdam (2016) vaststelden, verschillen de inhoud en vorm van het schrijfonderwijs van land tot land, en verschillen de definities van genres van land tot land. Er zijn soms grote culturele verschillen ten aanzien van het waarom, hoe en wat van schrijven en schrijfonderwijs, verschillen die in meta-analyses meestal buiten beschouwing blijven.

Literatuur

Hillocks, G. (1984). What works in teaching composition: A meta-analysis of experimental treatment studies. American Journal of Education, 93(1), 133-170.

Hillocks, G. (1986). Research on written composition: New directions for teaching. National Council of Teachers of English, Urbana, IL 61801.

Graham, S., Harris, K. R., & Chambers, A. B. (2016). Evidence-based practice and writing instruction. In C. A. MacArthur, S. Graham, & J. Fitzgerald (Eds.), Handbook of Writing Research. Second edition (pp. 211-226). Guilford Publications.

Graham, S., & Rijlaarsdam, G. (2016). Writing education around the globe: Introduction and call for a new global analysis. Reading and Writing. doi 10.1007/s11145-016-9640-1

Schunk, D. H., & Swartz, C. W. (1993). Goals and progress feedback: Effects on self-efficacy and writing achievement. Contemporary Educational Psychology, 18(3), 337-354.

Delen: