Onderzoek voor een aio verklaard

kees de glopper onderzoek voor een aio verklaard 1 inleiding in dit nummer van spiegel geeft daniel janssen een bespreking van mijn proefschrift ik kan het niet laten daar op te reageren niet omdat zijn bespreking kritisch is maar omdat deze vol staat met onbewezen stellingen halve waarheden en hele on waarheden de bespreking van janssen geeft niet alleen blijk van onwil ook onbegrip is hem niet vreemd vandaar de titel van deze reactie ik beperk me in het onder staande tot de belangrijkste punten van janssens kritiek en volg daarbij de paragraaf indeling van zijn recensie 2 schrijfvaardigheid gedefinieerd in vrijwel ieder onderzoek naar schrijfvaardigheid dat aan de sco wordt uitgevoerd worden de centrale vaardigheidsbegrippen opnieuw omschreven stelt janssen hij verzuimt helaas om deze boude bewering te staven zou hij zich daar echter aan wagen dan zou blijken dat de definitie van schrijfvaardigheid die ik mijn dissertatie geef aan een persoon p wordt toegekend een samenstel van onderliggende eigenschappen e die te zamen een schrijfvaardigheid sv constitueren die p in staat stelt om in een bepaalde levensperiode l in een bepaalde taal tl in schrijfsituaties van het type s bepaalde teksten t te produceren die gemeten langs bepaalde wegen w en aan bepaalde criteria c gelden als prestaties van een bepaalde hoogte moeiteloos te verenigen valt met het werk van collega onderzoekers b v rijlaarsdam 1986 van den bergh 1989 ook janssen blijkt geen andere of betere definitie van schrijfvaardigheid te kunnen bieden hij toont bovendien niet aan dat de gebruikte begripstermen overbodig zijn dat zal ik hieronder aannemelijk proberen te maken op twee punten maakt janssen bezwaar tegen de gepresenteerde definitie en haar toelichting in aanvulling op de door mij gepostuleerde onderliggende vermogens denken formuleren en coderen stelt janssen voor om ook herlezen en herzien als deelvaardigheden te bestempelen een klein probleem aan janssens voorstel is dat hij de termen deelvaardigheid en onderliggend vermogen verhaspelt belangrijker is dat hij activiteiten of processen met vaardigheden of vermogens verwart reviewing de term van flower hayes waarnaar janssen met herlezen en herzien verwijst duidt op het lezen evalueren en herzien van eerder geproduceerde tekst de herzie ningen in een tekst kunnen op de inhoud de formulering en de schrijfconventies betrekking hebben uit het voorstel van janssen maak ik op dat hij gelooft dat er aan herzien en herlezen van een tekstversie andere vermogens ten grondslag dan aan de produktie van diezelfde tekstversie ik ken geen onderzoek waaruit dat blijkt en uit 85 spiegel 7 1989 nr 3 85 91 spaarzaamheid heb ik daarom geen extra vermogens gepostuleerd janssen kent zulk onderzoek blijkbaar wel jammer dat hij het niet noemt het tweede punt waartegen janssen zich verzet is mijn keuze voor de kwaliteit van de tekst als maat voor schrijfvaardigheid hij vindt deze keuze twijfelachtig om welke uitspraken gaat het ik stel in mijn begripsanalyse dat het vanzelfsprekend lijkt om uitspraken over schrijfvaardigheid te baseren op teksten maar maak daarbij de kanttekening dat men zich ook zou kunnen beroepen op andere informatiebronnen en noem schrijfprocessen als voorbeeld naast lezersreacties overigens ik stel dat onderzoek aan het licht gebracht heeft dat er verschillen bestaan tussen de mentale handelingen of cognitieve processen van goede en slechte en ervaren en onervaren schrijvers hiermee zouden zo stel ik vervolgens uitspraken over schrijfvaardigheid ook op eigenschappen van schrijfprocessen gebaseerd kunnen worden dan geef ik de argumenten die daartegen pleiten de lezer merke op dat janssen slechts een van mijn argumenten bespreekt moedwil of misverstand wat zijn mijn argumenten 1 teksten zijn gemakkelijk toegankelijk en naar hun aard blijvend van karakter schrijfprocessen zijn alleen indirect en dan nog moeilijk toegankelijk en zij kunnen alleen in een afgeleide vorm vastgelegd worden 2 over schrijfprocessen is niet zoveel bekend dat voorspeld kan worden uit welke processen kwaliteitsprodukten voortkomen onderzoek zal moeten uitwijzen in welke mate zulke voorspellingen mogelijk zijn vooralsnog zal de vaardigheid moeten blijken uit het produkt wat is het standpunt van janssen hij vermoedt weet het niet zeker het zij hem vergeven dat het schrijfprocesonderzoek van flower hayes en bereiter scarda malia veel meer aanknopingspunten biedt dan ik mijn lezers wil doen geloven wat zeggen zulke onderzoekers zelf over deze kwestie scardamalia bereiter 1987 geven in hun recente overzichtswerk aan dat er geen eenduidige relatie is tussen de aard van schrijfprocessen en de kwaliteit van schrijfprodukten very good writing can arise from knowledge telling o c 29 voor wie het niet weet knowledge telling staat voor het type schrijfproces waarin de schrijver weinig bewuste strategische controle over zijn schrijfproces uitoefent de tegenpool van knowledge telling duiden s b aan als staat knowledge transforming voor alle duidelijkheid er zijn meer plaatsen waarin s b de relatie tussen proces en goed schrijven relativeren nog een dan voor janssen we propose that there are two basicallly different models of composing that people may follow it is possible to write well or poorly following either model o c 5 nog een kleinigheid naar aanleiding van janssens commentaar op de begripsanalyse hij vindt de beoordelingscriteria een term die hij liever door het ongebruikelijke beoordelingsdomeinen zou willen vervangen weinig operationeel dat hindert niet voor een begripsanalyse dunkt me operationalisme moet daarjuist vermeden worden ernstiger lijkt zijn bezwaar dat de beoordelingscriteria niet altijd duidelijk zijn bij wijze van voorbeeld verwijst hij naar een passage waarin de beoordelingscriteria in algemene zin toegelicht worden op andere plaatsen in de dissertatie en in andere rapporten is heel wat meer over de gebruikte criteria te vinden ik zal overigens de laatste zijn om te ontkennen dat de duidelijkheid van de criteria betrekkelijk is het is ook niet voor niets dat er in het overgrote deel van het onderzoek naar schrijf vaardigheid met menselijke beoordelaars wordt gewerkt in plaats van met telmachines 86 misschien wil janssen een beperking tot objectieve toetsen of tot objectief telbare tekstkenmerken 3 schrijfonderwijs in kaart gebracht op het onderzoek naar de inhoud van het schrijfonderwijs heeft janssen niet heel veel aan te merken toch stelt hij een paar zaken die ik niet onopgemerkt voorbij wil laten gaan janssen weet niet hoe de vragenlijst voor het meten van het onderwijs aanbod er uit gezien heeft de glopper verwijst hiervoor naar een interne publikatie van s c o die ik en vermoedelijk vele lezers met mij niet voor handen heb jans sen 1989 p 78 niet alleen ontbreekt hier een lidwoord de mededeling is onjuist en suggestief de vragenlijst waarop janssen doelt is in extenso afgedrukt in het opstelonderwijs damhuis e a 1983 een rapport dat door de sco in 1983 is uit gegeven niks intern dus en dat zijn weg naar honderden lezen inmiddels heeft gevonden niet naar janssen maar het is onlangs opnieuw herdrukt hij kan het dus bestellen ten tweede janssen vermag niet in te zien hoe brieven van leerlingen een enigs zins betrouwbaar en valide beeld van de algemene schrijfkennis van leerlingen kunnen geven om wat voor soort brieven gaat het en waar zijn zij voor bedoeld bij leerlingen uit het derde leerjaar van het voortgezet onderwijs zijn schrijf adviezen verzameld aanwijzingen voor het schrijven van opstellen de schrijfadviezen zijn aan de leerlingen ontlokt met behulp van de volgende opdracht een vriend in van je die twee jaar jonger is dan jij komt binnenkort bij jou op school hij zij heeft je gevraagd uit te leggen hoe je een opstel moet schrijven dat van de leerkrachten van jouw school een goede beoordeling zal krijgen schrijf aan hem haar een vriendelijke briefen geef daarin minstens 5 duidelijke aanwijzingen die de kans op een goed cijfer verhogen het instrument is gebruikt om de kennis van leerlingen over schrijven te achterhalen ieder schrijfadvies zo veronderstelde ik representeert kennis over het schrijven van opstellen die kennis is op te vatten als door de leerlingen verworven leerstof of als de feitelijke realisatie van doelstellingen de schrijfadviezen van leerlingen maken duidelijk wat leerlingen over schrijven geleerd hebben de schrijfadviezen werpen daarnaast tevens licht op de wijze waarop leerlingen de evaluatie praktijk van hun docenten ervaren de gebruikte meetmethode heeft het voordeel van een zekere indirectheid er kleven ook nadelen aan zoals ik in mijn dissertatie zelf opmerk zo is het niet zeker dat alle leerlingen in staat zijn om in hun briefjes die adviezen te formuleren waarvan zij menen dat zij de kans op een goed cijfer verhogen de leerlingen moeten de adviezen immers zelf onder woorden brengen over dit geuite bezwaar kunnen verschillende dingen gezegd worden allereerst dat 93 van de leerlingen in staat bleek teksten te schrijven die in de ogen van beoorde laars aan de gestelde opdracht voldeden de briefjes bevatten inderdaad schrijfad viezen het gemiddelde aantal adviezen dat leerlingen verstrekten bleek 7 5 te bedra gen waaruit valt af te leiden dat het formuleren van minstens 5 adviezen over het 87 algemeen niet te moeilijk was verder werd een grote varieteit aan adviezen verstrekt vervolgens bleek er een zekere overeenkomst te bestaan tussen de adviezen van leerlingen die uit eenzelfde klas afkomstig waren bij een variantie analyse met klas als onafhankelijke variabele beliep eta kwadraat waarden van 20 tot 22 schoonen de glopper 1986 en als laatste gegeven bij verdere analyse van de gevens bleek er een onmiskenbare relatie te bestaan tussen de schrijfvaardigheid van de leerlingen en de door hen gegeven adviezen schoonen de glopper 1988 betere schrijvers geven relatief meer adviezen over de opbouw en de stijl van teksten slechtere schrijvers benadrukken in hun adviezen het belang van schrijftechnische conventies en gramma tica enigszins betrouwbaar en valide lijken de briefjes mij derhalve wel genoemd te mogen worden 4 de beoordeling van schrijfprestaties janssen beschrijft hoe ik er toe gekomen ben om per schrijfopdracht een totaal oordeel te vormen door optelling van de oordelen over algemene kwaliteit inhoud organisatie en stijl hij stelt dat ik over de gevolgen van deze beslissing voor de inhoudsvaliditeit van de peiling geen nadere uitspraken doe dat is op zijn minst curieus te noemen ik wijd een hele paragraaf aan de bedreigingen van de validiteit die uit het optellen zouden kunnen voortkomen deze paragraaf waarin ik uitvoerig inga op de betekenis van de opgetelde scores en concludeer dat er geen aanwijzingen zijn dat de totaal oordelen overmatig door oppervlakkige kenmerken bepaald worden heeft janssen blijkbaar niet gelezen of niet begrepen misschien doelt hij met de inhouds validiteit van de peiling op de mate waarin het meetinstrument aansluit bij de inhoud van het onderwijs op de curriculumvaliditeit ook in dat geval lijkt er weinig mis te zijn docenten beoordelen de opstellen van hun leerlingen immers bijna altijd globaal misschien moet janssen eens de moeite nemen om uit te leggen wat hij onder validiteit en onder psychometrie verstaat zonder toelichting kan ik zijn kritiek niet op waarde schatten 5 de schrijfprestaties in het derde leerjaar daniel janssen heeft 25 minuten nodig om zich in de volgende schrijfsituatie in te leven voor de zomervakantie zoeken wij voor onze vestigingen in verschillende provincies jongeren die willen werken op onze magazijnafdeling inpakafdeling verzendafdeling service afdeling jongeren vanaf 14 d 15 jaar komen in aanmerking voor een sollicitatiegesprek belang 88 stellenden moeten minstens 4 volledige weken beschikbaar zijn tussen 15 juni en 31 augustus 1984 schriftelijke reacties met vermelding van geboortedatum woonplaats de beschikbare periode en de afdeling van je voorkeur richten aan postorderbedrijf postkoop centrale personeelsafdeling dennenweg 100 2500 lh utrecht in de krant zag je deze advertentie staan voor een van de aangeboden baantjes zou je wel in aanmerking willen komen schrijf een briefje waarin je vraagt om een sollicitatiegesprek let op geen uitgebreide sollicitatiebrief maar een briefje waarin je de in de adver tentie gevraagde informatie verstrekt hij staat daarin alleen vrees ik bij de peiling is door middel van logboeken informa tie verzameld over de wijze waarop het onderzoek is uitgevoerd ik ben zelf in verschillende klassen aanwezig geweest uit niets is gebleken dat leerlingen tijd te kort zijn gekomen bij het schrijven van deze opdracht ook in andere peilingsstudies blijkt daarvan niets deze onderzoeken worden zo opgezet dat normale schrijvers voldoende tijd hebben natuurlijk zijn er verschillen tussen schrijftaken die in een onderzoekssituatie afgenomen worden en schrijftaken die na of buiten de school verricht moeten worden waar het om gaat is de vraag of de verschillen wezenlijk zijn dusdanig dat bij het schrijven in de niet onderzoekssituatie heel andere schrijfkennis en schrijfvaardig heden in het geding zijn ik heb het met opzet niet over verschillen in motivatie beloning of wat dies meer zij wie het probleem stelt zoals janssen voegt niets aan de discussie toe en stelt zich in feite op het standpunt dat het meten of toetsen van schrijfvaardigheid in gestandaardiseerde situaties onmogelijk is want irreeel hoe zou janssen onderzoek doen naar schrijfprocessen van beleidsontwikkelaars normen van beoordelaars verschillen sterk ik heb dat overigens bepaald niet als eerste geconstateerd dat de normen ook zo sterk varieren als het gaat om iets als het gewenste prestatieniveau aan het einde van de basisvorming viel misschien wel te verwachten toch kan het geen kwaad dit op te merken we weten straks wat de normen van individuele docenten waard zijn als zij zelf in staat worden gesteld om in het kader van de basisvorming de schrijfprestaties van hun leerlingen te beoordelen voor janssen is niet alleen de individuele norm van weinig waarde ook het gemiddel de is voor hem weinig betekenisvol dat ben ik tot op zekere hoogte met hem eens inderdaad het is maar een gemiddelde van zeer feilbare meningen maar meer hebben we niet en met minder dan dat weinige met het individuele oordeel in plaats van met het gemiddelde wordt er in het onderwijs toch maar mooi dag in dag uit gewerkt in 89 de lessen nederlands en bij de eindexamens en straks ook bij de basisvorming welke waarde hecht janssen daaraan 6 relaties tussen schrijfprestaties onderwijs en achtergronden als het gaat om onderwijsaanbodvariabelen en achtergrondvariabelen rapporteert de glopper geen meetfouten hij rapporteert ze niet en hoewel hij het belang ervan onderkent verdisconteert hij ze niet in zijn analyses van de samenhangen tussen schrijfprestaties onderwijs en achtergronden janssen klaagt en tast in het duister de oplossing is eenvoudig en technisch niet zo hoogstaand dat zij janssen had moeten ontgaan wie meetfouten wil rapporteren zal minstens twee keer moeten meten achtergrondvariabelen en onderwijsaanbod zijn door mij eenmalig gemeten met behulp van schriftelijke vragenlijsten vandaar natuurlijk kan en moet het beter ik pleit daar zelf voor in mijn dissertatie en in een van de bijgeleverde stellingen volgens janssen een open deur kan hij gezegend met deze wijsheid verklaren waarom de kwaliteit van aanbodmetingen in het algemeen zo stiefmoederlijk behandeld werd en wordt aan mijn pleidooi is overigens recent gehoor gegeven en de programmagroep taalonderwijs van de sco gaat in samenwerking met het rion een uitvoerig onder zoek naar de kwaliteit betrouwbaarheid en validiteit van onderwijsaanbodmetingen 7 discussie op meetfouten en validiteit komt janssen in zijn slotbeschouwing terug daar wil ik na het bovenstaande niets meer aan toevoegen naar janssens mening heb ik slechts enkele aspecten van schrijfonderwijs en schrijfvaardigheid in kaart gebracht en dit dan nog op discutabele wijze jammer dat hij niet duidelijk kan maken hoe het beter zou kunnen schrijfprocessen op grote schaal meten zou dat helpen met janssen lof voor de technische kwaliteit van mijn werk kan ik dat zal de lezer begrijpen niet erg blij zijn die krijg ik liever toegezwaaid van critici die op dit punt meer terzake kundig zijn redeneren kan ik van hem helaas ook niet leren een voorlaatste punt janssens opvattingen over de informatie die een proefschrift dient te bevatten doen het ergste vrezen voor wat ons bij verschijning van zijn dissertatie te wachten staat volledigheid is echter niet het criterium waar het bij het beoordelen van onderzoek om hoort te gaan repliceerbaarheid wel al is dat een moeilijk realiseerbaar ideaal omwille van die repliceerbaarheid zijn de instrumenten en procedures van het schrijfvaardigheidsonderzoek uitvoerig gedocumenteerd de glopper 1986 tenslotte breekt janssen de staf over doel en publiek van mijn dissertatie de beschouwingen die hij hierover ten beste geeft laat ik liever onbesproken een puntje nog om mijn reactie af te ronden mijn onderzoek is voor 100 beschrijvend van aard stelt janssen en behoort daarmee tot het soort dat onlangs door een professor is gehekeld het gaat er mij hier niet om of mijn onderzoek met recht strikt beschrij vend genoemd wordt dat zal me hier en nu een zorg zijn waar het om gaat is dit sinds wanneer is beschrijvend onderzoek not done in de wetenschap misschien moet 90 daniel janssen ook eens wat anders lezen dan de krant wanneer hij proefschriften wil bespreken bibliografie bergh h van den examens geexamineerd een onderzoek naar de validiteit van de examens nederlands voor het lbo en mavo den haag s v o 1989 damhuis r k de glopper h wesdorp het opstelonderwijs stelvaardigheid in het voortgezet onderwijs theorie en praktijk amsterdam s c o 1983 glopper k de onderzoeksdossier project internationale vergelijking van het stelvaardigheidsonderwijs amsterdam s c o 1986 janssen d schrijfonderwijs en schrijfvaardigheid in kaan gebracht spiegel 1989 7 p 75 84 rijlaarsdam g c w effecten van leerlingenrespons op aspecten van stelvaardigheid amsterdam s c o 1986 bereiter c m scardamalia the psychology of written composition hillsdale n j lawrence erlbaum 1987 schoonen r k de glopper schrijfadviezen van en voor leerlingen spiegel 1986 4 7 32 schoonen r k de glopper writing performance and knowledge about writing ongepubliceerd manuscript amsterdam sco 1988 91