Opbrengsten van literatuuronderwijs: een vooronderzoek.

tanja janssen gert rijlaarsdam opbrengsten van literatuuronderwijs een vooronderzoek samenvatting het hier gerapporteerde onderzoek tracht een grondslag te leggen voor een onderzoek naar de opbrengst van literatuuronderwijs via een analyse van learner reports van leerlingen wordt een beeld gegeven van de opbrengst van het literatuuronderwijs van zeven docenten de opbrengst wordt gerelateerd aan de verwachtingen van docenten en aan wat zij aan leerervaringen wensen aan te treffen in leerverslagen van hun leerlingen 1 inleiding wat steken leerlingen op van literatuuronderwijs is het wat docenten verwach ten of valt het hun tegen in welke richting zou volgens docenten het litera tuuronderwijs moeten gaan deze en soortgelijke vragen over het literatuur onderwijs laten zich makkelijker stellen dan beantwoorden toch zijn het vragen die gesteld moeten worden en waarop antwoorden geformuleerd moeten worden zo mogelijk empirisch gefundeerd in een tijdperk waarin de inhoud van het onderwijs meer en meer onderwerp van discussie is waarin men vakonderdelen moet beschermen tegen allerlei nieuw te introduceren vakken en vakonderdelen en waarin tevens steeds meer empirische gegevens een rol spelen in de arena van de belangenstrijd is een poging de waarde van litera tuuronderwijs te bepalen nodig en wenselijk nu is het bepalen van de opbrengst van literatuuronderwijs moeilijk men heeft het al gauw over zulke hoge idealen als het over de doelstellingen van het literatuuronderwijs gaat zelfontplooiing maatschappelijke bewustwording leesplezier literaire competentie dat men elke poging die doelstellingen in meetbare vorm te gieten afdoet als niet valide toch zijn er pogingen gedaan om voor vakken met zachte of meer vormingsgerichte doelstellingen onder wijsleerresultaten te bepalen in aansluiting op eisners 1969 onderscheid tussen educational encounters en instructional objectives en het door de groot geformuleerde beschrijvingsmodel voor leerervaringen 1974 1978 verrichtte van der kamp 1980 een studie naar de leerervaringen van leerlin gen op het vakgebied kunstzinnige vorming hij maakte daarbij gebruik van een vorm van zelfevaluatie leerlingen noteerden hun leerervaringen in zoge naamde learner reports in navolging van van der kamp is in nederland veelvuldig gebruik gemaakt van een of andere vorm van learner reports zie voor een overzicht van kesteren 1989 van der kamp heeft zelf op beschei den schaal het learner report toegepast in het literatuuronderwijs zie hiervoor zijn bijdrage in de moor 1990 ons onderzoek bouwt op deze ervaringen voort spiegel 8 1990 nr 2 29 47 weten wat het literatuuronderwijs opbrengt is een ding weten welke waarde aan die opbrengst gehecht moet worden is een tweede gegevens over het peil van het literatuuronderwijs moeten beoordeeld worden wil men uitspraken kunnen doen over de hoogte van het peil in peilingsonderzoek in nederland heeft men in navolging van bloks 1987 toepassing van het weddenschapsmo del van hofstee 1980 het gerealiseerde peil vergeleken met de verwachtingen die men koestert over het peil en de wensen die men daarover heeft o a de glopper 1988 rijlaarsdam en blok 1988 zwarts et al 1990 een beschrijving ervan in dit tijdschrift rijlaarsdam 1989 feitelijke prestatieniveaus worden zo geplaatst in een zekere maatschappelijke context de prestaties worden gerela teerd aan de waarde die gehecht wordt aan de kennis vaardigheden en attitudes die gepeild zijn op die wijze krijgen feitelijke prestaties een relatieve waarde ring in de ene context zal men hogere eisen stellen aan prestaties of een grotere mate van onvrede ervaren over het prestatieniveau dan in een andere context contexten kunnen varieren qua samenstelling van de referentiegroep maatschappelijke groepering qua geografische ligging naties en tijd verge lijkingen binnen of tussen contexten tussen verschillende perioden in dit artikel doen we verslag van een voorstudie naar de mogelijkheden om de opbrengsten van het literatuuronderwijs in kaart te brengen en deze opbreng sten te interpreteren in een contextueel bepaald referentiekader doelstellingen daarbij waren a het beproeven van het instrument van learner reports in het literatuuron derwijs b een bescheiden studie naar de validiteit van learner reports via een known group validity studie en c een studie naar de mogelijkheid de feitelijke opbrengsten van literatuuron derwijs in te kaderen in een zekere maatschappelijke context ten einde uitspraken te kunnen doen of en in hoeverre de opbrengsten voldoen 2 instrumentatie het learner report is een instrument waarmee men niet zozeer objectief toetsbare kennis of demonstreerbare vaardigheden maar wel rapporteerbare kennis en ervaringen tracht te achterhalen aan leerlingen kan gevraagd worden om onder woorden te brengen wat zij van literatuuronderwijs geleerd hebben de groot 1974 1978 onderscheidde vier domeinen leerervaringen a regels met betrekking tot de wereld ik heb geleerd dat iets altijd zo is of zo moet b uitzonderingen met betrekking tot de wereld ik heb geleerd dat iets niet zo is dat iets anders is dan ik dacht c regels met betrekking tot mijzelf ik heb geleerd dat ik iets altijd het beste zo kan of moet doen d uitzonderingen met betrekking tot mijzelf ik heb geleerd dat het niet waar is dat ik terwijl ik dat eerst wel dacht de objectieve meetmethoden beperken zich over het algemeen tot domein a dit domein bevat kennis die toetsbaar is en vaardigheden die gedemonstreerd kunnen worden de domeinen c en d hebben betrekking op het opdoen van zelfkennis en zelfinzicht leerervaringen die niet objectief toetsbaar zijn maar 30 die wel gerapporteerd kunnen worden het learner report kan op verschillende wijzen aan leerlingen worden af genomen mondeling of schriftelijk individueel of groepsgewijs in een open of in een meer gesloten vorm van kesteren 1989 geeft een overzicht van de verschillende gebruiksmogelijkheden in dit vooronderzoek kozen wij voor schriftelijke aanbieding in een open vorm het instrument zag er als volgt uit 1 een introductie van het doel van het onderzoek 2 een lijst met onderwerpen van literatuuronderwijs om leerlingen aan te geven hoe breed litertuuronderwijs opgevat kan mag worden 3 voorbeelden van leerervaringen verwoord door leerlingen in een ander onderzoek over schrijfonderwijs 4 een toelichting op de vier categorieen leerervaringen 5 twee bladzijden invulruimte per categorie voorafgegaan door een aandui ding van de betekenis van de categorie en een aantal aanloopzinnen zie schema 1 schema 1 voorbeeld van schriftelijk aangeboden aanloopzinnen in het learner report rubriek c van het literatuuronderwijs heb ik geleerd dat ik je kunt dingen geleerd of ontdekt hebben over jezelf over hoe je bent hoe je reageert hoe je het liefst werkt waar je van houdt waar je helemaal niet van houdt aanloopzinnen ik heb geleerd ontdekt gemerkt weet nu dat ik vind dat ik goed slecht ben in dat ik leuk vind een hekel heb aan dat ik het beste zus of zo kan doen aanpakken want omdat toen bijvoorbeeld schrijf hieronder en op het volgende blad zoveel mogelijk teerzinnen op die op jou van toepassing zijn de volgorde van de aanbieding van de vier categorieen leerervaringen a t m d was voor elke leerling gelijk gevolgd werd de volgorde als hierboven beschreven in het instrument werden leerlingen er uitdrukkelijk op gewezen dat er ook in andere categorieen begonnen mocht worden en dat het er niet om ging te toetsen of zij in staat waren een zin in de juiste categorie te plaatsen de instructie luidde zoveel mogelijk leerzinnen op te schrijven de afnamepro cedure werd gestandaardiseerd na een mondelinge toelichting op het doel van het onderzoek volgde een kort gesprek met de leerlingen over wat zij in de 31 literatuurlessen bij nederlands zoal gedaan hadden om zo hun geheugen enigszins op te frissen vervolgens werden de vragenlijsten uitgedeeld en werd een leespauze gegund waarna de proefleider uit het onderzoeksverslag van van der kamp nog twee of drie voorbeelden per categorie van leerzinnen voorlas leerlingen kregen de gelegenheid tot het stellen van vragen ten slotte bena drukte de proefleider nogmaals dat de gegevens anoniem bleven en de docent de uitspraken niet onder ogen zou krijgen dat foute antwoorden niet mogelijk waren en dat leerlingen geenszins bij het begin van de vragenlijst hoefden te beginnen 3 dataverzameling via lerarenopleiders zijn docenten nederlands gezocht die op een uitgesproken wijze literatuuronderwijs geven sterk gericht op literair historische zaken of sterk gericht op tekstbestudering of juist op tekstbeleving en ervaring negen docenten nederlands van acht verschillende scholen waren bereid om met hun leerlingen aan het onderzoek mee te doen de literatuurdidactische aanpakken werden met een kleine aanbodspeiling aan de hand van een schriftelijk vragen lijstje in kaart gebracht de gegevens bevestigden het vermoeden dat de docenten sterk van elkaar verschilden hun literatuuronderricht varieerde qua doelstellingen inhouden gehanteerde werkvormen gebruikte literatuurmethode e d 2 wat zij gemeen hadden was belangstelling voor en ervaring in het geven van literatuurlessen in de bovenbouw van het vwo verwachte opbrengst aan deze negen docenten legden wij het learner report voor met de vraag te voorspellen wat hun leerlingen in zo n leerverslag zouden opschrijven dit konden zowel positief gewaardeerde uitspraken zijn bv ik heb geleerd dat lezen leuk is als negatief gewaardeerde uitspraken bv ik heb geleerd dat je je boekenlijst snel vol krijgt met dunne boekjes een docent retourneerde de vragenlijst oningevuld ideale opbrengst docenten werden vervolgens gevraagd wat voor uitspra ken zij het liefst in de learner reports van hun leerlingen zouden willen aantreffen waarbij we benadrukten dat het niet om de huidige maar om de ideale onderwijssituatie ging ook hierbij moesten de docenten zich in hun leerlingen inleven en zinnetjes als ik heb geleerd dat proberen aan te vullen twee docenten stuurden deze vragenlijst oningevuld retour het zich inleven in leerlingen en het op schrift stellen van verwachtingen en wensen in de vorm van leerzinnen bleek geen sinecure sommige docenten gaven te kennen dat zij het een moeilijke klus vonden gerealiseerde opbrengst het learner report werd voorgelegd aan de leerlin gen van de bij het onderzoek betrokken docenten de leerlingen dienden al enige tijd literatuuronderwijs genoten te hebben leerlingen uit 5 en 6 vwo klassen in totaal vulden 197 leerlingen een leerverslag in de afname ge schiedde onder leiding van een of twee proefleiders hun indruk was dat de meeste leerlingen weinig moeite met de opdracht hadden en er serieus werk van maakten per docent werd uit het totale aantal beschikbare learner reports een steek proef getrokken van 15 reports waarbij ernaar gestreefd werd evenveel jongens als meisjes en evenveel vwo 5 als vwo 6 leerlingen in de steekproef op te 32 nemen van een docent waren slechts 11 leerlingverslagen beschikbaar onze dataverzameling omvatte uiteindelijk de verslagen van zeven docenten over hun verwachtingen in totaal 241 leeruitspraken en wensen 145 uitspra ken en de verslagen van 101 leerlingen van deze docenten 6 x 15 en 1 x 11 leerlingen die in totaal ongeveer 1000 uitspraken produceerden 4 gegevensverwerking voor de analyse van de learner reports is een tweedimensionaal classificatie schema ontwikkeld op basis van het schema van purves 1971 dat al verschil lende malen is uitgeprobeerd met name in een onderzoek naar de inhoud van schoolboeken door aengevaeren e a 1984 en thissen e a 1986 de afzon derlijke leerzinnen in de verslagen vormden de eenheid van analyse figuur 1 classificatieschema gedrag c z inhoud 2 literaire achtergronden 3 niet literaire achtergronden 4 analyse en interpretatie 5 relatie tekst lezer leesgedrag 6 taalgebruiken m b t literatuur 7 taalgebruiken algemeen 8 informatie verwerven 9 literatuurlessen 10 overige inhouden 33 het door ons ontwikkelde schema zie figuur 1 bevat twee dimensies gedrag en inhoud de dimensie gedrag heeft als categorieen 1 reproduktie van kennis 2 beheersing van vaardigheden 3 uiting geven aan een positieve attitude 4 uiting geven aan een negatieve attitude en 5 overig gedrag de dimensie inhoud heeft betrekking op verschillende inhouden die in het litera tuuronderwijs aan bod kunnen komen 1 literaire werken 2 literaire ach tergronden 3 niet iiteraire achtergronden 4 analyse interpretatie 5 de relatie tekst lezer 6 taalgebruiken in verband met literatuur 7 taalgebruiken in het algemeen 8 informatie verwerven 9 de literatuurlessen zelf en 10 overige inhouden dit schema was het produkt van langdurige discussies over leerzin nen en een proces van indikken en samenvoegen van hoofd en subcategorieen bijlage i bevat een toelichting op de gedrags en inhoudscategorieen met enkele voorbeeldzinnen iedere afzonderlijke leerzin in de leerverslagen van de docenten en de leerlingen werd met behulp van dit schema geanalyseerd en van een gedrags en inhoudscode voorzien door een van de twee bij het onderzoek betrokken codeurs3 5 resultaten 5 1 de validiteit van het learner report in verschillende studies waarin gebruik is gemaakt van het learner report zijn vraagtekens geplaatst bij de validiteit van het instrument zie van kesteren 1989 dit proefonderzoek bood de gelegenheid een known group validity studie te verrichten via de beperkte aanbodvragenlijst konden we de bij deze studie betrokken docenten classificeren als meer of minder op literatuurgeschie denis op structuuranalyse en op tekstervaring gericht de wijze waarop we docenten wierven voor deze studie bood een garantie dat de respondenten inderdaad op aanbodsvariabelen van elkaar verschilden voor deze validiteitsstudie stelden we op basis van de gegevens van de aanbodsvragenlijst twee paren docenten samen literair historisch doe 7 versus niet literair historisch docent 3 en tekstervarend docent 2 versus niet tekst ervarend docent 7 als het learner report een valide instrument is zou het de verschillen tussen deze docenten moeten weerspiegelen in ieder geval ten aanzien van de ideale opbrengst maar als de afstand tussen wenselijke en verwachte opbrengst niet al te groot is ook op het niveau van de verwachte opbrengst als in de door de leerlingen geformuleerde leerervaringen sporen van de verschillen in inzichten van docenten terug te vinden zijn dan biedt dit een vrij sterke onderbouwing van de validiteit van het learner report in het domein van het literatuuronderwijs om eventuele verschillen in geclassificeerde leerervaringen tussen de docenten aan het licht te brengen zijn zes loglineaire modeltoetsingen uitge voerd getoetst zijn modellen met daarin docenten twee niveaus en inhoud 9 niveaus of gedrag 4 niveaus getoetst is of de interactietermen docent in houd en docent gedrag ongestraft verwijderd kunnen worden als de over schrijdingskans kleiner of gelijk aan 05 was is de hypothese dat de interac tieterm gelijk aan nul is verworpen bij de dimensie inhoud bleek dit bij vijf van de zes toetsingen het geval 34 het verschil tussen de literair historisch georienteerde en de niet literair historisch georienteerde docent openbaarde zich op alle drie de niveaus ideale opbrengst verwachte opbrengst en gerealiseerde opbrengst4 de verschillen tussen de tekstervaringsgerichte en niet tekstervaringsgerichte docent openbaar den zich opvallend genoeg wel op het niveau van de verwachte en gereali seerde opbrengst maar niet op het niveau van de ideale opbrengst5 de dimensie inhoud bleek gevoeliger te zijn voor docentverschillen dan de dimensie gedrag van de zes toetsingen die voor gedrag zijn uitgevoerd bleken slechts twee van de zes verschillen statistisch significant namelijk bij verwachte en gerealiseerde opbrengst bij het docentenpaar tekstervaringsgericht literatuuronderwijs het is mogelijk om te zien op welke inhoudscategorieen de verschillen tussen de twee vergelijkingen literair historisch en tekstervaringsgericht zich voordoen uit het feit dat de interactieterm niet verwijderd kan worden kan opgemaakt worden dat er een verband is tussen de voorkeur van de docent en een of enkele inhoudscategorieen in tabel 1 worden de onder het verzadigde model geschatte interactie parameters weergegeven als de absolute waarde van een standaardscore groter is dan 1 96 mag aangenomen worden dat de desbe treffende cel bijdraagt tot de interactie tabel 1 geschatte gestandaardiseerde interactieparameters onder het verzadig de model voor de positieve docent positief aanhanger van een stroming en categorieen inhoudscategorie 1 2 3 4 5 6 7 8 9 tekstervaringsgericht literatuuronderwijs ideale opbrengst 1 25 02 1 39 031 29 18 18 45 1 13 verwachte opbrengst 1 40 91 1 62 68 60 24 24 24 1 40 gerealiseerde opbrengst 3 65 17 1 55 1 22 1 56 68 2 41 44 68 literatuurhistorisch literatuuronderwijs ideale opbrengst 1 23 06 1 87 40 89 42 79 24 42 verwachte opbrengst 1 56 1 23 1 92 63 08 26 38 62 88 gerealiseerde opbrengst 1 08 1 68 2 17 1 87 17 1 00 1 60 46 1 58 uit tabel 1 is op te maken dat het tekstervaringsonderwijs op retorisch niveau docentidealen en verwachtingen geen statistisch significante verschillen laat zien in de inhouds en gedragscellen tussen de twee docenten daarbij moet in aanmerking genomen worden dat de toetsing is geschied op een vrij klein aantal uitspraken van de twee docenten 40 voor de verwachte opbrengst 33 voor de ideale opbrengst een dergelijk klein aantal veroorzaakt vrij grote stan daardfouten van de parameterschattingen zodat de kans op statistische signifi cantie klein is daarom besteden we in de bespreking van de tabel ook 35 aandacht aan de richting van de verschillen van schattingen die de waarde van 1 96 benaderen bij de gerealiseerde opbrengst zien we twee statistisch significante parameterschattingen categorie 1 en 7 de leerlingen van de tekstervaringsge richte docent melden significant meer leerervaringen op het gebied van literaire werken en significant minder op de categorie taalgebruiken algemeen verder blijkt dat leerlingen van de tekstervaringsgerichte docent minder uitspraken hebben gedaan die vallen onder de categorie niet literaire achtergronden en meer die vallen onder de categorie tekst lezer de verschillen op de catego rieen 1 en 3 werden door de docenten verwacht 1 40 1 62 en gehoopt 1 25 1 39 hoewel de verwachte en ideale schattingen niet statistisch signifi cant zijn levert de grootte en de consistentie een onderbouwing voor de validiteit van de learner reports het tweede deel van de tabel bevat de gegevens voor het paar docenten dat van opvatting verschilt over het belang van een literair historische aanpak in het literatuur onderwijs de opbrengst van het literatuuronderwijs van deze twee docenten verschilt statistisch significant op categorie 3 leerlingen die literair historisch onderwijs volgden meldden meer leerervaringen in de categorie niet literaire achtergronden dit verschil werd verwacht 1 92 en idealiter nage streefd 1 87 door de docenten verder zien we dat leerlingen die literair historisch georienteerd literatuuronderwijs volgden meer uitspraken deden over literaire achtergronden 1 68 en taalgebruiken algemeen en minder over analy se en interpretatie opvallend is dat de verschillen op de categorie literaire achtergronden wel verwacht 1 23 maar idealiter niet nagestreefd werden de verschillen op de categorieen analyse interpretatie en taalgebruiken algemeen werden verwacht noch nagestreefd onder ideale omstandigheden de docenteffecten zijn niet beperkt tot de docenten die opgenomen zijn in deze known group validity studie getoetst is of voor de gerealiseerde opbrengst de leerlingenuitspraken de interactieterm verwijderd kon worden gebleken is dat in het verzadigde model voor inhoud noch voor gedrag de in teractieterm verwijderd kon worden de chikwadraatwaarde is 100 87 df 54 p 0001 resp 49 79 df 24 p 0015 er zijn dus stellig docenteffecten op wat leerlingen naar eigen zeggen opsteken van literatuuronderwijs 5 2 de opbrengst van literatuuronderwijs in kaart gebracht en gewaar deerd wat is de opbrengst van literatuuronderwijs en hoe moeten we de opbrengst waarderen in deze paragraaf willen we de resultaten van een beperkte proef peiling presenteren en de resultaten interpreteren in een intra contextueel model voor de presentatie van de gegevens abstraheren we van het individuele docentniveau daartoe zijn de scores van docenten geaggregeerd tot docent scores in de tabellen 2 en 3 worden de gegevens gepresenteerd deze tabellen bevatten de gemiddelde percentages deze gemiddelden geven per rij gezien de verhoudingen weer tussen de verschillende inhouds en gedragscategorieen de standaarddeviaties bij deze gemiddelden drukken uit in welke mate de groep docenten in de kolommen ideale en verwachte opbrengst en de groep leerlin gen in de kolom gerealiseerde opbrengst homogene groepen zijn 36 tabel 2 gerealiseerde ideale en verwachte verhoudingen in het literatuurcurri culum van zeven docenten gemiddelden en standaarddeviaties inhouden gerealiseerde ideale verwachte opbrengst opbrengst opbrengst 1 literaire werken 28 19 17 49 19 11 7 79 17 10 13 80 2 literaire achtergronden 17 99 12 36 9 25 4 05 6 86 9 55 3 niet literaire achtergronden 3 83 16 41 7 66 2 60 17 54 14 14 4 analyse en interpretatie 10 87 13 85 12 27 4 69 11 50 10 73 5 relatie tekst lezer leesgedrag 9 03 23 46 21 54 1 61 13 33 11 37 6 taalgebruiken m b t literatuur 8 78 2 42 1 79 2 49 3 13 3 70 7 taalgebruiken algemeen 8 33 4 38 84 4 69 4 82 2 30 8 informatie verwerven 1 23 2 41 2 45 1 00 3 12 4 74 9 literatuurlessen 7 57 3 75 10 07 2 22 7 53 9 72 10 overige inhouden 4 19 3 48 15 02 1 39 5 94 14 26 tabel 3 gerealiseerde ideale en verwachte verhoudingen in het literatuurcurri culum van zeven docenten gemiddelden en standaarddeviaties vaardigheden gerealiseerde ideale verwachte opbrengst opbrengst opbrengst 1 kennis 32 53 75 83 37 95 6 35 18 90 28 71 2 vaardigheid 12 14 9 84 10 55 5 00 11 58 12 13 3 positieve attitude 27 69 12 62 9 69 5 77 10 75 12 61 4 negatieve attitude 20 28 1 71 39 04 4 97 2 64 37 06 5 overig 735 0 00 2 78 1 30 0 00 5 08 kijken we naar de eerste kolom in tabel 2 dan zien we dat het zwaartepunt van de opbrengst in de ogen van leerlingen ligt bij categorie 1 literaire werken en bij categorie 2 literaire achtergronden deze twee categorieen bevatten samen 46 van de leerlinguitspraken opvallend weinig nadruk leggen de leerlingen bij categorie 3 niet literaire achtergronden en categorie 8 informatie verwerven in de categorieen 4 5 6 en 7 valt gemiddeld ongeveer 10 van de uitspraken in gedrag uitgedrukt is de opbrengst van het literatuuronderwijs als volgt tabel 3 een derde van de leerlinguitspraken heeft betrekking op kennis ruim 37 een kwart bevat een positieve evaluatie een vijfde deel bevat een negatieve evaluatie en een achtste betreft uitspraken over vaardigheden hoe moeten we deze resultaten interpreteren valt het mee of valt de opbrengst tegen of enerzijds mee en anderzijds tegen als interpretatiekader voor deze gegevens kiezen we voor een intra contextueel evaluatiemodel de opvattingen van de betrokken leraren over de verwachte opbrengst dit evalua tiemodel is in nederland eerder toegepast zie inleiding met dit verschil dat het niet is toegepast in het kader van literatuuronderwijs en niet met de eigen docenten van leerlingen als referentiekader in de tabellen 2 en 3 zijn ook de gemiddelde percentages gepresenteerd van de docenten op wat wij noemen de verwachte opbrengst en de ideale op brengst als we naar de verwachte opbrengst kijken zien we twee accenten een vijfde van de uitspraken waren inhoudelijk te classificeren in categorie 1 literaire werken en nog eens een vijfde kwam terecht in categorie 5 tekst lezer vergeleken met de gerealiseerde opbrengst zijn er duidelijk verschuivin gen in accenten aan te wijzen docenten zien de categorieen taalgebruiken 6 en 7 blijkbaar geheel over het hoofd terwijl heel wat leerlingen aangeven via literatuuronderwijs iets geleerd te hebben over het gebruiken van taal leraren leggen een minder zwaar accent op literaire werken en literaire achtergronden dan leerlingen en verwachten meer accent dan leerlingen op leerervaringen in de categorie tekst lezer bij gedrag zijn de omkeringen tussen positieve en negatieve evaluaties opvallend docenten verwachten veel minder uitingen die getuigen van een positieve attitude dan er werkelijk gerapporteerd worden maar overschatten daarentegen de uitingen van negatieve attituden door de docentgegevens over de ideale opbrengst bij de interpretatie te betrekken kunnen we nagaan of en in welke mate deze trends te verbinden zijn aan een ideaal curriculum wat de inhoud betreft tabel 2 zien we dat docenten het liefst meer leerervaringen zouden aantreffen in de categorie niet literaire achtergronden er is nu niet meer zozeer sprake van twee accenten tekst lezer en literaire werken maar literaire en niet literaire achtergronden alsmede analyse interpretatie maken tezamen duidelijk deel uit van het ideale curriculum zoals docenten dat wensen opgemerkt moet worden dat de docenten het gezien de standaarddeviatie sterker met elkaar eens zijn als het gaat om het schatten van de verwachte opbrengst dan van de wenselijke opbrengst wat het gewenste gedrag betreft tabel 3 leggen de docenten een zwaar accent op leerervaringen in de categorie kennis inzicht ongeveer driekwart van de docentuitspraken is in deze categorie onder te brengen de verwachte opbrengst en de gerealiseerde opbrengst blijven hierbij ver achter valt het peil nu tegen we hebben een paar tendensen gezien die daarop duiden leerlingen rapporteren veel minder leerervaringen in de categorie tekst lezer dan docenten zouden willen anderzijds rapporteren leerlingen meer leerervaringen m b t literaire achtergronden dan docenten verwachten en onder ideale omstandigheden zouden verwachten de opbrengst op het gebied van houdingen zijn veel positiever dan docenten zelfs onder ideale omstandigheden durven te hopen het blijft echter moeilijk om deze tendensen qua sterkte met elkaar te vergelijken kleine verschillen tussen twee typen opbrengsten kunnen ernstig zijn als de spreiding van de scores waarover het gemiddelde berekend 38 is klein is kleine verschillen worden dan sterk ervaren door de verschillen tussen de scores op verschillende categorieen uit te drukken in standaardscores het verschil tussen de scores gedeeld door de gemiddelde standaardafwijking zijn de verschillen rechtstreeks met elkaar vergelijkbaar in figuur 2 zijn deze discrepanties geordend bijeengebracht en uitgedrukt in effectgrootte hoe groter het lijnstuk hoe sterker het verschil figuur 2 het curriculim literatuuronderwijs ideale verwachte en feitelijke opbrengst literaire werken vaardigheid informatie verwerven literatuurlessen negatieve attitude lit achtergronden taalgebruiken alg taalgebruiken lit positieve attitude niet lit ach tergrond analyse interpret tekst lezer leesgedr kennis en inzicht i discrepantie f v discrepantie f l nullijn f feitelijke opbrengst v verwachte opbrengst i ideale opbrengst er zijn vier clusters van interpreteerbare uitkomsten te onderscheiden 1 ideale opbrengst verwachte opbrengst gerealiseerde opbrengst docenten verwachten meer uitspraken aan te treffen in deze categorieen dan zij wenselijk vinden in de praktijk blijken leerlingen echter nog meer geleerd te hebben in deze categorieen dan docenten verwachten deze uitkomst valt docenten dan tegen docenten zouden liever veel minder uitspraken zien in de categorie literaire werken en vaardigheid 2 ideale opbrengst verwachte opbrengst en gerealiseerde verwachte opbrengst docenten verwachten meer uitspraken aan te treffen in deze categorieen dan zij wenselijk vinden in de praktijk blijken leerlingen minder uitspraken te doen in deze categorieen dan men verwachtte het verschil tussen de ideale en de verwachte opbrengst voor informatie 39 verwerven is verwaarloosbaar docenten zouden graag willen dat er meer leerervaringen op dit gebied opgedaan zouden worden voor de categorieen literatuur lessen en negatieve attitude geldt dat de praktijk dichter bij het ideaal ligt dan men verwachtte de onvrede die men op deze categorieen ervaart berust voor ongeveer de helft op een misschatting van de praktijk het beeld dat docenten hebben van hun praktijk is ten onrechte te negatief 3 verwachte opbrengst gerealiseerde opbrengst ideale opbrengst docenten verwachten minder uitspraken dan ze zouden wensen in de praktijk blijken leerlingen echter nog meer uitspraken te doen dan men wenste durfde te wensen de praktijk op deze categorieen valt docenten dus mee hun beeld van de praktijk is te pessimistisch dit geldt de categorieen literaire achtergron den taalgebruiken literatuur taalgebruiken algemeen positieve attitude de discrepantie tussen de ideale opbrengst en de gerealiseerde opbrengst is in alle gevallen groter dan die tussen de verwachte opbrengst en de ideale opbrengst de vraag is dan ook in hoeverre de praktijk het ideaal niet voorbij streeft 4 gerealiseerde opbrengst verwachte opbrengst ideale opbrengst docenten verwachten minder uitspraken van leerlingen dan zij wensen in de praktijk blijken leerlingen nog minder uitspraken te doen dan men verwacht het beeld van de praktijk was te positief dit tegenvallende resultaat treft de categorieen niet literaire achtergronden analyse interpretatie tekst lezer en kennis inzicht bij niet literaire achtergronden en kennis inzicht is de afstand tussen verwachting en ideaal zeer groot de onvrede die men ervaart blijkt reeel de gerealiseerde opbrengst komt redelijk overeen met de verwachte opbrengst voor analyse interpretatie en tekst lezer geldt dat verwachting en ideaal dicht bij elkaar liggen men ervaart weinig onvrede gezien de gerealis eerde opbrengst is dit ten onrechte 6 bespreking in dit vooronderzoek ging het erom een instrumentarium te beproeven waarmee de opbrengst van literatuuronderwijs in kaart kan worden gebracht en kan worden gewaardeerd concluderend menen we in de voorgaande analyse enige empirische evidentie aangedragen te hebben voor de validiteit van het learner report in het kader van de evaluatie van literatuuronderwijs de verschillen tussen de docenten op de niveaus van idealen percepties van de opbrengst en realisaties van het literatuuronderwijs blijken zodanig dat de interactieterm docent inhoud niet uit het beschrijvingsmodel verwijderd kan worden een nadere inspectie van de categorieen die verantwoordelijk zijn voor het verschil tussen de docenten geeft op het niveau van de gerealiseerde opbrengst aan dat de verschillen in inhoudelijk te begrijpen richtingen gaan bij tekstervaringson derwijs ligt de nadruk meer op literaire werken en de relatie tekst lezer in literair historisch onderwijs wordt de literaire en niet literaire achtergrond 40 benadrukt daarnaast lijkt het mogelijk de gegevens over de opbrengst van het litera tuuronderwijs te relateren aan een referentiekader gevormd door uitspraken van de betrokken docenten over de gewenste en de verwachte opbrengst uit deze inhoudelijke analyse konden enkele trends opgemaakt worden in de eerste plaats bleken docenten op sommige punten te pessimistisch over de opbrengst van hun literatuuronderwijs zo verwoordden de leerlingen veel vaker een positieve attitude en veel minder vaak een negatieve attitude dan docenten verwachtten ook zeiden leerlingen veel vaker iets opgestoken te hebben over literaire achtergronden dan de docenten zelfs onder ideale omstandigheden konden vermoeden op andere punten waren de docenten juist wat te optimis tisch leerlingen hadden bij voorbeeld minder opgestoken op het gebied van niet literaire achtergronden dan de docenten hadden verwacht en wenselijk vonden de gerealiseerde opbrengst bleef hier duidelijk achter bij de ver wachte en de ideale opbrengst in de tweede plaats laten docenten met betrekking tot het ideale curriculum een gezamenlijke voorkeur zien waarin meer aandacht is voor kennis en inzicht en voor literaire en niet literaire achtergronden en iets minder aandacht voor de literaire werken zelf en voor het ontwikkelen van vaardigheden bv op het gebied van informatieverwerving dan in de huidige situatie vooral wat kennis en inzicht betreft lagen de huidige en de ideale onderwijssituatie ver uit elkaar kennelijk is er sprake van onvrede deze onvrede heeft vooral betrekking op de kennis van en het inzicht in literaire en niet literaire achtergronden en veel minder op de kennis van en het inzicht in tekstanalyse en de relatie tekst lezer het onderzoek waarover wij rapporteerden was vooral exploratief van aard hoe gaan we nu verder allereerst zou het learner report als evaluatie instru ment voor het literatuuronderwijs verder verfijnd moeten worden nader onderzoek naar de betrouwbaarheid is wenselijk zowel wat de codering betreft als het invullen door docenten en leerlingen een stabiliteitsonderzoek behoort hierbij tot de mogelijkheden een bezwaar tegen het kwantificeren van leeruitspraken kan zijn dat kwantificering geen rekening houdt met de breedte of specificiteit van de uitspraak noch met het gewicht dat respondenten aan een uitspraak hechten de kwantitatieve benadering zoals wij die in deze studie hanteerden gaat ervan uit dat het relatieve aantal uitspraken per onderscheiden categorie correleert met het belang dat men hecht aan deze categorie en de kwaliteit van de kennis die men over die categorie heeft verworven het noemen van een onderscheiden doelstellingendomein categorie van leeruitspraken duidt erop dat respondenten hun leerervaringen op een zekere manier verkavelen als er verscheidene uitspraken worden gedaan die binnen een categorie vallen kan men veronderstellen dat dit domein blijkbaar bij de respondent docent of leerling goed ontwikkeld is als een docent leerlingge richt literatuuronderwijs wil geven of geeft zal zij beter in staat zijn specifieke doelstellingen binnen dit domein te formuleren en zullen leerlingen die dit onderwijs kregen specifiekere leereffectzinnen rapporteren in vervolgonderzoek is validiteitsonderzoek naar deze vooronderstelling zinvol verder onderzoek naar de vorm en aanbiedingswijze is evenzeer gewenst in dit onderzoek hebben we alle leerlingen eenzelfde instrument voorgelegd waarin dezelfde volgorde van domeinen van leerervaringen werd gehandhaafd 41 dat kan wellicht vertekeningen veroorzaken leerlingen kunnen hun kruit op het eerste leerervaringendomein verschoten hebben door de volgorde van de domeinen te varieren kan dit effect experimenteel onderzocht worden6 het invullen van een open learner report is moeilijk in het bijzonder voor docenten die zich in hun leerlingen moeten inleven bovendien is het analyse ren van open learner reports arbeidsintensief en dus kostbaar dit maakt het instrument in open vorm minder geschikt voor peilingsonderzoek voor dit doel zou een meer gesloten instrument ontwikkeld moeten worden waarvan de validiteit moet worden vastgesteld bijvoorbeeld door de resultaten verkregen via de gesloten versie s te relateren aan de open vorm van het learner report noten 1 het ministerie van onderwijs vond het bij voorbeeld noodzakelijk het werk van de commissie vernieuwing examens nederlands te doen ondersteunen door een empirisch doelstellingenonderzoek 2 om een indruk te krijgen van het onderwijsaanbod op het gebied van literatuur is gebruik gemaakt van een gesloten vragenlijst die door alle docenten is ingevuld een deel van de vragen was ontleend aan de vragen lijst van thijssen 1985 3 de analyse van de teerzinnen is voor het grootste deel uitgevoerd door milja veis en bieneke verheyke studenten nederlands aan de uva die ook aan de constructie van het classificatieschema en aan de dataverzameling een belangrijke bijdrage hebben geleverd een deel van de leerzinnen werd door deze twee onafhankelijk werkende beoordelaars gecodeerd om een indruk te krijgen van de betrouwbaarheid van de coderingen de overeenstemming was in eerste instantie matig het percentage overeenstemmende classificaties varieerde van ongeveer 40 bij docentuitspraken tot 65 bij leerlinguitspraken vooral docentuitspraken waren vaak voor meer dan een uitleg vatbaar daarom is in voorkomende gevallen aan een uitspraak een dubbele code toegekend 4 de chikwadraatwaarden voor de toetsingen voor de ideale verwachte en gerealiseerde opbrengst waren respectievelijk 18 55 p 03 17 98 p 04 en 19 78 p 02 bij negen vrijheidsgraden 5 de chikwadraatwaarden voor de toetsingen voor de ideale verwachte en gerealiseerde opbrengst waren respectievelijk 13 67 p 13 17 66 p 04 en 29 09 p 00 bij negen vrijheidsgraden 6 een onderzoek naar een dergelijk effect wordt momenteel door de sco vergeer en het ilo rijlaarsdam hupperts uitgevoerd met betrekking tot leerervaringen bij de nieuwe examens klassieke talen bibliografie aengevaeren a w van den bosch en j thissen 1984 evaluatie in het literatuuronderwijs een bewerking van het artikel evaluation of learning in literature van alan c purves 1971 nijmegen katholieke universiteit nijmegen 42 blok h 1987 taal voor alledag feiten en meningen over het taalgebruik van lbo en mavo leerlingen in alledaagse situaties s gravenhage svo eisner e w 1969 instructional objectives and educational encounters in education in j popham ed instructional objectives an analysis of emerging issues chicago glopper k de 1988 schrijven beschreven inhoud opbrengsten en achter gronden van het schrijfonderwijs in de eerste vier leerjaren van het voortge zet onderwijs s gravenhage svo groot a d de 1974 the problem of evaluating national educational systems in h f crombag d n de gruyter eds contemporary issues in educational testing den haag mouton 9 27 groot a d de 1978 wat neemt de leerling mee van onderwijs gedragsre pertoires programma s kennis en vaardigheden in handboek voor de onderwijspraktijk deel 2 ontwerpen van onderwijs 2 3 gro a l 2 3 gro a 24 deventer van loghum slaterus hofstee w k b 1980 de empirische discussie meppel boom kamp m van der 1980 wat neemt de leerling mee van kunstzinnige vor ming s gravenhage staatsuitgeverij svo reeks 29 kesteren b j van 1989 gebruiksmogelijkheden van het learner report tijdschrift voor onderwijsresearch 14 nr 1 13 29 moor w de red 1990 stiefkind en bottleneck de toetsing in het literatuur onderwijs verslagboek 3e conferentie literatuuronderwijs vakgroep algemene kunstwetenschappen k u n nijmegen purves a c 1971 evaluation of learning in literature in b s bloom j t hastings g f meads eds handbook on formative and summative evalua tion of student learning new york 697 767 rijlaarsdam g 1989 eindtermen nederlands en onderzoek spiegel 7 nr 2 65 73 rijlaarsdam g h blok 1988 de taalvaardigheid van pabo studenten prestaties tegenover verwachtingen en idealen onze taal 57 178 181 thijssen m j w 1985 het literatuuronderwijs duits aan reguliere dagscholen voor havo en vwo de praktijk in 1980 en voorstellen voor de praktijk nijmegen diss thissen j l van gastel j laarhoven et al 1986 purves 1971 revisited de beoordeling van een aantal schoolboeken voor het literatuuronderwijs nederlands op grond van een analyse van de daarin gegeven opdrachten nijmegen katholieke universiteit nijmegen zwarts m et al 1990 balans van het taalonderwijs aan het einde van de basisschool uitkomsten van de eerste taaipeiling einde basisonderwijs arnhem cito ppon reeks nr 2 43 bijlage i toelichting op de categorieen in het classificatieschema gedrag 1 kennis het gaat hierbij niet alleen om het reproduceren van feitenkennis maar ook om het tonen van kennis over de wereld en inzicht in complexe verschijnselen en structuren voorbeelden ik heb geleerd hoe mensen vroeger dachten over literatuur ik weet nu wat literatuur ongeveer inhoudt 2 vaardigheid hiertoe behoren leerzinnen waarin de leerling aangeeft een bepaalde vaardig heid te beheersen voorbeelden ik heb gemerkt dat ik een verhaal kan analyseren ik heb geleerd dat ik een gedicht kan schrijven daarnaast omvat deze categorie ook uitspraken m b t de procedurele kennis waarover de leerling beschikt de leerling heeft geleerd hoe iets gedaan of aangepakt moet worden of de vaardigheid ook daadwerkelijk beheerst wordt blijft de vraag voorbeelden ik heb geleerd hoe je een verhaal moet analyseren ik heb geleerd hoe ik een samenvatting moet maken 3 positieve attitude deze categorie omvat uitspraken waarin de leerling een positief oordeel velt over iets de leerling kan bij voorbeeld iets wel leuk plezierig of prettig vinden ook kwalificaties als makkelijk nuttig interessant belangrijk of mooi houden een positieve waardering in uitspraken waarin de leerling leesplezier tot uitdrukking brengt en evaluatieve uitspraken over literaire werken vallen in deze categorie voorbeelden ik heb gemerkt dat ik boeken lezen leuk vindt ik heb ontdekt dat ik een gedicht soms wel mooi vind literatuurgeschiedenis vind ik best wel belangrijk 4 negatieve attitude deze categorie vormt uiteraard een tegenhanger van de vorige categorie en omvat de uitspraken die een negatieve waardering inhouden een hekel hebben aan iets iets vervelend moeilijk nutteloos onbelangrijk stom of lelijk vinden voorbeelden ik heb geleerd dat literatuur alleen maar leuk is voor de leraar neder lands ik heb geleerd dat de literatuurlessen pure tijdverspilling zijn 5 overig gedrag dit is een restcategorie waarin uitspraken zijn opgenomen die in geen van de andere categorieen ondergebracht konden worden 44 inhoud 1 literaire werken deze categorie omvat uitspraken waarin de leerling aangeeft iets geleerd te hebben over schrijvers gedichten verhalen romans of toneelstukken het begrip literair werk hebben we ruim opgevat het omvat niet alleen de canon maar ook boeken die gewoonlijk tot de triviale literatuur gerekend worden voorbeelden ik heb ontdekt dat de nederlandse literatuur ernstig sloom en ouderwets is ik heb geleerd dat gedichten oersaai zijn ik heb gewoonweg meer schrijvers en boeken leren kennen 2 literaire achtergronden deze categorie omvat uitspraken m b t de biografie van auteurs en m b t litera tuurgeschiedenis daarnaast bevat deze categorie ook uitspraken die betrekking hebben op de produktie van literatuur hoe komt een boek tot stand hoe werkt een uitgever of de receptie van literatuur hoe worden literaire werken ontvan gen in de pers hoe stonden mensen vroeger t o v literatuur voorbeelden ik heb geleerd dat wolkers geen vieze vent is ik heb geleerd wat de romantiek inhoudt ik heb geleerd hoe de literatuur van vandaag tot stand is gekomen ik weet nu hoe vroeger over literatuur gedacht werd 3 niet literaire achtergronden hieronder valt achtergrondinformatie die niet uitsluitend op literatuur betrekking heeft maar breder van aard is zoals algemeen culturele sociaal maatschap pelijke politieke of algemeen historische achtergronden het kan zijn dat dit soort informatie rechtstreeks door de docent wordt aangeboden de leerling kan ook op een meer indirecte manier via de literaire werken die hij moet lezen hierover wat opsteken voorbeelden ik heb geleerd dat veel mensen vroeger niet konden lezen of schrijven ik heb geleerd hoe het eraan toe ging in de middeleeuwen door alle ridderverhalen die we gelezen hebben ik heb geleerd dat de biedermeiertijd een tijd van kneuterigheid en huiselijkheid was 4 analyse en interpretatie hieronder vallen uitspraken die verwijzen naar structurele verhaalanalyse of naar de terminologie die bij verhaalanalyse wordt gehanteerd zoals perspectief thema motief e d verder kan gedacht worden aan poezie analyse bv het analyseren van de vorm bepaalde vormkenmerken zoals rijmschema s e d maar ook behoren hiertoe leerervaringen die betrekking hebben op het leren interpreteren van teksten of het achterhalen van de bedoelingen van de auteur we hebben geen onderscheid gemaakt tussen analyseren van vorm inhoud en interpreteren omdat de leeruitspraken van de leerlingen niet altijd uitsluitsel geven wat bedoeld wordt voorbeelden ik heb gemerkt dat ik het analyseren van een verhaal moeilijker vind dan ik had gedacht ik heb geleerd dat een sonnet uit veertien regels bestaat en een bepaald rijmschema heeft ik heb geleerd dat er verschillende interpretaties mogelijk zijn van hetzelf de verhaal 45 5 tekst lezer het gaat hier om uitspraken waarin leerlingen aangeven dat zij boeken op een bepaalde manier lezen bv met een bepaald doel in een bepaald tempo op een bepaald tijdstip of waarin zij aangeven dat zij iets geleerd hebben over het eigen leesgedrag of dat van anderen verder omvat deze categorie de leererva ringen waarin sprake is van een bepaalde relatie tussen de leerling lezer en de literaire tekst leerlingen kunnen bv gemerkt hebben dat zij zich kunnen identificeren met personages in een boek of dat zij door lezen meer zelfinzicht of een groter maatschappelijk bewustzijn hebben gekregen voorbeelden ik heb gemerkt dat ik moeite heb om m n aandacht erbij te houden als ik een boek moet lezen ik heb geleerd dat je van sommige boeken vrolijk wordt of dat je je ermee kan troosten maar dat andere boeken je droevig maken ik heb veel over mezelf geleerd door boeken te lezen 6 taalgebruiken m b t literatuur deze categorie heeft betrekking op alle talige activiteiten die leerlingen bij literatuuronderwijs ontplooien m u v het lezen van literatuur schrijven spreken luisteren en kijken de leerling kan geleerd hebben om zelf literaire teksten te produceren bv een gedicht schrijven of een hoorspel maken of hij kan geleerd hebben om over literatuur te schrijven of te spreken voorbeelden ik heb gemerkt dat ik het leuk vind om zelf een verhaal te schrijven ik heb geleerd hoe ik een spreekbeurt over een boek moet voorbereiden 7 taalgebruiken algemeen talige activiteiten die niet uitsluitend op literatuur betrekking hebben maar die algemener van aard zijn en die ook bij andere vakonderdelen dan literatuur aan bod kunnen komen hebben we in deze categorie geplaatst te denken valt aan zaken als spellingregels het opbouwen van een betoog gespreks en discussie technieken enz voorbeelden ik heb geleerd dat je een tekst in alinea s moet verdelen ik heb ontdekt dat mijn spelling niet al te best is ik heb gemerkt dat ik moeite heb om voor mijn mening uit te komen in een discussie 8 informatie verwerven ook deze categorie is vrij algemeen van aard de meeste uitspraken in deze categorie hebben betrekking op het zoeken en vinden van secundaire literatuur of op bibliotheekgebruik voorbeelden ik weet nu hoe ik aan uittreksels moet komen ik heb gemerkt dat ik het leuk vind om in een bibliotheek rond te dwalen 9 literatuurlessen deze categorie is toegevoegd omdat veel leerlingen uitspraken deden over wat zij vonden van de literatuurlessen of van de docent deze uitspraken gaan ofwel over het literatuuronderwijs in het algemeen ofwel over bepaalde onderdelen of werkvormen voorbeelden ik heb ontdekt dat literatuuronderwijs niet zo saai is als ik eerst dacht ik heb geleerd dat ik een hekel heb aan de verplichte boekenlijst ik heb geleerd dat de docent het merkt als je een boek niet gelezen hebt 10 overige inhouden er bleven leeruitspraken over die binnen geen enkele categorie pasten bv 46 omdat ze te vaag waren of nonsense bevatten bv ik heb geleerd dat mijn pen leeg raakt als ik veel schrijf 47