De selectie en evaluatie van educatieve software (1)

de selectie en evaluatie van educatieve software i inleiding de laatste jaren is er heel wat te doen geweest rond de opmars van de computer op school geen maand soms geen week ging voorbij of er was wel ergens een congres een symposium of een informatiemarkt die voor deze kruistocht een pleisterplaats wilden bieden wie vandaag poogt de balans op te maken van overwinningen en nederlagen komt op een vooralsnog wat eenzijdig positief resultaat uit positief omdat in ons gehele onderwijs aanzienlijke inspanningen worden geleverd om het leren over de computer systematisch uit te bouwen eenzijdig omdat van het andere luik van de vernieuwing het leren met behulp van de computer voorlopig veel minder is te rechtgekomen het is niet onze bedoeling in deze bijdrage nog maar eens op de wenselijkheid van dit tweede vernieuwingsluik in te gaan voor iedereen die de evolutie van nabij gevolgd heeft moet het onderhand duidelijk zijn dat de vraag of de computer een efficiente en effectieve hulp kan leveren voor het leren in om het even welk vak in principe met ja moet beantwoord worden spookbeelden van computers die leraars verdringen behoren reeds tot een verleden dat hoewel nog heel recent toch reeds grijs en middeleeuws genoemd moet worden dat er desondanks op dit vlak toch weinig vooruit gang werd geboekt houdt met meerdere redenen verband een ervan is ongetwijfeld de beschikbaarheid van goede course ware het is duidelijk dat een leraar volkomen terecht niet geneigd is computerleerhulp in zijn klaspraktijk te integreren wanneer hij niet over materiaal kan beschikken dat didactisch winst oplevert het is even duidelijk dat het verwerven van goede courseware moeilijk is men zou zich kunnen voorstellen dat leraars zelf course ware ontwikkelen het belangrijkste voordeel van een dergelijke situatie zou dan zijn dat hetgeen ontwikkeld wordt perfect kan aansluiten bij het didactisch handelen in zijn geheel er zijn echter nogal wat obstakels aan te wijzen die een dergelijke evolutie in de weg staan men dient niet alleen over voldoende vaardigheid te beschikken in het programmeren doch bovendien ingewikkelde knopen kunnen ontwarren voor het algoritmiseren van het leer en vormingsproces aan wie dergelijke gezichtspunten verde digt stel ik nogal eens de vraag waarom dan vroeger niet elke leraar zijn persoonlijk handboek samenstelde het ontwikkelen van didactisch verantwoorde courseware blijkt vonk 1988 18de jg nr 1 3 een arbeidsintensief tijdrovend werk dat vraagt om goed georganiseerd multidisciplinair teamwork educatieve software kan gekocht geleend gehuurd geco pieerd worden voordelen zijn in principe dat professio neel ontwikkeld materiaal van goede kwaliteit ter beschik king kan gesteld worden aan lage prijs voor zover het op een voldoende grote schaal gedistribueerd kan worden in de praktijk blijkt het echter vrij moeilijk om dat principe te realiseren commerciele instanties wagen zich slechts schoorvoetend op dit gebied juist omwille van de beperkte distributieschaal en de copieerrage niet commerciele in stanties zijn vooralsnog zeldzaam en weinig effectief geor ganiseerd toch lijkt deze mogelijkheid ons de meest realistische voor de min of meer nabije toekomst zodat het de moeite waard lijkt de problemen die zich in dat geval stellen wat nader te onderzoeken een eerste probleem is dat de leraar dient te weten wat waar en hoe het ter beschikking is dit documentatiepro bleem is in ons land vooralsnog niet opgelost hoewel zich voor de nabije toekomst interessante mogelijkheden afteke nen voor het opzetten van een open en modern documentatie systeem inzake onderwijs 2 gesteld dat alle mogelijke documentatie bereikbaar zou zijn dan rest nog steeds het belangrijkste probleem een grondige analyse is noodzakelijk om te kunnen beslissen of wat wordt aangeboden van behoorlijke kwaliteit is en van aard om aan de didactische behoeften te beantwoorden behalve moeilijkheden van eerder technische aard kan ik het aanbod grondig en lang genoeg onderzoeken wordt men vooral geconfronteerd met de behoefte aan een coherente set van relevante beoordelingscriteria aan het probleem dat het hier inderdaad uiteindelijk niet om meten maar om beoordelen gaat kan men niet voorbij waar sommige auteurs in dit verband pleiten voor empirische toetsing dient men zich te realiseren dat het uitwerken van om het even welke fasering er alleen kan toe leiden dat criteria ter beoordeling dan weer in een of meerdere fasen noodzakelijk zijn empirische toetsing is uiteraard wense lijk voor zover zij praktisch tot de mogelijkheden be hoort zij is echter alleen van aard om het selectieproces te verrijken en meer systematisch te maken niet om de plaats in te nemen van de keuze van beoordelingscriteria voorstellen inzake evaluatiecriteria zijn in de internatio nale literatuur bij de vleet terug te vinden ze gaan van een pagina lange checklists zonder enige toelichting tot uitvoerige en gesofistikeerde beoordelingssystemen soms krijgt men de indruk dat de auteur uitsluitend enkele per soonlijke opvattingen en ervaringen op papier heeft gezet terwijl andere voorstellen het nodig lijken te maken dat een permanente gespecialiseerde ploeg aan het werk dient gezet indien men dergelijke voorstellen in een boek zou 4 bundelen dan zou men dit enigszins kunnen vergelijken met een kookboek heel wat recepten waaruit men een keuze dient te maken met daar bovenop de mogelijkheid om het gekozen recept bij de toepassing nog enigszins te varieren zoals voor de kookkunst zal het definitief recept er nooit zijn er zijn wel een aantal basisregels waaraan goed werk te herkennen valt maar voor de rest hangt de keuze af van persoonlijke inzichten en voorkeur nog eens aangezien het om beoordelingsvoorstellen gaat lijkt een andere situa tie ons ondenkbaar op zoek naar een evaluatie instrument voorafgaande keuzen na al het voorgaande zou men zich kunnen afvragen of het nog zin heeft een nieuw voorstel aan de lange reeds be staande reeks toe te voegen omwille van een aantal rede nen vonden wij toch van wel in de eerste plaats is vrij veel van het bestaande materi aal van buitenlandse oorsprong het lijkt ons beter dat men een instrument hanteert dat aansluit bij de eigen situ atie en didactische traditie in de tweede plaats lijken veel van de bestaande voorstel len ons dikwijls al te beperkt of al te uitgebreid dit leidt dan ofwel tot vrij oppervlakkige selectiemechanismen ofwel tot een eis tot voorafgaande investering die al te omvangrijk is voor het beoogde doel in de derde plaats tenslotte lijkt een van de basisregels dat een aanvaardbaar instrument moet berusten op een basis concept dat voor coherentie voor samenhang instaat de items waaruit het voorstel is opgebouwd hebben wij overi gens niet uitgevonden zij vormen een mengeling van wat wij uit de desbetreffende literatuur overgenomen hebben en de didactische inzichten waarover wij beschikken onze bijdrage bestond vooral in het onderbrengen van de items in een volgens ons houdbare structuur die zowel pragmatische als nomothetische componenten omvat wij komen daar verder nog op terug de bespreking van de items en hun structuur zal aan het einde van deze bijdrage leiden tot een synopsis die als recept in bovengenoemde zin dienst kan doen wij willen niet nalaten er nu reeds op te wijzen dat we er niets voor voelen om een echt metrisch instrument uit te bouwen would be precisie wilden we in dit verband ten allen prijze vermijden 5 de identificatie van educatieve software vooraleer tot werkelijke beoordeling over te gaan is het van voor de hand liggend belang een goede beschrijving van het materiaal door te voeren zelfs software die uitein delijk niet voor gebruik weerhouden wordt kan men best in het beschrijvingssysteem opnemen het kan zijn dat we er over de tijd heen verschillende versies van ontmoeten een goede beschrijving kan tot interessante onderlinge uitwis seling leiden enz los van een aantal meer traditionele gegevens die voor het beschrijven van didactisch materiaal nodig zijn dringen zich in dit geval een aantal identificatiepunten op die met hard en softwarevoorzieningen en hun onderlinge afstem ming verband houden we stellen volgende beschrijvingsitems voor 1 algemene identificatie benaming technische samenstelling onderwerp disketteformaat bv 8 inch dd versie back up s beschikbaar auteurs documentatie uitgever handboek voor leraar datum uitgave handboek voor leerling programmeerwerk eenheidsprij s 2 hardwarespecificaties computertype nodige geheugencapaciteit operating system extern geheugensysteem diskdrive cassette rom pack benodigde uitrusting toetsenbord monitor monochroom of kleur met functietoetsen touch screen printer lichtpen plotter joystick muis graphics tablet 3 doelpopulatie directie en administratief personeel leraar leerling doelleeftijd vorderingsniveau 6 4 programmatype planning en organisatie leer en vormingsactiviteiten informerend drill practice dialoogsystemen simulatie en modelling evaluatie activiteiten de evaluatie van courseware hoewel vanzelfsprekend zeer veel types van software bestaan die op school en in de klas bruikbaar zijn beperken we de rest van deze bijdrage tot de evaluatie van leerpakketten die min of meer autonoom door de leerling gebruikt kunnen worden dergelijke coursewarepakketten zijn een relatief nieuw middel voor de klaspraktijk dit nieuwe zit vooral in de technische aspecten en hun gevolgen voor de didactische situatie terwijl het relatieve vastzit aan het feit dat zelfs pakketten voor autonoom leren toch reeds een vrij lange voorgeschiedenis hebben op zoek naar criteria ter beoordeling komt het nieuwe dus vooral tot uiting in de aspecten die met de computer als medium verband houden terwijl veel andere criteria sinds lang beschikbaar zijn wat deze laatste betreft was het concept dat zich aan ons leek op te dringen datgene wat we aan formeel didactische facetten aan de goede les in het algemeen kunnen onder kennen waar we coursewarepakketten kunnen beschouwen als een reeks les sen kunnen we de les zelf omschrijven als een tijdelijke interactie tussen een leraar en de leerling en en deze onderling uitgaande van expliciete leerdoelen die met behulp van leerstof en werkvormen systematisch nagestreefd worden en waarbij het resultaat van de interac tie zorgvuldig gecontroleerd wordt voor elk van deze facetten stellen zich problemen naar vorm en inhoud men zou kunnen stellen dat het belang van deze facetten en hun samenhang nog groter is voor coursewarepakketten dan voor de traditionele les in deze laatste bestaat de moge lijkheid om tijdens het gebeuren alsnog bij te sturen is de kwalitatieve afweging van wat gebeurt met het oog op bijsturing mogelijk enz het coursewarepakket moet bij wijze van spreken volmaakt zijn vooraleer het in de prak tijk gehanteerd wordt dit laatste maakt het trouwens van groot belang dat aan de beoordelingsstructuur nog twee specifieke facetten worden toegevoegd met name de speci fieke technische kenmerken van het pakket en de documenta tie die nodig is om het pakket goed te laten functioneren dit alles leidt tot een evaluatiestructuur die als volgt is uitgewerkt 1 aspecten betreffende de interactie tussen leraar compu ter en leerlingen 2 de vorm en de inhoud van leerdoelen werkvormen leer stof en evaluatie 3 de technische realisatie 4 de documentatie bij elk van de genoemde facetten alle criteria die we elders gevonden hadden of waar we zelf aan dachten konden in deze structuur ondergebracht worden van de typische leerinhoud van het pakket is daarbij uiter aard geen sprake omdat dit voor de verschillende vakken andere criteria zou opleveren elk van de hiernavolgende criteria is in termen van een wenselijke stelling geformuleerd overzicht van de evaluatiecriteria 1 interactie aspecten 1 1 wat de inbreng van de leraar betreft 1 het pakket vereist een minimale voorbereiding voorbereiding wordt hierbij opgevat als de tijd die nodig is om het pakket op de computer op te starten de leerlingen te instrueren enz voorbereiden wordt gemak kelijker als het programma door de leerling kan gestart worden als slechts enkele instructies nodig zijn enz 2 tijdens het programma is geen technische tussenkomst vanwege de leraar vereist indien interventies van de leraar nodig zijn zou dit zich moeten beperken tot didactisch optreden techni sche operaties om het leerproces te doen doorgaan moeten allen in het pakket zelf opgenomen zijn 3 na afloop is minimale technische follow up nodig het pakket moet stoppen zonder tussenkomst van de le raar relevante gegevens antwoorden van leerlingen scores op toetsvragen enz moeten automatisch geregis treerd worden 4 de duur van het programma is aangepast aan doelgroep en inhoud of kan in kleinere eenheden gespreid worden zelfs voor geoefende leerlingen is een pakket van een halfuur ineens ruim voldoende werk naast de computer discussie enz daarbij niet meegeteld bij spreiding van het pakket over meerdere momenten dient het pro gramma gemakkelijk verlaten te kunnen worden en weer opgestart op de juiste plaats 5 het pakket is toegankelijk voor wijzigingen en aanvul lingen indien een leraar gedurende een langere periode van een pakket gebruik maakt krijgt hij proefondervindelijk zicht op de voor en nadelen het is een voordeel als 8 hij eventueel met deskundige technische hulp het pro gramma kan bijsturen en aan zijn specifieke situatie aanpassen 1 2 wat de leerlingen betreft 1 het programma werkt niet storend in op de leeromgeving geluid en licht kunnen af en toe voordelen bieden voor de didactische vormgeving zij worden echter een nadeel als ze andere leerlingen storen 2 het pakket is leerling proof foutieve behandeling door de leerling moet in de mate van de redelijkheid opgevangen worden overigens dient het belang van dit criterium niet zoals soms gebeurt overdreven te worden men moet niet voorzien zijn op alle mogelijke kwaadwillige inbreng en er van uitgaan dat de normale gebruiker bereid is ernstig te werken indien niet dan is de leraar er om tussen te komen 3 de leerling wordt goed geinstrueerd inzake zijn tech nisch handelen het moet op elk moment technisch duidelijk zijn wat de leerling gebruiker kan doen en hoe dit dient te gebeu ren gegevens inbrengen pagina s omdraaien enz de instructies moeten hieromtrent zeer expliciet zijn eventuele symbolen goed gekozen enz 4 de leestijd moet door de leerling beslist worden het is voor uitzonderlijke situaties denkbaar dat de tijd die nodig is om tekst op het scherm te lezen een didactische rol speelt buiten deze gevallen moet de leerling de voortgang van de pagina s sturen met de meest eenvoudige middelen one key 5 de leerling beslist over de tijd die hij nodig vindt om te antwoorden hoewel het ook hier uitzonderlijk nodig kan zijn een antwoordtempo in te bouwen verdient het in het meren deel van de gevallen de voorkeur dat de leerling over alle tijd beschikt die hij nodig acht om problemen op te lossen vragen te beantwoorden enz tijd is doorgaans niet het belangrijkste criterium om over de kwaliteit van een leerproces te beslissen 6 de inbreng vanwege de leerling wordt niet onnodig gecom pliceerd alleen datgene dient ingebracht waaruit voldoende blijkt dat het leerproces kan doorgaan dat het leerdoel be reikt werd indien complexe inbreng nodig is verdient het soms aanbeveling dat de voorbereiding ervan los van de computer kan gebeuren 7 de leerling kan doorheen het programma bladeren binnen bepaalde grenzen is het wenselijk dat de leerling zich vrij doorheen het pakket kan bewegen om te overzien wat hem te wachten staat om belangrijke informatie herop te frissen enz 8 de leerling kan zijn inbreng corrigeren over het algemeen is het wenselijk dat de leerling aan de computer kan melden enter of return dat zijn ant woord volgens hem klaar is hij moet de kans krijgen 9 zijn inbreng als geheel te overzien te corrigeren en te herformuleren enz 9 ondergeschikte inbrengfouten worden door het programma geaccepteerd het is vrij frustrerend indien een overigens goed ant woord omwille van een kleine tikfout of een vergeten leesteken verworpen wordt met dezelfde reactie als wan neer inhoudelijke fouten begaan werden 2 didactische vorm en inhoud 2 1 leerdoelen 2 1 1 vormgeving 1 de leerdoelen van het pakket zijn expliciet geformu leerd het is in de didactiek een sinds lang verworven gegeven dat men de waarde van een leerprogramma slechts kan beoordelen wanneer duidelijk en expliciet aangegeven wordt wat ermee beoogd wordt 2 de leerdoelen moeten ook door de leerling geraadpleegd kunnen worden algemeen wordt aangenomen dat de motivatie van een leer ling groter wordt indien duidelijk is waarom de inspan ning gevraagd wordt wat de opbrengst ervan zal zijn 3 de vereiste beginsituatie is duidelijk nagenoeg elk leerdoel vereist het bereikt zijn van voor afgaande leerdoelen het moet duidelijk zijn waar het pakket vertrekt wat vooraf verondersteld wordt 2 1 2 inhoud 1 de leerdoelen moeten relevant zijn 2 de leerdoelen moeten psycho logisch op elkaar afge stemd zijn een pakket moet een zinvol geheel vormen 2 2 werkvormen 2 2 1 vormgeving 1 de leerling wordt voortdurend geinformeerd omtrent zijn keuzen en re actie naast de technische behandeling van het pakket moet voor de leerling ook naar de inhoud duidelijk zijn wat van hem verwacht wordt en hoe hij kan handelen dit geldt niet alleen voor de computeracties als dusdanig doch ook voor het gebruik van andere bronnen handboek b v enz 2 de handelingskeuzen dienen zinvol en goed georganiseerd te zijn opties voor het handelen van de leerling zijn bij voor keur zo natuurlijk mogelijk binnen de probleemruim te die aangeboden wordt 10 onnodig geschakel tussen scherm hand en oefenboek werkt verwarrend overlading met onnodige tussenscha kels dient vermeden 3 vragen en opdrachten zijn duidelijk geformuleerd 4 feedback op de antwoorden is duidelijk en ondubbelzin nig 2 2 2 inhoud 1 er wordt zorg besteed aan de motivering van de leerling doorheen het gehele progra mm a 2 de leerling wordt aangezet tot probleemoplossen en zin vol handelen waar mogelijk nog steeds zijn vrij veel pakketten van het drill practice type dergelijke oefeningen kunnen dikwijls evengoed zonder computer gebeuren en het is hoe dan ook interessanter te oefenen in een zinvolle probleemstel lingscontext 3 het pakket is vertakt een leerpakket wordt didactisch rijker indien het diffe rentiatievoorzieningen omvat voor de knappe leerling kan traag vorderen demotiverend werken voor de zwakke is te snel vorderen onmogelijk 4 de voorziene feedback is adequaat hoewel algemene regels in dit verband moeilijk te geven zijn verdient trouble shooting feedback de voorkeur boven negatieve veroordelende reacties 2 3 leerstof 2 3 1 vormgeving 1 de leerstof wordt functioneel gepresenteerd welke ook de redenen zijn voor de keuze van de lay out van schermen motivering duidelijkheid het is hoe dan ook nodig dat de gebruiker op de inhoud van de boodschap gericht wordt overlading verstrooiende illustratie enz zijn te vermijden 2 de schermen worden snel opgevuld en volgen elkaar snel op indien de leerling telkens moet wachten tot een scherm is gevuld ontstaat een laag leertempo dat door de com puter wordt bepaald indien het apparaat toch tijd nodig heeft b v om een antwoord te verwerken dient dit aan de gebruiker gemeld te worden of moet hem intus sen een andere zinvolle taak gegeven worden b v naast de computer 3 de tekst moet goed leesbaar zijn de grafieken en illu straties duidelijk 4 informatie die bij elkaar hoort moet ineens aangeboden worden scrolling dit is het wegrollen van de tekst over het scherm moet vermeden worden 11 2 3 2 inhoud 1 de leerstof is didactisch en logisch ordelijk uitge werkt 2 de moeilijkheidsgraad is aangepast aan de bedoelde ge bruiker 3 er is zinvol gebruik gemaakt van leeshulp titels on derstreping voetnoten samenvattingen grafische hulp enz 2 4 evaluatie 2 4 1 vormgeving 1 voor en natoetsen zijn voorzien om de leerling te bege leiden bij zijn autonoom leerproces en de leraar te informeren 2 de resultaten van toetsen zijn op elk moment toeganke lijk voor leerling en leraar bovendien kunnen supple mentaire gegevens bestede tijd aantal foutieve ant woorden enz voor beiden interessant zijn 2 4 2 inhoud 1 de evaluatiecriteria zijn geldig t a v de leerdoelen bovendien wordt betrouwbaar getoetst met een gepaste moeilijkheidsgraad 2 er wordt gebruik gemaakt van de rapportering van de re sultaten om de leerling te motiveren 3 technische realisatie 1 er zijn geen programmeerfouten die de voortgang doorheen het pakket hinderen of blokkeren 2 een copie back up is bijgeleverd 3 het programma maakt optimaal gebruik van de voorziene hardware b v functietoetsen muis enz 4 alle nodige software is meegeleverd b v voor het ver werken van toetsresultaten voor de gehele klas enz 4 documentatie 1 de instructies voor de voorbereiding en behandeling van het pakket zijn volledig en duidelijk 2 de didactische verantwoording wordt expliciet aangebo den 3 een leesbaar en volledig handboek voor de leerling is meegeleverd 4 alle naast het pakket voorziene materiaal tekstboek a v materiaal is beschikbaar 5 informatie over de registratie en verwerking van toetsen is aanwezig 6 de criteria voor de interpretatie van toetsresultaten zijn beschikbaar 12 7 empirische resultaten van het vooronderzoek worden toe gelicht 8 de listing van het computerprogramma is bijgevoegd synopsis we herhalen nogmaals dat het voorafgaande niet bedoeld werd als het definitief antwoord op alle vragen inzake het eva lueren van courseware we hebben aan de kundige kok leraar een recept willen leveren waar hij wat ons betreft onein dig mee kan varieren belangrijk lijkt ons vooral het be wustzijn dat het evalueren van courseware een vrij complexe aangelegenheid is we hebben trouwens in dit verband elders al herhaaldelijk gepleit voor het centraal of regionaal opzetten van een soort centrum voor warenkundig onder zoek bij wijze van samenvatting herhalen we kort de criteria die eerder besproken werden in een soort check list die als basis voor praktisch gebruik dienst kan doen we stellen daarbij een quoteringssysteem voor dat niet al te gedetail leerd is om quasi precisie te vermijden quotering van elk criterium afzonderlijk zou trouwens onvermijdelijk tot een naar het gemiddelde toeneigend eindresultaat leiden indien de partiele resultaten zoals hier voorgesteld wor den opgeteld kan door een pakket een maximum van 60 punten behaald worden een minimumresultaat van 40 60 lijkt ons nodig om van een behoorlijk aanbod te kunnen spreken 1 interactie 1 1 leraar 1 minimale voorbereiding 2 geen technische hulp tijdens programma 3 minimale technische follow up 4 gepaste duur 5 open voor bijsturing onvoldoende 1 3 4 5 uitstekend 1 2 leerling 6 geen storing voor leeromgeving 7 leerling proof 8 adequate technische instructies 9 leerling beslist leestijd 10 leerling beslist antwoordtijd 11 inbreng zo eenvoudig mogelijk 12 bladzijden kunnen doorbladerd worden 13 inbreng kan gecorrigeerd worden 13 14 kleinere inbrengfouten worden aanvaard onvoldoende 1 2 3 4 5 uitstekend 2 didactische vorm en inhoud 2 1 leerdoelen 2 1 1 vorm 15 expliciete leerdoelen 16 leerdoelen toegankelijk voor leerling 17 beginsituatie duidelijk onvoldoende 1 2 3 4 5 uitstekend 2 1 2 inhoud 18 relevante leerdoelen 19 leerdoelen zinvol geheel onvoldoende 1 2 3 4 5 uitstekend 2 2 werkvormen 2 2 1 vorm 20 informatie over keuzen en re acties 21 opties zinvol en goed georganiseerd 22 vragen en opdrachten duidelijk geformuleerd 23 duidelijke feedback onvoldoende 1 2 3 4 5 uitstekend 2 2 2 inhoud 24 motivatie 25 denkopdrachten 26 vertakking 27 gepaste feedback onvoldoende 1 2 3 4 5 uitstekend 14 2 3 leerstof 2 3 1 vorm 28 functionele presentatie 29 snelle schermopvulling en opeenvolging 30 leesbare tekst duidelijke grafiek 31 presentatie als geheel onvoldoende 1 2 3 4 5 uitstekend 2 3 2 inhoud 32 goed geordend 33 gepaste moeilijkheidsgraad 34 leeshulp voorzien onvoldoende 1 2 4 5 uitstekend 2 4 evaluatie 2 4 1 vorm 35 voor en natoetsen 36 presentatie resultaten onvoldoende 1 2 3 4 5 uitstekend 2 4 2 inhoud 37 geldige criteria 38 stimulerende rapportering onvoldoende 1 2 3 4 5 uitstekend 3 technische realisatie 39 geen programmeerfouten 40 back up beschikbaar 41 aangepast aan hardware 42 specifieke software toegevoegd onvoldoende 1 2 3 4 5 uitstekend 15 4 documentatie 43 instructies voor technisch gebruik 44 leerdoelen toegelicht 45 handboek 46 aanvullend materiaal 47 informatie toetsresultaten 48 interpretatie criteria 49 vooronderzoek 50 listing onvoldoende 1 2 3 4 5 uitstekend johan heene p a r u g seminarie en laboratorium voor didactiek h dunantlaan 2 9000 gent noten 1 de inhoud van deze bijdrage berust voor een groot deel op het werk van dibit het didactisch begeleidingscentrum informatietechnolo gie dat als een onderdeel van het laboratorium voor didactiek rug functioneert vooral het werk van guido van nieuwenhuyse intussen directeur van goci aarschot is van grote betekenis ge weest 2 de minister van onderwijs heeft einde 1987 aan een interuniversi taire groep de opdracht gegeven de ontwikkeling van een geautoma tiseerd documentatiesysteem inzake onderwijs te onderzoeken en op gang te trekken 16