De afgelopen twee dagen heb ik in een zwembad gelegen. Iemand wilde een onderzoek verrichten naar reddingsvesten en ik was proefpersoon. ‘Springer’, zogenoemd.
 
Volgens de in mijn studie verplicht gestelde en aanbevolen onderzoek over literatuur (van der Velde et al, 2105, Verhoeven, 2018) verloopt onderzoek in een aantal fases, en voldoet goed onderzoek aan een aantal eisen. Zo moet onderzoek vooral betrouwbaar zijn, waarmee bedoeld wordt dat er zo precies mogelijk gemeten wordt. Tja, daar gaat het met veel onderzoek al mis, zo ook hier. Want je kan alleen precies meten als omstandigheden gelijk zijn, en dat is niet altijd te regelen. Ook al hadden we afgesproken dat we bepaalde zaken zoveel mogelijk gelijk trokken (de manier van springen, de manier van zwemmen in een vest), we merkten dat ervaring mee begon te tellen in de loop van de dagen. Op dag twee waren de springers meer bedreven in de meetfactor ‘in het vlot klimmen’, puur door oefening, om maar wat te noemen. Ook onderzoek wat ik tegenkom over onderwijs heeft met deze betrouwbaarheidseis te maken. Een didactisch model wat in Twente goed werkt, kan in Rotterdam wel eens heel anders uitpakken: de omstandigheden zijn anders: je werkt immers met mensen.  
 
De tweede eis aan goed onderzoek is validiteit: meet je wat je wilt meten? Het is hier vooral zaak af te bakenen, te bepalen wat wel en wat niet binnen je onderzoek valt. Bij het zwemvestenonderzoek – wat deels met crowdfunding gedaan wordt, dus er wordt tijdens het onderzoek al publiciteit aan gegeven – waren er na dag 1 al vragen van belangstellenden: ‘kan je de drenkeling makkelijk aan het vest vastpakken?’ en ‘kan je een drenkeling goed trekken aan het vest’? Ehm, dat zat niet in de vragenlijst van dag 1. De vesten van dag twee daar alsnog op testen, dat is niet eerlijk; niet valide. In mijn eigen onderzoek (naar de betaalbaarheid van mbo-BOL opleidingen in een krimpregio) is het afbakenen misschien wel het moeilijkste. Ik wil niet alleen in centen denken. Maar álle andere aspecten die de kwaliteit van onderwijs bepalen ook meenemen: dat gaat niet. Afbakenen dus.
 
Repliceerbaarheid: als je het onderzoek volgende week, maand, jaar, nog eens doet, kan dat dan? Zijn de onderzoeksmethodes goed beschreven? Deze eis aan goed onderzoek is eigenlijk een valkuil: je gaat in een dergelijk geval ook dingen meten die helemaal niet relevant zijn, of je neemt een methode over die beter kan. In de reddingsvestentest was meegenomen of je makkelijk het trapje op kon komen in het vest: een knelpunt van een aantal jaren geleden. Ook reddingsvesten zijn doorontwikkeld en geen enkel vest gaf nu problemen op het trapje. Moet je dat dan met een volgend onderzoek weer meenemen? Is dat nuttig? Of mag je bij een volgend onderzoek aannemen dat het trapje geen probleem is, en dat vervangen voor een ander onderdeel? Kan je dan nog stellen dat de uitslagen vergelijkbaar zijn? Een ander onderdeel van de repliceerbaarheid is de meetmethode. We hadden nu een Likertschaal: een tot en met vijf met drie als de neutrale positie. Tja, dan krijg je geen extreem uitgesproken meningen; dat is een erkende ‘kwaal’ met de Likertschaal. Een rapportcijfer was beter geweest – en in een volgende test zou ik dat dus doen. Met uitleg waarom, dan mag het wel. In mijn eigen onderzoek heb ik misschien wel het geluk dat er liever niet over geld gepraat wordt als het om onderwijs gaat – ik mag dus zonder vooronderzoek beginnen en hoef me niet te houden aan parameters die een ander voor me gesteld heeft.
 
Goed onderzoek is objectief -en dat is de lastigste. De onderzoeker heeft een onderzoeksvraag waar hij of zij graag antwoord op wil hebben – en meestal niet alleen ántwoord, maar meestal zoekt men de oplossing van een probleem, of het bewijs van een stelling. Mijn MBA-onderzoek is gestart omdat in een krimpregio de inkomsten van het onderwijs niet meer dekkend zijn om het in jaarklassen te organiseren – een probleem waar een oplossing voor moet komen wat geld is nou eenmaal niet rekbaar en de conclusie ‘het kan simpelweg niet en sluit die school maar’ is er niet een die ik wil trekken, hoewel het wel een antwoord is op de vraag. Het vesten-onderzoek begon met de vraag welk vest geschikt is voor dames, die nou eenmaal een andere anatomie hebben dan heren. De onderzoekleidster werd dan ook helemaal gelukkig van de bevindingen van de vrouwelijke testers dat het ene vest als een ‘tietenpletter’ benoemde (door de notulist van dienst braaf genoteerd als ‘oncomfortabel’ 😉) en het andere vest als een ‘vormenvolger’: dit waren het soort uitslagen waar ze op had gehoopt. Verre van objectief, maar wel begrijpelijk. De oplossing voor het probleem komt immers in zicht?
 
Tot slot moet het onderzoek ethisch verantwoord zijn: betrokkenen mogen noch direct, noch indirect schade oplopen van het onderzoek. Die is nog relatief eenvoudig te realiseren als onderzoeker: anonimiseer, laat antwoorden niet herleidbaar zijn naar mensen. Die spierpijn die ik vandaag heb van 24 keer dat vlot in klimmen, dat telt vast niet mee als ‘schade’.
Vandaag richt ik me weer op mijn eigen onderzoek; ik heb de data binnen van klasgroottes en kan met Excel aan de slag. Betrouwbaar, valide, repliceerbaar en objectief onderzoek. Ik spring er weer in.