Nummer 10

De lange adem
In mijn vorige post schreef ik over het belang van de praktijk volgen en niet onderzoek leidend laten zijn. Dat is makkelijker gezegd dan gedaan, maar ik ben nog steeds blij met mijn keuze het tempo aan te passen aan de deelnemende organisaties. Druppelsgewijs participeren steeds meer organisaties aan mijn onderzoek en groeit het aantal groepen waar filmbeelden verzameld kunnen worden. De praktijk heeft gewoon tijd nodig en ondersteuning op maat. Een mooi inzicht.

Kritische zelfreflectie
In de tussentijd blijf ik bezig met mijn literatuurstudie en meta-analyse over zelfevaluatie-instrumenten in de kinderopvang. Het artikel is ondertussen een paar keer aangepast. Zoals gebruikelijk bij publicatie in een wetenschappelijk tijdschrift, worden ingezonden artikelen zeer kritisch bekeken en van feedback voorzien door onafhankelijke onderzoekers (‘peer reviewers’). Een heel waardevol en ook tijdrovend proces. Zoals ik in mijn vorige post schreef werd ik in de eerste feedbackronde gevraagd te reageren op 67 punten. Na dat, samen met mijn begeleiders, gedaan te hebben is het aangepaste artikel naar de redacteur van het tijdschrift gestuurd. Eind december ontvingen we van de redacteur een reactie met de vraag op nog 8 punten te reageren.

In de eerste instantie lijkt dit een veel kleinere klus, maar dat bleek niet het geval. Een reviewer vroeg zich af waarom wij hebben gekozen zogenaamde ‘grijze literatuur’ niet mee te nemen in de analyses. Grijze literatuur betreft studies die niet gepubliceerd zijn in wetenschappelijke tijdschriften, denk bijvoorbeeld aan onderzoeksrapporten die in opdracht van organisaties of het ministerie zijn geschreven. Eerlijk gezegd heb ik mijzelf ook een aantal keer afgevraagd of ik niet ook ‘grijze’ onderzoeksrapporten moest includeren in de literatuurstudie. Je zoekt naar een logische afbakening van wat je wel en niet meeneemt in een studie. Door de feedback van de reviewer merkte ik dat ik de vraag, of ik grijze literatuur wel of niet moest meenemen in mijn studie, nog onvoldoende beantwoord had. Ik kon twee dingen doen in reactie op de feedback van de reviewer; onderbouwen waarom wij gekozen hebben de grijze literatuur niet mee te nemen in onze studie of drie stappen terug doen en alsnog de grijze literatuur toevoegen.

Publicatiebias
De vraag, wel of niet grijze literatuur gebruiken, is niet te beantwoorden met een simpele ‘ja’ of ‘nee’. Welke literatuur op te nemen in een meta-analyse hangt van meerdere factoren af. Daarom heb ik besloten om de wetenschappelijke literatuur, over het wel of niet includeren van grijze literatuur, te raadplegen. Essentieel blijkt het minimaliseren van zogenaamde publicatiebias. Publicatiebias is de neiging van wetenschappelijke tijdschriften om interessante, nieuwe of significante onderzoeksresultaten wel te publiceren en resultaten die minder opwindend of niet significant zijn niet. Dat kan een vertekend beeld geven. Wat verder bepalend bleek is hoeveel publicaties beschikbaar zijn wat betreft het onderwerp van de studie, en ook de kwaliteit van de peer reviewed en grijze studies is van belang.

Daarnaast spelen persoonlijke keuzes een rol; hoe volledig wil je zijn als onderzoeker? Ik heb uiteindelijk in overleg met mijn begeleiders besloten alsnog de grijze literatuur ook mee te nemen in mijn studie. Het doel van mijn meta-analyse is om een volledig beeld te krijgen van zelfevalautie in de kinderopvang wereldwijd, dat vraagt om alle beschikbare kwalitatief goede publicaties mee te nemen. Zeker aangezien op mijn onderwerp nog relatief weinig onderzoek is gedaan. Dit betekende dat ik opnieuw een zoektocht naar geschikte literatuur heb gedaan, opnieuw alle analyses heb uitgevoerd en alle daaruit voortkomende aanpassingen heb gedaan in het artikel. Het lijken drie stappen achterwaarts, maar het voelt voor mij als een kwalitatieve stap vooruit. Ik heb geleerd dat het belangrijk is elke twijfel die ik heb gedurende het onderzoeksproces serieus te nemen. Ik ga voortaan stil durven staan om op zoek te gaan naar de oorzaak van mijn twijfel. Pas dan kan ik een bewuste en weloverwogen keuze maken. Dit kan de kwaliteit van mijn onderzoek alleen maar ten goede komen.

In- en uitzoomen
Als ik terugkijk naar de afgelopen periode dan zie ik dat ik veel deelprojecten naast elkaar aan het managen ben. Ik realiseer me steeds meer hoeveel dimensies onderzoek doen heeft. Naast het bepalen van de onderzoeksopzet, de dataverzameling en – analyse heb ik ervaren wat onderzoek doen nog meer inhoudt. Denk bijvoorbeeld aan contact onderhouden met deelnemende organisaties om af te tasten wat zij van mij nodig hebben om te kunnen participeren aan mijn onderzoek. Maar ook het aansturen van de onderzoeksassistenten, de studenten die bepaalde werkzaamheden voor mijn project uitvoeren als onderdeel van hun opleiding. Samen met de onderzoeksassistenten bepalen we welke leerzame werkzaamheden zij kunnen doen.

Daarnaast moet georganiseerd worden dat de onderzoeksassistenten getraind worden in het gebruik van het video-opname systeem en in het scoren van het wetenschappelijk instrument CLASS (waarmee PiB vergeleken gaat worden). Je kan snel door de bomen het bos niet meer zien, maar het is juist van belang het grotere geheel niet uit het oog te verliezen. Ik vind het mijn taak als onderzoeker om vanuit overzicht oog voor detail te hebben in de afstemming met de praktijk. Een hele boeiende uitdaging die ik nog steeds heel leuk vind!

Simon Hay
Pedagoog