Nummer 9

Onderzoek kwaliteit van PiB
In mijn vorige post vertelde ik over mijn validatiestudie. In dit onderzoek wordt de kwaliteit van ‘Pedagogische praktijk in Beeld (PiB)’, vergeleken met een wetenschappelijk beproefd instrument.

Enthousiaste reacties deelnemers
Vlak voor de zomervakantie heb ik een aantal bijeenkomsten georganiseerd om de deelnemende organisaties te vertellen over het onderzoek, wat van hen verwacht wordt en natuurlijk om vragen te beantwoorden. Ik ben blij met het enthousiasme vanuit de praktijk om deel te nemen aan dit onderzoek, want dat is geen vanzelfsprekendheid. Ook tijdens de bijeenkomsten heb ik grote bereidheid ervaren mee te denken en mee te doen. Bij wetenschappelijk onderzoek is een veel gehoorde beperking dat er weinig reactie komt op de vraag deel te nemen. Ik heb mij proberen in te leven in de deelnemers en heb de bijeenkomsten vooral gebruikt om op te halen welke stappen in het onderzoeksproces voor de praktijk een belemmering vormen om mee te doen.

Het verzamelen van onderzoeksgegevens
Omdat wij videomateriaal verzamelen, om zowel PiB als het wetenschappelijk instrument CLASS op te scoren, is toestemming nodig op verschillende niveaus. Ten eerste op het niveau van de organisatie, daarna van de manager van de geselecteerde locaties. Vervolgens is van elke groep van alle betreffende pedagogisch medewerkers toestemming nodig en tot slot ook van een ouder van ieder kind van elke geselecteerde groep. Een flinke logistieke en administratieve klus. Ik kan de deelnemers ontlasten door achtergrondinformatie over het onderzoek en de benodigde toestemmingsformulieren te verschaffen. Maar van de deelnemers wordt gevraagd de informatie uit te zetten en mij de ondertekende toestemmingsformulieren terug te sturen. Ik had mij voorgenomen de deelnemende organisaties zo veel mogelijk op maat te ondersteunen én om de deelnemers niet te dwingen alle toestemmingsformulieren en geplande video-opnames binnen een bepaalde periode te hebben afgerond. Deze flexibele aanpak lijkt vruchten af te werpen; de toestemming van de locaties is bijna allemaal ontvangen en ook op het niveau van de groepen is al veel toestemming gegeven. Voor een aantal groepen hebben de ouders ook al aangegeven mee te willen doen, voor deze groepen staan de observaties gepland!

Onderzoek volgt de praktijk en niet andersom
Onze aanpak is geen gebruikelijke werkwijze in wetenschappelijk onderzoek. Het is voor onderzoekers veel makkelijker om een vaste, beperkte periode voor de dataverzameling vast te stellen. Ik heb bewust voor deze manier van werken gekozen, omdat ik het belangrijk vind de praktijk te volgen en niet mijn planning leidend te laten zijn. Ik vind dat het werk op de groep leidend moet zijn. Naar mijn mening ontbreekt het namelijk nog vaak aan verbinding tussen de praktijk en wetenschappelijk onderzoek.

Ik denk ook dat een flexibele planning de bereidheid tot deelname vergroot. Hierdoor ben ik van mening dat mijn onderzoek ook van grotere waarde is, voor zowel het proces op de werkvloer als de wetenschap. Ik denk dat de waarde van wetenschappelijke kennis nog groter wordt als de medewerkers in de kinderopvang zich meer betrokken voelen bij het onderzoeksproces. Het vraagt van mij als onderzoeker meer flexibiliteit en bereidheid om mijn planning aan te passen aan de grillen van de praktijk. Het is niet de makkelijkste weg, maar voor mij wel een belangrijke principiële keuze.

Artikel voor in een wetenschappelijk tijdschrift
Zoals ik in eerdere posts vertelde, ben ik meestal met meerdere deelstudies van mijn onderzoek tegelijk bezig. Dat is wel schakelen, maar het zorgt ook voor afwisseling in het werk. Zo heb ik mijn eerste deelstudie, een literatuurstudie en meta-analyse over zelfevaluatie-instrumenten in de kinderopvang, ingediend bij een wetenschappelijk tijdschrift. Daar wordt het artikel door een editor en een aantal voor mij onbekende onderzoekers op inhoud en kwaliteit beoordeeld. Mijn naam en die van mijn begeleiders is weggehaald uit het artikel. De onderzoekers die feedback geven, reviewers, weten niet wie de auteurs zijn. Wij weten ook niet wie de reviewers zijn van ons artikel. Op deze manier wordt niet de persoon, maar het artikel beoordeeld. Dit proces wordt ‘peer reviewing’ genoemd en is bedoeld om de kwaliteit van artikelen in wetenschappelijke tijdschriften te waarborgen. Een heel waardevol proces, waar wel veel tijd overheen gaat. Vaak ontvang je als auteur pas feedback na een half jaar tot een jaar.

In mijn geval ontving ik de feedback vlak voor de zomervakantie. In totaal hebben drie verschillende reviewers uitgebreide feedback gegeven. Ik heb tot begin oktober de tijd om inhoudelijk in te gaan op de 67 punten die de reviewers hebben aangegeven. Een flinke klus, zeker omdat de drie reviewers onafhankelijk van elkaar commentaar hebben gegeven. Dit betekent dat de feedback van de reviewers elkaar op sommige punten tegen kan spreken. Dit vraagt van mij om heel kritisch te kijken naar wat ik heb opgeschreven. De volgende stap is om de feedback van alle reviewers af te wegen en zelf een besluit te nemen om iets aan te passen. Ik heb gemerkt dat de kritische vragen van onafhankelijke deskundigen heel goed zijn en dat de kwaliteit van mijn artikel hierdoor echt verbetert. Gelukkig lezen mijn begeleiders goed mee.

PiB in het primair onderwijs?
Mijn onderzoek naar PiB gaat gestaag door. Maar als onderzoeker vind ik het ook belangrijk de ontwikkelingen vanuit de praktijk te blijven volgen, en daar waar mogelijk in te spelen op deze ontwikkelingen. Een voorbeeld daarvan is de interesse in PiB vanuit het primair onderwijs. Een kinderopvang-gebruiker van PiB nam contact met mij op met de vraag PiB ook te mogen gebruiken bij één van de basisscholen die onder hetzelfde bestuur valt als de kinderopvang. De directeur van deze basisschool wil graag inzicht in de pedagogische kwaliteit binnen de klassen, en zag in PiB een mooie werkwijze. In gesprek met deze school is besloten PiB te testen bij een aantal klassen en daarna samen te evalueren of PiB bruikbaar is en welke eventuele aanpassingen gedaan moeten worden aan PiB om het instrument (nog) beter te laten aansluiten bij het primair onderwijs. Uit de evaluatie met de basisschool bleek dat PiB een bruikbaar middel kan zijn. Om een brede inventarisatie naar mogelijkheden van PiB voor het primair onderwijs te onderzoeken, is begin oktober een brainstorm bijeenkomst met en voor het primair onderwijs gepland vanuit het Expertisecentrum Kinderopvang. Dit onderwerp kan ik niet meenemen in mijn promotieonderzoek, maar het combineren van praktijk en onderzoek bevalt goed! Wellicht is dit een mooi onderwerp voor vervolgonderzoek op de wat langere termijn.

Simon Hay
Pedagoog