Onderzoek kwaliteit van PiB
In mijn vorige post vertelde ik over mijn validatiestudie. In dit onderzoek wordt de kwaliteit van ‘Pedagogische praktijk in Beeld (PiB)’, vergeleken met een wetenschappelijk beproefd instrument.

Enthousiaste reacties deelnemers
Vlak voor de zomervakantie heb ik een aantal bijeenkomsten georganiseerd om de deelnemende organisaties te vertellen over het onderzoek, wat van hen verwacht wordt en natuurlijk om vragen te beantwoorden. Ik ben blij met het enthousiasme vanuit de praktijk om deel te nemen aan dit onderzoek, want dat is geen vanzelfsprekendheid. Ook tijdens de bijeenkomsten heb ik grote bereidheid ervaren mee te denken en mee te doen. Bij wetenschappelijk onderzoek is een veel gehoorde beperking dat er weinig reactie komt op de vraag deel te nemen. Ik heb mij proberen in te leven in de deelnemers en heb de bijeenkomsten vooral gebruikt om op te halen welke stappen in het onderzoeksproces voor de praktijk een belemmering vormen om mee te doen.

Het verzamelen van onderzoeksgegevens
Omdat wij videomateriaal verzamelen, om zowel PiB als het wetenschappelijk instrument CLASS op te scoren, is toestemming nodig op verschillende niveaus. Ten eerste op het niveau van de organisatie, daarna van de manager van de geselecteerde locaties. Vervolgens is van elke groep van alle betreffende pedagogisch medewerkers toestemming nodig en tot slot ook van een ouder van ieder kind van elke geselecteerde groep. Een flinke logistieke en administratieve klus. Ik kan de deelnemers ontlasten door achtergrondinformatie over het onderzoek en de benodigde toestemmingsformulieren te verschaffen. Maar van de deelnemers wordt gevraagd de informatie uit te zetten en mij de ondertekende toestemmingsformulieren terug te sturen. Ik had mij voorgenomen de deelnemende organisaties zo veel mogelijk op maat te ondersteunen én om de deelnemers niet te dwingen alle toestemmingsformulieren en geplande video-opnames binnen een bepaalde periode te hebben afgerond. Deze flexibele aanpak lijkt vruchten af te werpen; de toestemming van de locaties is bijna allemaal ontvangen en ook op het niveau van de groepen is al veel toestemming gegeven. Voor een aantal groepen hebben de ouders ook al aangegeven mee te willen doen, voor deze groepen staan de observaties gepland!

Onderzoek volgt de praktijk en niet andersom
Onze aanpak is geen gebruikelijke werkwijze in wetenschappelijk onderzoek. Het is voor onderzoekers veel makkelijker om een vaste, beperkte periode voor de dataverzameling vast te stellen. Ik heb bewust voor deze manier van werken gekozen, omdat ik het belangrijk vind de praktijk te volgen en niet mijn planning leidend te laten zijn. Ik vind dat het werk op de groep leidend moet zijn. Naar mijn mening ontbreekt het namelijk nog vaak aan verbinding tussen de praktijk en wetenschappelijk onderzoek.

Ik denk ook dat een flexibele planning de bereidheid tot deelname vergroot. Hierdoor ben ik van mening dat mijn onderzoek ook van grotere waarde is, voor zowel het proces op de werkvloer als de wetenschap. Ik denk dat de waarde van wetenschappelijke kennis nog groter wordt als de medewerkers in de kinderopvang zich meer betrokken voelen bij het onderzoeksproces. Het vraagt van mij als onderzoeker meer flexibiliteit en bereidheid om mijn planning aan te passen aan de grillen van de praktijk. Het is niet de makkelijkste weg, maar voor mij wel een belangrijke principiële keuze.

Artikel voor in een wetenschappelijk tijdschrift
Zoals ik in eerdere posts vertelde, ben ik meestal met meerdere deelstudies van mijn onderzoek tegelijk bezig. Dat is wel schakelen, maar het zorgt ook voor afwisseling in het werk. Zo heb ik mijn eerste deelstudie, een literatuurstudie en meta-analyse over zelfevaluatie-instrumenten in de kinderopvang, ingediend bij een wetenschappelijk tijdschrift. Daar wordt het artikel door een editor en een aantal voor mij onbekende onderzoekers op inhoud en kwaliteit beoordeeld. Mijn naam en die van mijn begeleiders is weggehaald uit het artikel. De onderzoekers die feedback geven, reviewers, weten niet wie de auteurs zijn. Wij weten ook niet wie de reviewers zijn van ons artikel. Op deze manier wordt niet de persoon, maar het artikel beoordeeld. Dit proces wordt ‘peer reviewing’ genoemd en is bedoeld om de kwaliteit van artikelen in wetenschappelijke tijdschriften te waarborgen. Een heel waardevol proces, waar wel veel tijd overheen gaat. Vaak ontvang je als auteur pas feedback na een half jaar tot een jaar.

In mijn geval ontving ik de feedback vlak voor de zomervakantie. In totaal hebben drie verschillende reviewers uitgebreide feedback gegeven. Ik heb tot begin oktober de tijd om inhoudelijk in te gaan op de 67 punten die de reviewers hebben aangegeven. Een flinke klus, zeker omdat de drie reviewers onafhankelijk van elkaar commentaar hebben gegeven. Dit betekent dat de feedback van de reviewers elkaar op sommige punten tegen kan spreken. Dit vraagt van mij om heel kritisch te kijken naar wat ik heb opgeschreven. De volgende stap is om de feedback van alle reviewers af te wegen en zelf een besluit te nemen om iets aan te passen. Ik heb gemerkt dat de kritische vragen van onafhankelijke deskundigen heel goed zijn en dat de kwaliteit van mijn artikel hierdoor echt verbetert. Gelukkig lezen mijn begeleiders goed mee.

PiB in het primair onderwijs?
Mijn onderzoek naar PiB gaat gestaag door. Maar als onderzoeker vind ik het ook belangrijk de ontwikkelingen vanuit de praktijk te blijven volgen, en daar waar mogelijk in te spelen op deze ontwikkelingen. Een voorbeeld daarvan is de interesse in PiB vanuit het primair onderwijs. Een kinderopvang-gebruiker van PiB nam contact met mij op met de vraag PiB ook te mogen gebruiken bij één van de basisscholen die onder hetzelfde bestuur valt als de kinderopvang. De directeur van deze basisschool wil graag inzicht in de pedagogische kwaliteit binnen de klassen, en zag in PiB een mooie werkwijze. In gesprek met deze school is besloten PiB te testen bij een aantal klassen en daarna samen te evalueren of PiB bruikbaar is en welke eventuele aanpassingen gedaan moeten worden aan PiB om het instrument (nog) beter te laten aansluiten bij het primair onderwijs. Uit de evaluatie met de basisschool bleek dat PiB een bruikbaar middel kan zijn. Om een brede inventarisatie naar mogelijkheden van PiB voor het primair onderwijs te onderzoeken, is begin oktober een brainstorm bijeenkomst met en voor het primair onderwijs gepland vanuit het Expertisecentrum Kinderopvang. Dit onderwerp kan ik niet meenemen in mijn promotieonderzoek, maar het combineren van praktijk en onderzoek bevalt goed! Wellicht is dit een mooi onderwerp voor vervolgonderzoek op de wat langere termijn.

Simon Hay
Pedagoog

Lancering PiB 2.0
De tijd tussen mijn laatste Promotie Post en deze is langer dan gepland, er was veel te doen 😊. Na het verwerken van alle aanpassingen aan PiB door de werkgroep en de feedback van een grote groep pedagogisch beleidsmedewerkers in de kinderopvang, hebben de technische ontwikkelaars van PiB alles aangepast in de nieuwe versie van PiB: PiB 2.0. Kort samengevat is PiB 2.0 meer compact en gebruiksvriendelijk geworden, maar er zijn vooral belangrijke inhoudelijke aanpassingen gedaan.

Wijzigingen in PiB 2.0
Zo zijn vragen over VE (voorschoolse educatie) toegevoegd, waardoor nu ook binnen de PiB-omgeving een rapportage gegenereerd kan worden die op alle VE-onderdelen rapporteert. Daarnaast zijn ook observatievragen toegevoegd over diversiteit/inclusie en digitale media. Tot slot hebben we alle observatievragen kritisch bekeken; de formulering is aangescherpt en de vragen zijn meer beknopt omschreven. We hebben PiB 2.0 met trots opnieuw gelanceerd op 30 januari jl. Vanaf dat moment zijn er weer nieuwe organisaties toegetreden tot de gebruikersgroep.

Opstart onderzoek naar de kwaliteit van PiB
Er komt, naast de vernieuwde versie van PiB, meer kijken bij mijn validatiestudie. Ik ben begonnen alle PiB-gebruikers toestemming te vragen voor deelname aan dit deel van mijn onderzoek. Ik ben erg blij met de vele positieve reacties; tot nu toe zijn er al 14 organisaties die deelname hebben toegezegd. Na de toestemming op organisatieniveau wordt bepaald hoeveel en welke groepen van een organisatie deelnemen. De volgende stap is dan om ook aan alle betreffende pedagogisch medewerkers en ouders (van de aanwezige kinderen) toestemming te vragen. Een tijdrovende maar zeer belangrijke klus, want iedereen die deelneemt aan onderzoek, moet goed weten wat deelname inhoudt en actief toestemming voor deelname geven.

Naast het organiseren van toestemming heb ik gezocht naar een videosysteem om opnames van de groepen te kunnen maken. Deze video’s kunnen vervolgens gescoord worden door verschillende observatoren aan de hand van verschillende meetinstrumenten (PiB 2.0 en CLASS). Naast vastleggen op beeld is het ook belangrijk dat een dergelijk systeem grote hoeveelheden (grote) video-bestanden veilig kan opslaan. En tot slot dat het beeldmateriaal ook online op afstand is te scoren. Dat is gelukt, ik heb IRIS Connect bereid gevonden toegang tot hun omgeving te verlenen voor dit onderzoek. Mooi dat dit kon, binnen KindeRdam werken we met dit systeem en we zijn er erg blij mee. Tot slot ben ik druk met zoeken naar studenten die mij kunnen helpen tijdens de validatiestudie. We hebben al één student die gaat helpen met het verzamelen van videomateriaal en het organiseren en later analyseren hiervan. Ook zal zij ondersteunen in de planning van de observaties en met andere logistieke zaken. Gelukkig, want ik moet het overzicht kunnen houden om de voortgang te kunnen bewaken. Dat kan niet als ik zelf alles moet doen. Tijdens een volgende post zal ik vertellen over het proces van scoren van de observaties; zo ver ben ik nu nog niet.

Dialoog over pedagogiek tijdens internationaal congres
Ik ben naar de VS geweest waar ik het SRCD Biennial congres heb bijgewoond en het eerste deel van mijn onderzoek middels een posterpresentatie heb gepresenteerd. Het congres was gigantisch met meer dan 4000 deelnemers, honderden presentaties en posterpresentaties verspreid over drie volle dagen. Heel intensief, maar heel erg de moeite waard! Tijdens de presentaties was veel gelegenheid om met andere onderzoekers in gesprek te gaan. Gaaf om onderzoekers van wie ik artikelen heb gelezen ‘in het wild’ te kunnen vragen naar hun visie. Dat helpt mij ook om mijn eigen gedachten over pedagogische kwaliteit in de kinderopvang aan te scherpen.

Hierdoor leer ik weer om scherper te kijken naar de kwaliteitsdiscussie in Nederland. Ik heb bijvoorbeeld gehoord welke meetinstrumenten nu veel gebruikt worden, en wat dit betekent voor beleid en praktijk. Ook tijdens mijn posterpresentatie ontstond waardevolle uitwisseling; er zijn veel onderzoekers vragen komen stellen en ik heb kunnen vertellen over mijn onderzoek.

Zelfevaluatie in internationaal perspectief
Wat mij opviel tijdens het congres, is dat men elders in de wereld anders aankijkt tegen de functie van zelfevaluatie in de kinderopvang dan ik. Daar waar zelfevaluatie vooral gebruikt wordt om zich goed voor te kunnen bereiden op een inspectiebezoek, denk ik dat zelfevaluatie daarnaast ook nog bij kan dragen aan kennis over pedagogische kwaliteit. Ik ben van mening dat pedagogisch medewerkers, door zelf te evalueren en te reflecteren op hun eigen handelen, een zinvolle bijdrage kunnen leveren aan kennisontwikkeling. Tijdens een bijeenkomst over kennisontwikkeling heb ik dan ook ingebracht dat naast wetenschap de praktijk wat mij betreft ook een waardevolle bijdrage kan leveren waar het gaat om definiëren en meten van pedagogische kwaliteit. Zo ontstaat er co-creatie van kennis: waarbij kennis over pedagogische kwaliteit niet alleen wordt uitgestort van bovenaf, maar juist ontstaat door kruisbestuiving tussen de praktijk en wetenschappelijke inzichten. Dit perspectief is nauwelijks aan bod gekomen tijdens het congres, hopelijk volgende keer wel!

Simon Hay
Pedagoog

Constructie van PiB 2.0
Sinds het plaatsen van mijn vorige post is er veel gebeurd. De vorige keer vertelde ik over het doel van mijn onderzoek: het actualiseren van PiB en de toepassing efficiënter en gebruiksvriendelijker te maken. Welke stappen komen daarbij kijken?

Informatie ophalen
Via focusgroepbijeenkomsten en vragenlijstonderzoek heb ik input opgehaald van pedagogisch medewerkers, pedagogisch coaches en beleidsmedewerkers, managers, bestuurders, onderzoekers, inspecteurs en ouders. Er is heel veel gereageerd. Daardoor heb ik veel informatie kunnen ophalen die cruciaal is om PiB blijvend te laten aansluiten bij de behoeften van de praktijk.

Oprichting werkgroep
Om de aanpassing van PiB systematisch, en daardoor navolgbaar, te kunnen doen heb ik een werkgroep opgericht. Aan de werkgroep nemen mijn begeleiders Harriet Vermeer, Ruben Fukkink en Harold Nefs deel. Daarnaast is Erik Jan de Wilde, één van de ontwikkelaars van PiB, ook aangesloten. Ik zit de werkgroep voor en beheer het zogenaamde ‘beslisdocument’. In het beslisdocument is per observatievraag feedback opgenomen met betrekking tot PiB, van alle experts, PiB-gebruikers en van alle andere geïnteresseerden. Daarnaast zijn statistische analyses gedaan, waarmee we observatievragen kunnen identificeren die wellicht overbodig zijn in PiB.

Toets observatievragen en toevoegen van nieuwe vragen
De werkgroep neemt alle informatie mee om te besluiten een observatievraag wel of niet op te nemen, te herformuleren, aan te vullen of te laten zoals deze nu is. Daarnaast zijn er extra vragen toegevoegd over onderwerpen waarvan experts en praktijk hebben aangegeven dat zij deze graag aan PiB willen toevoegen. Denk aan onderwerpen als VE, inclusie/diversiteit en burgerschap. Een leuke, maar ook complexe klus.

Waar staan we nu?
De werkgroep is vijf keer bijeengekomen en we zijn al een heel eind. We verwachten dat er begin 2023 een conceptversie van PiB 2.0 klaarligt. Deze conceptversie wordt eerst voorgelegd aan de meeleesgroep waar geïnteresseerde pedagogisch beleidsmedewerkers zich voor hebben kunnen opgeven. Na verwerking van eventuele opmerkingen zal de gebruikelijke digitale versie van PiB 2.0 live gaan!

Het vervolg: werkt PiB net zo goed als wetenschappelijke instrumenten?
Zodra PiB 2.0 in gebruik wordt genomen, kan de volgende fase van mijn onderzoek starten. Ik zal organisaties die PiB gebruiken, en die mij toestemming hebben gegeven voor deelname, benaderen voor mijn validatiestudie.

Hoe ga ik de uitkomsten valideren?
Valideren houdt concreet in dat ik de uitkomsten van PiB 2.0 ga vergelijken met de uitkomsten van een wetenschappelijke meting, gedaan met CLASS, op dezelfde groep op hetzelfde moment (maar onafhankelijk van elkaar). Door dit proces op meerdere verschillende groepen te herhalen kan ik een uitspraak doen of PiB 2.0 de pedagogische kwaliteit net zo goed kan meten als een wetenschappelijk instrument.

Als PiB 2.0 valide blijkt, dan zijn de resultaten van PiB nog waardevoller. Het is dan nog beter mogelijk de PiB-resultaten naast de resultaten van de wetenschappelijke landelijke kwaliteitspeilingen van het LKK, die ook CLASS-instrumentarium gebruiken, te leggen. Maar goed, zo ver zijn we nu nog niet. Eerst zal ik binnenkort alle PiB-gebruikers om toestemming vragen voor deelname aan mijn validatiestudie.

Internationale presentatie
Tot slot ben ik in de tussentijd ook bezig geweest met een aanvraag om het eerste deel van mijn onderzoek, mijn literatuurstudie, te presenteren tijdens een prestigieus internationaal congres. Ik heb net te horen gekregen dat mijn aanvraag is goedgekeurd; ik ga mijn literatuurstudie presenteren in de VS in maart 2023 bij de SRCD Biennial Meeting! Een mooie gelegenheid om bij te dragen aan de internationale discussie over pedagogische kwaliteit in de kinderopvang, nieuwe kennis op te doen en mijn onderzoek te laten zien aan vakgenoten.

Een promotieonderzoek en traject vergt veel tijd en aandacht, maar ik ervaar dit proces als heel waardevol. Bij alle inspanningen houd ik het doel goed voor ogen; het gaat om een goed instrument voor de praktijk voor de kinderopvang, waarmee de pedagogische kwaliteit continu verbeterd kan worden.

Eerste (voorlopige) mijlpaal
Vlak voor de zomervakantie heb ik mijn literatuurstudie naar zelfevaluatie in de kinderopvang wereldwijd, ingediend bij een toonaangevend Engelstalig wetenschappelijk tijdschrift. Een mooie mijlpaal na anderhalf jaar lezen, schrijven, analyseren, bespreken en herschrijven. Samen met mijn promotor heb ik het artikel met alle bijbehorende tabellen en figuren geüpload en voorzien van een begeleidende brief. Nog een flinke bureaucratische klus, maar door er moeite voor te doen geeft het nog meer voldoening dat het is gelukt.

Dit is echter pas het begin van het proces. In de eerste plaats toetst de redacteur van het tijdschrift of mijn artikel geschikt is. Daarna geeft een aantal onafhankelijke onderzoekers, zogenaamde peer reviewers, feedback op de kwaliteit van mijn artikel. Op basis van deze feedback bepaalt de redacteur of mijn artikel wordt gepubliceerd. Zo ja, dan moet ik eerst alle feedback van de reviewers nog verwerken, dan pas is mijn artikel gereed voor publicatie. Dit proces duurt zes maanden tot een jaar. Geeft niet, gelukkig heb ik in de tussentijd voldoende andere dingen te doen.

Het échte werk is begonnen
Zo vertelde ik in mijn vorige post dat ik voor mijn tweede deelproject, door middel van focusgroepen, kennis heb opgehaald bij experts in en om de kinderopvang. Ik heb alle groepsinterviews anoniem geanalyseerd. Ik heb alles eruit gedestilleerd wat belangrijk is: onderwerpen die iets zeggen over de pedagogische kwaliteit van de kinderopvang, zaken die van belang zijn voor zelfevaluatie en specifiek voor ‘Pedagogische praktijk in Beeld (PiB)’. Op basis van deze onderwerpen heb ik een digitale vragenlijst opgesteld voor zowel kinderopvang voor 0-4 als 4-12 jaar. Mijn doel is om concrete handvatten te verkrijgen om PiB op te actualiseren, te verbeteren en gebruiksvriendelijker te maken.

Voor de eerste keer verzamelde ik zelf data en vroeg ik mensen mee te denken en mee te doen met mijn onderzoek. Dit is het échte werk! Spannend, maar ook heel leuk en belangrijk om de mening van de praktijk goed mee te nemen. Ik was benieuwd of ik genoeg reacties zou krijgen. Ik heb iedereen in mijn netwerk gevraagd bekendheid te geven aan mijn vragenlijsten en ik heb de vragenlijsten ook via verschillende social media gedeeld. Bijzonder hoeveel mensen geholpen hebben aandacht te geven aan mijn vragenlijstonderzoek, heel fijn. Ik was zo benieuwd, ik heb elke dag even gekeken naar de respons. De vragenlijst voor 0-4 jaar is heel veel ingevuld, de vragenlijst voor BSO-leeftijd ook ruim voldoende, maar wel een stuk minder. Zo blijft BSO-onderzoek ook wat achter in mijn project. Goed om hier alert op te blijven bij mijn volgende deelprojecten. Maar daarover een volgende keer meer.

Van PiB 1.0 naar PiB 2.0
Ik heb vanaf het eerste moment gezegd dat de huidige PiB-versie niet de definitieve versie is. Actualiseren, efficiënter en gebruiksvriendelijker maken is essentieel voor duurzaam gebruik van PiB. Om breed draagvlak te creëren heb ik input van pedagogisch medewerkers, -coaches en -beleidsmedewerkers, managers, bestuurders, onderzoekers, inspecteurs en ouders opgehaald. Met de resultaten van het vragenlijstonderzoek en de overige feedback komt alle benodigde input samen om PiB aan te passen.

Vanaf september start ik een werkgroep die alle feedback verwerkt in de PiB 2.0. Aan deze werkgroep nemen mijn promotors, een methodoloog met expertise op schaalconstructie vanuit de universiteit van Leiden, een methodoloog betrokken bij de ontwikkeling van PiB en ikzelf deel. Na deze fase hebben we een actueel, verbeterd en gebruiksvriendelijker versie van PiB die klaar is voor wetenschappelijke toetsing.

Genoeg werk te doen, ik heb er zin in!

Simon Hay
Pedagoog