Onderzoek kwaliteit van PiB
In mijn vorige post vertelde ik over mijn validatiestudie. In dit onderzoek wordt de kwaliteit van ‘Pedagogische praktijk in Beeld (PiB)’, vergeleken met een wetenschappelijk beproefd instrument.
Enthousiaste reacties deelnemers
Vlak voor de zomervakantie heb ik een aantal bijeenkomsten georganiseerd om de deelnemende organisaties te vertellen over het onderzoek, wat van hen verwacht wordt en natuurlijk om vragen te beantwoorden. Ik ben blij met het enthousiasme vanuit de praktijk om deel te nemen aan dit onderzoek, want dat is geen vanzelfsprekendheid. Ook tijdens de bijeenkomsten heb ik grote bereidheid ervaren mee te denken en mee te doen. Bij wetenschappelijk onderzoek is een veel gehoorde beperking dat er weinig reactie komt op de vraag deel te nemen. Ik heb mij proberen in te leven in de deelnemers en heb de bijeenkomsten vooral gebruikt om op te halen welke stappen in het onderzoeksproces voor de praktijk een belemmering vormen om mee te doen.
Het verzamelen van onderzoeksgegevens
Omdat wij videomateriaal verzamelen, om zowel PiB als het wetenschappelijk instrument CLASS op te scoren, is toestemming nodig op verschillende niveaus. Ten eerste op het niveau van de organisatie, daarna van de manager van de geselecteerde locaties. Vervolgens is van elke groep van alle betreffende pedagogisch medewerkers toestemming nodig en tot slot ook van een ouder van ieder kind van elke geselecteerde groep. Een flinke logistieke en administratieve klus. Ik kan de deelnemers ontlasten door achtergrondinformatie over het onderzoek en de benodigde toestemmingsformulieren te verschaffen. Maar van de deelnemers wordt gevraagd de informatie uit te zetten en mij de ondertekende toestemmingsformulieren terug te sturen. Ik had mij voorgenomen de deelnemende organisaties zo veel mogelijk op maat te ondersteunen én om de deelnemers niet te dwingen alle toestemmingsformulieren en geplande video-opnames binnen een bepaalde periode te hebben afgerond. Deze flexibele aanpak lijkt vruchten af te werpen; de toestemming van de locaties is bijna allemaal ontvangen en ook op het niveau van de groepen is al veel toestemming gegeven. Voor een aantal groepen hebben de ouders ook al aangegeven mee te willen doen, voor deze groepen staan de observaties gepland!
Onderzoek volgt de praktijk en niet andersom
Onze aanpak is geen gebruikelijke werkwijze in wetenschappelijk onderzoek. Het is voor onderzoekers veel makkelijker om een vaste, beperkte periode voor de dataverzameling vast te stellen. Ik heb bewust voor deze manier van werken gekozen, omdat ik het belangrijk vind de praktijk te volgen en niet mijn planning leidend te laten zijn. Ik vind dat het werk op de groep leidend moet zijn. Naar mijn mening ontbreekt het namelijk nog vaak aan verbinding tussen de praktijk en wetenschappelijk onderzoek.
Ik denk ook dat een flexibele planning de bereidheid tot deelname vergroot. Hierdoor ben ik van mening dat mijn onderzoek ook van grotere waarde is, voor zowel het proces op de werkvloer als de wetenschap. Ik denk dat de waarde van wetenschappelijke kennis nog groter wordt als de medewerkers in de kinderopvang zich meer betrokken voelen bij het onderzoeksproces. Het vraagt van mij als onderzoeker meer flexibiliteit en bereidheid om mijn planning aan te passen aan de grillen van de praktijk. Het is niet de makkelijkste weg, maar voor mij wel een belangrijke principiële keuze.
Artikel voor in een wetenschappelijk tijdschrift
Zoals ik in eerdere posts vertelde, ben ik meestal met meerdere deelstudies van mijn onderzoek tegelijk bezig. Dat is wel schakelen, maar het zorgt ook voor afwisseling in het werk. Zo heb ik mijn eerste deelstudie, een literatuurstudie en meta-analyse over zelfevaluatie-instrumenten in de kinderopvang, ingediend bij een wetenschappelijk tijdschrift. Daar wordt het artikel door een editor en een aantal voor mij onbekende onderzoekers op inhoud en kwaliteit beoordeeld. Mijn naam en die van mijn begeleiders is weggehaald uit het artikel. De onderzoekers die feedback geven, reviewers, weten niet wie de auteurs zijn. Wij weten ook niet wie de reviewers zijn van ons artikel. Op deze manier wordt niet de persoon, maar het artikel beoordeeld. Dit proces wordt ‘peer reviewing’ genoemd en is bedoeld om de kwaliteit van artikelen in wetenschappelijke tijdschriften te waarborgen. Een heel waardevol proces, waar wel veel tijd overheen gaat. Vaak ontvang je als auteur pas feedback na een half jaar tot een jaar.
In mijn geval ontving ik de feedback vlak voor de zomervakantie. In totaal hebben drie verschillende reviewers uitgebreide feedback gegeven. Ik heb tot begin oktober de tijd om inhoudelijk in te gaan op de 67 punten die de reviewers hebben aangegeven. Een flinke klus, zeker omdat de drie reviewers onafhankelijk van elkaar commentaar hebben gegeven. Dit betekent dat de feedback van de reviewers elkaar op sommige punten tegen kan spreken. Dit vraagt van mij om heel kritisch te kijken naar wat ik heb opgeschreven. De volgende stap is om de feedback van alle reviewers af te wegen en zelf een besluit te nemen om iets aan te passen. Ik heb gemerkt dat de kritische vragen van onafhankelijke deskundigen heel goed zijn en dat de kwaliteit van mijn artikel hierdoor echt verbetert. Gelukkig lezen mijn begeleiders goed mee.
PiB in het primair onderwijs?
Mijn onderzoek naar PiB gaat gestaag door. Maar als onderzoeker vind ik het ook belangrijk de ontwikkelingen vanuit de praktijk te blijven volgen, en daar waar mogelijk in te spelen op deze ontwikkelingen. Een voorbeeld daarvan is de interesse in PiB vanuit het primair onderwijs. Een kinderopvang-gebruiker van PiB nam contact met mij op met de vraag PiB ook te mogen gebruiken bij één van de basisscholen die onder hetzelfde bestuur valt als de kinderopvang. De directeur van deze basisschool wil graag inzicht in de pedagogische kwaliteit binnen de klassen, en zag in PiB een mooie werkwijze. In gesprek met deze school is besloten PiB te testen bij een aantal klassen en daarna samen te evalueren of PiB bruikbaar is en welke eventuele aanpassingen gedaan moeten worden aan PiB om het instrument (nog) beter te laten aansluiten bij het primair onderwijs. Uit de evaluatie met de basisschool bleek dat PiB een bruikbaar middel kan zijn. Om een brede inventarisatie naar mogelijkheden van PiB voor het primair onderwijs te onderzoeken, is begin oktober een brainstorm bijeenkomst met en voor het primair onderwijs gepland vanuit het Expertisecentrum Kinderopvang. Dit onderwerp kan ik niet meenemen in mijn promotieonderzoek, maar het combineren van praktijk en onderzoek bevalt goed! Wellicht is dit een mooi onderwerp voor vervolgonderzoek op de wat langere termijn.
Simon Hay
Pedagoog
Lancering PiB 2.0
De tijd tussen mijn laatste Promotie Post en deze is langer dan gepland, er was veel te doen 😊. Na het verwerken van alle aanpassingen aan PiB door de werkgroep en de feedback van een grote groep pedagogisch beleidsmedewerkers in de kinderopvang, hebben de technische ontwikkelaars van PiB alles aangepast in de nieuwe versie van PiB: PiB 2.0. Kort samengevat is PiB 2.0 meer compact en gebruiksvriendelijk geworden, maar er zijn vooral belangrijke inhoudelijke aanpassingen gedaan.
Wijzigingen in PiB 2.0
Zo zijn vragen over VE (voorschoolse educatie) toegevoegd, waardoor nu ook binnen de PiB-omgeving een rapportage gegenereerd kan worden die op alle VE-onderdelen rapporteert. Daarnaast zijn ook observatievragen toegevoegd over diversiteit/inclusie en digitale media. Tot slot hebben we alle observatievragen kritisch bekeken; de formulering is aangescherpt en de vragen zijn meer beknopt omschreven. We hebben PiB 2.0 met trots opnieuw gelanceerd op 30 januari jl. Vanaf dat moment zijn er weer nieuwe organisaties toegetreden tot de gebruikersgroep.
Opstart onderzoek naar de kwaliteit van PiB
Er komt, naast de vernieuwde versie van PiB, meer kijken bij mijn validatiestudie. Ik ben begonnen alle PiB-gebruikers toestemming te vragen voor deelname aan dit deel van mijn onderzoek. Ik ben erg blij met de vele positieve reacties; tot nu toe zijn er al 14 organisaties die deelname hebben toegezegd. Na de toestemming op organisatieniveau wordt bepaald hoeveel en welke groepen van een organisatie deelnemen. De volgende stap is dan om ook aan alle betreffende pedagogisch medewerkers en ouders (van de aanwezige kinderen) toestemming te vragen. Een tijdrovende maar zeer belangrijke klus, want iedereen die deelneemt aan onderzoek, moet goed weten wat deelname inhoudt en actief toestemming voor deelname geven.
Naast het organiseren van toestemming heb ik gezocht naar een videosysteem om opnames van de groepen te kunnen maken. Deze video’s kunnen vervolgens gescoord worden door verschillende observatoren aan de hand van verschillende meetinstrumenten (PiB 2.0 en CLASS). Naast vastleggen op beeld is het ook belangrijk dat een dergelijk systeem grote hoeveelheden (grote) video-bestanden veilig kan opslaan. En tot slot dat het beeldmateriaal ook online op afstand is te scoren. Dat is gelukt, ik heb IRIS Connect bereid gevonden toegang tot hun omgeving te verlenen voor dit onderzoek. Mooi dat dit kon, binnen KindeRdam werken we met dit systeem en we zijn er erg blij mee. Tot slot ben ik druk met zoeken naar studenten die mij kunnen helpen tijdens de validatiestudie. We hebben al één student die gaat helpen met het verzamelen van videomateriaal en het organiseren en later analyseren hiervan. Ook zal zij ondersteunen in de planning van de observaties en met andere logistieke zaken. Gelukkig, want ik moet het overzicht kunnen houden om de voortgang te kunnen bewaken. Dat kan niet als ik zelf alles moet doen. Tijdens een volgende post zal ik vertellen over het proces van scoren van de observaties; zo ver ben ik nu nog niet.
Dialoog over pedagogiek tijdens internationaal congres
Ik ben naar de VS geweest waar ik het SRCD Biennial congres heb bijgewoond en het eerste deel van mijn onderzoek middels een posterpresentatie heb gepresenteerd. Het congres was gigantisch met meer dan 4000 deelnemers, honderden presentaties en posterpresentaties verspreid over drie volle dagen. Heel intensief, maar heel erg de moeite waard! Tijdens de presentaties was veel gelegenheid om met andere onderzoekers in gesprek te gaan. Gaaf om onderzoekers van wie ik artikelen heb gelezen ‘in het wild’ te kunnen vragen naar hun visie. Dat helpt mij ook om mijn eigen gedachten over pedagogische kwaliteit in de kinderopvang aan te scherpen.
Hierdoor leer ik weer om scherper te kijken naar de kwaliteitsdiscussie in Nederland. Ik heb bijvoorbeeld gehoord welke meetinstrumenten nu veel gebruikt worden, en wat dit betekent voor beleid en praktijk. Ook tijdens mijn posterpresentatie ontstond waardevolle uitwisseling; er zijn veel onderzoekers vragen komen stellen en ik heb kunnen vertellen over mijn onderzoek.
Zelfevaluatie in internationaal perspectief
Wat mij opviel tijdens het congres, is dat men elders in de wereld anders aankijkt tegen de functie van zelfevaluatie in de kinderopvang dan ik. Daar waar zelfevaluatie vooral gebruikt wordt om zich goed voor te kunnen bereiden op een inspectiebezoek, denk ik dat zelfevaluatie daarnaast ook nog bij kan dragen aan kennis over pedagogische kwaliteit. Ik ben van mening dat pedagogisch medewerkers, door zelf te evalueren en te reflecteren op hun eigen handelen, een zinvolle bijdrage kunnen leveren aan kennisontwikkeling. Tijdens een bijeenkomst over kennisontwikkeling heb ik dan ook ingebracht dat naast wetenschap de praktijk wat mij betreft ook een waardevolle bijdrage kan leveren waar het gaat om definiëren en meten van pedagogische kwaliteit. Zo ontstaat er co-creatie van kennis: waarbij kennis over pedagogische kwaliteit niet alleen wordt uitgestort van bovenaf, maar juist ontstaat door kruisbestuiving tussen de praktijk en wetenschappelijke inzichten. Dit perspectief is nauwelijks aan bod gekomen tijdens het congres, hopelijk volgende keer wel!
Simon Hay
Pedagoog
Constructie van PiB 2.0
Sinds het plaatsen van mijn vorige post is er veel gebeurd. De vorige keer vertelde ik over het doel van mijn onderzoek: het actualiseren van PiB en de toepassing efficiënter en gebruiksvriendelijker te maken. Welke stappen komen daarbij kijken?
Informatie ophalen
Via focusgroepbijeenkomsten en vragenlijstonderzoek heb ik input opgehaald van pedagogisch medewerkers, pedagogisch coaches en beleidsmedewerkers, managers, bestuurders, onderzoekers, inspecteurs en ouders. Er is heel veel gereageerd. Daardoor heb ik veel informatie kunnen ophalen die cruciaal is om PiB blijvend te laten aansluiten bij de behoeften van de praktijk.
Oprichting werkgroep
Om de aanpassing van PiB systematisch, en daardoor navolgbaar, te kunnen doen heb ik een werkgroep opgericht. Aan de werkgroep nemen mijn begeleiders Harriet Vermeer, Ruben Fukkink en Harold Nefs deel. Daarnaast is Erik Jan de Wilde, één van de ontwikkelaars van PiB, ook aangesloten. Ik zit de werkgroep voor en beheer het zogenaamde ‘beslisdocument’. In het beslisdocument is per observatievraag feedback opgenomen met betrekking tot PiB, van alle experts, PiB-gebruikers en van alle andere geïnteresseerden. Daarnaast zijn statistische analyses gedaan, waarmee we observatievragen kunnen identificeren die wellicht overbodig zijn in PiB.
Toets observatievragen en toevoegen van nieuwe vragen
De werkgroep neemt alle informatie mee om te besluiten een observatievraag wel of niet op te nemen, te herformuleren, aan te vullen of te laten zoals deze nu is. Daarnaast zijn er extra vragen toegevoegd over onderwerpen waarvan experts en praktijk hebben aangegeven dat zij deze graag aan PiB willen toevoegen. Denk aan onderwerpen als VE, inclusie/diversiteit en burgerschap. Een leuke, maar ook complexe klus.
Waar staan we nu?
De werkgroep is vijf keer bijeengekomen en we zijn al een heel eind. We verwachten dat er begin 2023 een conceptversie van PiB 2.0 klaarligt. Deze conceptversie wordt eerst voorgelegd aan de meeleesgroep waar geïnteresseerde pedagogisch beleidsmedewerkers zich voor hebben kunnen opgeven. Na verwerking van eventuele opmerkingen zal de gebruikelijke digitale versie van PiB 2.0 live gaan!
Het vervolg: werkt PiB net zo goed als wetenschappelijke instrumenten?
Zodra PiB 2.0 in gebruik wordt genomen, kan de volgende fase van mijn onderzoek starten. Ik zal organisaties die PiB gebruiken, en die mij toestemming hebben gegeven voor deelname, benaderen voor mijn validatiestudie.
Hoe ga ik de uitkomsten valideren?
Valideren houdt concreet in dat ik de uitkomsten van PiB 2.0 ga vergelijken met de uitkomsten van een wetenschappelijke meting, gedaan met CLASS, op dezelfde groep op hetzelfde moment (maar onafhankelijk van elkaar). Door dit proces op meerdere verschillende groepen te herhalen kan ik een uitspraak doen of PiB 2.0 de pedagogische kwaliteit net zo goed kan meten als een wetenschappelijk instrument.
Als PiB 2.0 valide blijkt, dan zijn de resultaten van PiB nog waardevoller. Het is dan nog beter mogelijk de PiB-resultaten naast de resultaten van de wetenschappelijke landelijke kwaliteitspeilingen van het LKK, die ook CLASS-instrumentarium gebruiken, te leggen. Maar goed, zo ver zijn we nu nog niet. Eerst zal ik binnenkort alle PiB-gebruikers om toestemming vragen voor deelname aan mijn validatiestudie.
Internationale presentatie
Tot slot ben ik in de tussentijd ook bezig geweest met een aanvraag om het eerste deel van mijn onderzoek, mijn literatuurstudie, te presenteren tijdens een prestigieus internationaal congres. Ik heb net te horen gekregen dat mijn aanvraag is goedgekeurd; ik ga mijn literatuurstudie presenteren in de VS in maart 2023 bij de SRCD Biennial Meeting! Een mooie gelegenheid om bij te dragen aan de internationale discussie over pedagogische kwaliteit in de kinderopvang, nieuwe kennis op te doen en mijn onderzoek te laten zien aan vakgenoten.
Een promotieonderzoek en traject vergt veel tijd en aandacht, maar ik ervaar dit proces als heel waardevol. Bij alle inspanningen houd ik het doel goed voor ogen; het gaat om een goed instrument voor de praktijk voor de kinderopvang, waarmee de pedagogische kwaliteit continu verbeterd kan worden.
Eerste (voorlopige) mijlpaal
Vlak voor de zomervakantie heb ik mijn literatuurstudie naar zelfevaluatie in de kinderopvang wereldwijd, ingediend bij een toonaangevend Engelstalig wetenschappelijk tijdschrift. Een mooie mijlpaal na anderhalf jaar lezen, schrijven, analyseren, bespreken en herschrijven. Samen met mijn promotor heb ik het artikel met alle bijbehorende tabellen en figuren geüpload en voorzien van een begeleidende brief. Nog een flinke bureaucratische klus, maar door er moeite voor te doen geeft het nog meer voldoening dat het is gelukt.
Dit is echter pas het begin van het proces. In de eerste plaats toetst de redacteur van het tijdschrift of mijn artikel geschikt is. Daarna geeft een aantal onafhankelijke onderzoekers, zogenaamde peer reviewers, feedback op de kwaliteit van mijn artikel. Op basis van deze feedback bepaalt de redacteur of mijn artikel wordt gepubliceerd. Zo ja, dan moet ik eerst alle feedback van de reviewers nog verwerken, dan pas is mijn artikel gereed voor publicatie. Dit proces duurt zes maanden tot een jaar. Geeft niet, gelukkig heb ik in de tussentijd voldoende andere dingen te doen.
Het échte werk is begonnen
Zo vertelde ik in mijn vorige post dat ik voor mijn tweede deelproject, door middel van focusgroepen, kennis heb opgehaald bij experts in en om de kinderopvang. Ik heb alle groepsinterviews anoniem geanalyseerd. Ik heb alles eruit gedestilleerd wat belangrijk is: onderwerpen die iets zeggen over de pedagogische kwaliteit van de kinderopvang, zaken die van belang zijn voor zelfevaluatie en specifiek voor ‘Pedagogische praktijk in Beeld (PiB)’. Op basis van deze onderwerpen heb ik een digitale vragenlijst opgesteld voor zowel kinderopvang voor 0-4 als 4-12 jaar. Mijn doel is om concrete handvatten te verkrijgen om PiB op te actualiseren, te verbeteren en gebruiksvriendelijker te maken.
Voor de eerste keer verzamelde ik zelf data en vroeg ik mensen mee te denken en mee te doen met mijn onderzoek. Dit is het échte werk! Spannend, maar ook heel leuk en belangrijk om de mening van de praktijk goed mee te nemen. Ik was benieuwd of ik genoeg reacties zou krijgen. Ik heb iedereen in mijn netwerk gevraagd bekendheid te geven aan mijn vragenlijsten en ik heb de vragenlijsten ook via verschillende social media gedeeld. Bijzonder hoeveel mensen geholpen hebben aandacht te geven aan mijn vragenlijstonderzoek, heel fijn. Ik was zo benieuwd, ik heb elke dag even gekeken naar de respons. De vragenlijst voor 0-4 jaar is heel veel ingevuld, de vragenlijst voor BSO-leeftijd ook ruim voldoende, maar wel een stuk minder. Zo blijft BSO-onderzoek ook wat achter in mijn project. Goed om hier alert op te blijven bij mijn volgende deelprojecten. Maar daarover een volgende keer meer.
Van PiB 1.0 naar PiB 2.0
Ik heb vanaf het eerste moment gezegd dat de huidige PiB-versie niet de definitieve versie is. Actualiseren, efficiënter en gebruiksvriendelijker maken is essentieel voor duurzaam gebruik van PiB. Om breed draagvlak te creëren heb ik input van pedagogisch medewerkers, -coaches en -beleidsmedewerkers, managers, bestuurders, onderzoekers, inspecteurs en ouders opgehaald. Met de resultaten van het vragenlijstonderzoek en de overige feedback komt alle benodigde input samen om PiB aan te passen.
Vanaf september start ik een werkgroep die alle feedback verwerkt in de PiB 2.0. Aan deze werkgroep nemen mijn promotors, een methodoloog met expertise op schaalconstructie vanuit de universiteit van Leiden, een methodoloog betrokken bij de ontwikkeling van PiB en ikzelf deel. Na deze fase hebben we een actueel, verbeterd en gebruiksvriendelijker versie van PiB die klaar is voor wetenschappelijke toetsing.
Genoeg werk te doen, ik heb er zin in!
Simon Hay
Pedagoog
De eerste ruwe versie van mijn literatuurstudie (het systematic review) is af. Ik merk wel dat het belangrijk is de tijd te nemen om van de ruwe naar de definitieve versie te komen. Zo voeren we de statistische analyses uit in drie verschillende softwareprogramma’s, zodat we zeker weten dat de uitkomst klopt. Dat doen we samen met een collega van de universiteit van Leiden die specialist is op dit gebied. Ook ga ik alle tekst goed nalopen op taal, schrijfstijl en alle andere (strikte) regels voor wetenschappelijke publicaties. Als dit gedaan is ga ik het artikel aanbieden aan een internationaal wetenschappelijk tijdschrift.
Kennis opgehaald
De focusgroepen waar ik in mijn vorige bericht over vertelde, hebben ondertussen plaatsgevonden. Tijdens drie verschillende online groepsinterviews zijn deskundigen vanuit de wetenschap, brancheorganisaties, kennisinstituten, oudervertegenwoordiging en de inspectie van de kinderopvang bevraagd op de indicatoren van pedagogische kwaliteit en op zelfevaluatie in de kinderopvang.
Van input naar output
De interviews zijn daarna volledig uitgeschreven en geanonimiseerd. Deze geanonimiseerde data ga ik analyseren zodat ik specifieke onderwerpen kan filteren voor in de digitale vragenlijst die ik voor de zomer breed ga verspreiden onder pedagogisch coaches, pedagogische beleidsmedewerkers, managers, bestuurders, pedagogisch medewerkers, maar ook onder oudervertegenwoordigers en GGD-inspecteurs.
PiB actualiseren
De resultaten van de focusgroep-interviews en het vragenlijstonderzoek geven mij de informatie die nodig is om het instrument ‘Pedagogische praktijk in Beeld (PiB)’ te actualiseren, te wegen welke onderwerpen het meest belangrijk zijn en om PiB compacter (gebruiksvriendelijker) te maken. Deze stap doen we samen met een collega uit Leiden die expert is op het gebied van schaalconstructie van wetenschappelijke meetinstrumenten.
Een actuele, aangepaste en compactere versie van PiB. En dan?
Deze aanpassing van PiB is voor mij slechts een eerste stap. De volgende stap is een heel belangrijke; namelijk onderzoeken of de aangepaste versie van PiB meet wat het moet meten (validiteit) en of het gebruik van PiB door verschillende observatoren leidt tot dezelfde uitkomsten (betrouwbaarheid). Zonder gedegen valideringsonderzoek weet je niet zeker of het instrument kan waarmaken wat het belooft.
Dit is een complexe en tijdrovende klus, maar ik ga deze uitdaging graag aan. Het duurt nog eventjes, maar ik ga van PiB een gevalideerd instrument voor de kinderopvang maken. Dit is wat de kinderopvang als professionele sector verdient!
Simon Hay
Pedagoog
Zo kan ik mijn werkzaamheden momenteel het beste karakteriseren. En niet alleen in de praktijk, maar ook wat betreft mijn onderzoekswerkzaamheden. In mijn vorige promotiepost vertelde ik over een eerste oriënterende analyse naar de inhoud en omvang van Pedagogische praktijk in Beeld (PiB). In de tussentijd ben ik mijn eerste artikel, een ‘systematic review’ aan het schrijven. Tot slot ben ik begonnen met het opzetten van focusgroepen met experts die ik begin volgend jaar wil interviewen.
Stuk voor stuk mooie deelprojecten, die elk de nodige tijd en aandacht vragen op specifieke momenten. Structuur is nodig om alle processtappen van de verschillende deelprojecten goed in de tijd in te plannen. Daar waar het eerst vooral mijn eigen agenda betrof, en die van mijn begeleiders uiteraard, stem ik nu steeds meer af met anderen. Gelukkig gaat me dit goed af en vind ik de bijkomende dynamiek juist leuk!
De resultaten van mijn eerste analyses op een groot – geanonimiseerd – databestand van huidige PiB-gebruikers zijn veelbelovend. Ik verwacht dat we straks de uiteindelijke versie van PiB efficiënter en actueler kunnen maken. Maar deze eerste oriëntatie was niet meer dan dat. De aanpassingen aan PiB, met als doel een betrouwbaar en valide zelfevaluatie-instrument voor de kinderopvang, vraagt om meer dan analyse van huidige gebruikers.
Ik ben al een tijd geleden begonnen met een ‘systematic review’. Dat betekent dat ik alle relevante wetenschappelijke literatuur wat betreft zelfevaluatie in de kinderopvang ben gaan zoeken. Dat heb ik, onder begeleiding van mijn promotoren, gedaan door te zoeken in online databases en door referentielijsten van relevante artikelen te doorzoeken. Een flinke klus die uiteindelijk moet leiden tot een volledig overzicht van zelfevaluatie in de kinderopvang wereldwijd. Maar de grootste uitdaging is om mijn zoektocht en mijn conclusie systematisch op papier te zetten, zodat andere onderzoekers mijn proces exact kunnen volgen om vervolgens te bepalen of ik volledig genoeg ben geweest. Spannend natuurlijk, maar ook mooi om elkaar op deze manier scherp te houden. Ik verwacht mijn review eind dit jaar af te hebben.
Parallel heb ik drie focusgroepen opgezet. Een focusgroep is, in mijn geval, een groep diverse experts in en om de kinderopvang die mij tijdens één bijeenkomst van informatie voorzien die helpt bij het actualiseren en verbeteren van PiB. Deze vorm van kwalitatief onderzoek is nog relatief nieuw in het werkveld kinderopvang en was nog onbekend voor mij. Na een korte, maar intensieve scholing op kwalitatief interviewen ben ik in gesprek geraakt met twee collega’s van de universiteit van Leiden, een kwalitatief onderzoeker en een statisticus die mij gaan helpen PiB te optimaliseren. De data voor de focusgroepbijeenkomsten begin februari liggen vast, en de eerste versie van de interviewvragen aan de focusgroepen bespreken we binnenkort.
Tijdens mijn zoektocht in de literatuur kwam ik toevallig in gesprek met James Elicker, professor aan de Purdue University in de Verenigde Staten. Hij doet al 50 jaar onderzoek naar de kinderopvang en is gespecialiseerd in zelfevaluatie. We hebben mailcontact waarin we van gedachten wisselen over kinderopvang en zelfevaluatie. Dit is niet alleen heel leuk, maar zo waardevol om te kunnen doen met iemand die zo kundig en enthousiast is. Dit is slechts één voorbeeld van mooie gesprekken die ik heb gevoerd. Mooi om te ervaren hoeveel mensen bereid zijn te helpen.
Toen ik uitsprak te willen gaan promoveren heb ik meer dan één keer de vraag gekregen of ik dat wel moest doen. Argumenten waren dan dat ik een (groot) gezin heb, dat mijn werk als pedagoog bij KindeRdam veel vraagt en ik vast wel een andere intellectuele uitdaging kon vinden die minder belastend was. Ja, natuurlijk is het druk en moet ik zorgen dat ik mijn tijd en aandacht goed verdeel, maar ik merk dat ik mijn promotietraject juist steeds leuker ga vinden. Ik krijg veel energie van de uitdaging, het afstemmen met gelijkgestemden en de link die ik help leggen tussen wetenschap en praktijk. Ik ben wel realistisch genoeg om te weten dat er echt wel moeilijke momenten gaan komen, maar so far so good!
Simon Hay
Pedagoog
Dit is wat mijn promotoren zeiden, toen ik op het punt kwam om naast mijn literatuuronderzoek, ook daadwerkelijk data te gaan verzamelen. Mijn echte onderzoek begint nu! Hoewel ik genoten heb van alle voorbereidende werkzaamheden, is dit voor mij een mooie mijlpaal: onderzoeksgegevens uit ons zelfevaluatie-instrument ‘Pedagogische praktijk in Beeld (PiB)’ wetenschappelijk analyseren.
PiB is een instrument dat is gebaseerd op het ‘Veldinstrument observatie pedagogische praktijk’ van het NJi en de GGD GHOR, en op een aantal vragen uit de NCKO Kwaliteitsmonitoren 0-4 en 4-12. KindeRdam en het NJi hebben deze instrumenten geïntegreerd in de digitale monitor-omgeving van PiB. Het doel van mijn eerste deelonderzoek is om de data die met PiB is verzameld, door de verschillende aangesloten kinderopvangorganisaties, psychometrisch te analyseren. Een voorbeeld hiervan is dat ik zal nagaan of het aantal vragen van PiB verminderd kan worden zonder dat dit ten koste gaat van een goed beeld van de pedagogische kwaliteit. Want ik wil de kwaliteit van PiB behouden en tegelijk PiB efficiënter en daardoor gebruiksvriendelijker maken.
Maar zoals ik beschreef in mijn vorige Promotie Post, is er een gedegen plan nodig. Ten eerste is bepaald dat ik voor dit deelonderzoek genoeg heb aan de anonieme gegevens uit PiB, ik hoef niet te weten welke data van welke organisatie, locatie of groep, afkomstig is. Vervolgens heb ik een informatiebrochure gemaakt waarin ik uitleg geef over het doel van dit deelonderzoek, hoe de data verzameld wordt en wat er precies met die gegevens gebeurt. Daarna heb ik een toestemmingsverklaring gemaakt waarmee elke organisatie om deelname wordt gevraagd door de verklaring te ondertekenen. Tot slot heb ik de informatiebrochure en de toestemmingsverklaring gemaild naar alle afzonderlijke huidige PiB gebruikers met de vraag of zij willen meewerken aan mijn deelonderzoek.
Ik kan me de druk op de ‘Verzenden’-knop van die e-mails nog goed herinneren… Op dat moment gingen er allerlei vragen door mijn hoofd. Is de informatie in de brochure helder en volledig genoeg? Hoe hoog is de drempel voor organisaties om mee te willen doen aan mijn onderzoek? Hoeveel organisaties zullen uiteindelijk gaan meedoen? Ik vond het spannend omdat ik nog niet wist of ik voldoende PiB-data zou gaan krijgen, om de analyses uit te kunnen voeren.
Gelukkig kreeg ik al snel van de meeste PiB-gebruikers toestemming om hun anonieme data te mogen gebruiken voor mijn onderzoek. Sommige gebruikers hadden nog wat vragen, maar na kort overleg hebben alle organisaties die ik had gemaild, toestemming gegeven. Dat was voor mij een enorme opsteker en blijk van vertrouwen. Blijkbaar wordt het belang van mijn onderzoek gezien!
Toen kwam het moment dat ik de het totale databestand ontving. Het bestond uit een hele hoop rijen en kollommen met cijfers en wat korte beschrijvingen. Het leek misschien niets bijzonders, maar ik realiseerde me dat ik goud in handen had. Dit zijn gegevens waarmee ik PiB kan verbeteren en daardoor de kinderopvang iets in handen kan geven om de pedagogische kwaliteit te verbeteren! Ik kon niet wachten om deze schat aan informatie, zo voelt het echt, te mogen analyseren. Maar toen werd ik weer met beide benen op de grond gezet en geconfronteerd met het feit dat het ruim 10 jaar geleden is dat ik voor het laatst met statistiek bezig ben geweest. Maar, ik heb de statistiekboeken afgestoft en ik heb gelukkig geduldige promotoren en een PiB-collega die statistisch erg deskundig is.
In een volgende Promotie Post vertel ik graag over de uitkomsten van mijn analyses!
Simon Hay
Pedagoog
In mijn vorige Promotie Post vertelde ik over de beoordeling van mijn onderzoeksvoorstel door de Ethiekcommissie. Ik ben blij te kunnen vertellen dat mijn voorstel op de valreep van 2020 officieel is goedgekeurd door de Ethiekcommissie! Het was een flinke klus om goedkeuring te krijgen. In deze post beschrijf ik in het kort de lange weg die ik ervoor heb afgelegd.
Ter voorbereiding heb ik meerdere cursussen gevolgd en mijn onderzoeksvoorstel op een aantal punten aangevuld en aangescherpt. De cursus die mij het meest is bijgebleven, ging over wetenschappelijke integriteit. Bij mijn aanstelling als promovendus heb ik een document ondertekend waarin ik beloof onderzoek te doen volgens de gedragscode wetenschappelijke integriteit. Tijdens de verdediging van mijn proefschrift (over een paar jaar…) zal mijn promotor mij opnieuw wijzen op de verantwoordelijkheden die horen bij wetenschappelijk onderzoek.
Voor deze cursus heb ik het document Nederlandse gedragscode wetenschappelijke integriteit gelezen; maar liefst 32 pagina’s. In het document wordt uitgelegd dat wetenschappelijk onderzoek aan 5 principes moet voldoen: eerlijkheid, zorgvuldigheid, transparantie, onafhankelijkheid en verantwoordelijkheid.
Dit zijn flink wat eisen, die ook streng in de gaten worden gehouden door de Ethiekcommissie. Zij doen dit vóórdat ik aan mijn onderzoek begin, maar ook door collega-onderzoekers tijdens mijn onderzoek. Ook wanneer ik een artikel in een wetenschappelijk vakblad wil laten plaatsen, wordt mijn artikel door onafhankelijke collega’s beoordeeld op deze 5 principes, zgn. peer-review. Verder wordt er beoordeeld of ik niet, zonder juiste bronvermelding, ideeën van anderen gebruik en voordoe als mijn eigen ideeën (plagiaat) of dat ik data of resultaten ‘verzin’.
Eerlijk gezegd ben ik blij met de strenge toets! Het is belangrijk dat onderzoekers, en zeker beginnende onderzoekers zoals ik, in een omgeving terecht komen waarin integer wetenschappelijk onderzoek wordt gedaan en er op de 5 principes wordt gecontroleerd. Als onderzoeker heb je altijd te maken met verschillende belangen en je maakt keuzes in de manier waarop jij jouw resultaten presenteert. Het is essentieel dat dit op een zuivere en onafhankelijke manier gebeurt en dus is het goed dat er andere mensen met mij meekijken.
Ik ben inmiddels begonnen de literatuur die ik voor mijn onderzoek wil gebruiken, op een systematische en transparante manier op te zoeken. Dit doe ik door een systematic literature review uit te voeren. Via een vast protocol zoek ik naar geschikte literatuur en elke afweging die ik maak om een publicatie wel of niet te gebruiken, verantwoord ik. Voor de buitenwereld wordt dus duidelijk welke informatie ik heb gebruikt en waarom ik informatie wel of niet meeneem in mijn onderzoek. Ik ben dus al meteen ‘wetenschappelijk integer’ van start gegaan!
De volgende stap is dat ik een artikel schrijf over de literatuur die ik heb gevonden. Het artikel laat ik dan beoordelen door onafhankelijke collega’s. Maar dat duurt nog even. Er gaat flink wat tijd in zitten om alles eerlijk, zorgvuldig, transparant, onafhankelijk en verantwoord op papier te krijgen! 😊
Simon Hay
Pedagoog
Sinds 2014 werk ik bij KindeRdam als pedagoog. Al snel raakte ik geïnteresseerd in de vraag hoe wij de pedagogische kwaliteit van de kinderopvang kunnen verbeteren. Ik heb de mogelijkheid gekregen om op onderzoek te gaan naar werkwijzen die goed bruikbaar zijn in de praktijk. Met andere woorden: pedagogische handvatten die voor de pedagogisch medewerkers, pedagogisch coaches en managers handig zijn én informatie opleveren. Daarmee kunnen we de pedagogische kwaliteit verbeteren.
Dit is geen gemakkelijke, maar wel een mooie en uitdagende zoektocht. Een zoektocht die heeft geresulteerd in een samenwerking met het Nederlands Jeugdinstituut én de ontwikkeling van ons zelfevaluatie-instrument ‘Pedagogische praktijk in Beeld’, PiB. Ondertussen wordt PiB gebruikt door 13 andere kinderopvangorganisaties door heel Nederland.
Door mijn ervaring met PiB en uit de ervaringen van de andere organisaties is gebleken dat PiB prettig werkt voor pedagogisch medewerkers. Het helpt pm’ers écht reflecteren op hun pedagogisch handelen en de omgeving die zij kinderen bieden.
Ik bleef zitten met de vraag:
Wordt de pedagogische praktijk echt verbeterd door het gebruik van PiB?
Dat is geen gemakkelijke vraag om te beantwoorden. Ik ben met mensen gaan praten: collega’s, vakgenoten, wetenschappers, inspectie en ouders. Dat was inspirerend, maar een antwoord hebben de gesprekken mij niet echt opgeleverd. Dat kon natuurlijk ook niet. Ik kwam tot de conclusie dat ik zelf antwoord wilde leren geven op mijn vraag. Daarvoor kan ik niet leunen op mijn beperkte wetenschappelijke kennis van de masteropleiding. Ik besloot om te gaan promoveren. En zelf onderzoeksvaardigheden te ontwikkelen om mijn vraag te kunnen beantwoorden.
KindeRdam biedt mij de komende jaren de mogelijkheid om grotendeels binnen werktijd aan mijn onderzoek te mogen werken. Mijn scriptiebegeleider vanuit de universiteit van Leiden, Harriet Vermeer, wilde mij als promovendus begeleiden en ook bijzonder hoogleraar kinderopvang Ruben Fukkink wil mij ondersteunen. Ik vind het erg bijzonder hoeveel steun ik vanaf het eerste moment heb gekregen!
In januari van dit jaar ben ik vol goede moed van start gegaan. Ik heb een onderzoeksvoorstel geschreven en heb dit ter goedkeuring ingediend bij de Ethiekcommissie. De Ethiekcommissie beoordeelt onder andere of ik voldoende rekening houd met de ‘belasting’ van deelnemers aan mijn onderzoek en of ik alle privacyregels goed in acht neem. Dit is een belangrijke mijlpaal; volgens mijn begeleiders kan ik dan beginnen aan het leukste gedeelte: onderzoek doen. Ik ben al gestart met literatuur zoeken en ik heb ook al een opleidingsplan voor mijzelf geschreven. Samen met mijn begeleiders heb ik cursussen uitgekozen om mijn onderzoeksvaardigheden meer te ontwikkelen.
Ik moet flink aan de bak de komende jaren
Ik heb veel zin in mijn onderzoek. Via deze Promotie Posts geef ik regelmatig een update en neem ik jullie graag mee ‘op reis’.
Simon Hay
Pedagoog