Online kennisbijeenkomst data-ondersteund werken aan regie op onderwijskwaliteit
Afgelopen 3 juni, 2020
Na het grote succes van onze eerste kennisbijeenkomst ‘Data-ondersteund werken aan regie op onderwijskwaliteit’ besloten we de feedback van de eerste deelnemers mee te nemen en de bijeenkomst nogmaals te organiseren. Deze keer met meer concrete praktijkvoorbeelden van wat datagebruik op kan leveren.
Samen met het Landelijk Expertise Centrum Speciaal Onderwijs (LECSO) hebben we deze keer in verband met covid-19 de bijeenkomst online opgezet. Ook deze middag stond datagebruik in het speciaal onderwijs centraal. Het onderwerp werd weer van verschillende kanten belicht: de wetenschappelijke onderbouwing van dr. Cindy Poortman van de Universiteit Twente, TRIPS als een digitale oplossing door Robert Iepsma en een praktijkvoorbeeld van Stichting Orion door Maybelle Groeneschey en Kelly van der Koelen.
Ons doel voor de middag was helder. Wij zouden graag zien dat de deelnemers naar aanleiding van de kennisbijeenkomst stappen gaan ondernemen om nog beter data-ondersteund te gaan werken aan de onderwijskwaliteit in hun eigen organisatie. Data gebruik in het speciaal onderwijs is lastig, maar veel kan opleveren als het goed ingezet wordt!
De wetenschappelijke onderbouwing door dr. Cindy Poortman
De eerste presentatie van de middag werd gegeven door dr. Cindy Poortman, mede-oprichter en eigenaar van Datateam Partners. Zij is gespecialiseerd in professionele leergemeenschappen, onderzoek doen naar en advies geven over beroepspraktijkvorming in het mbo en hbo, en data-ondersteunde besluitvorming in datateams.
Ze begon haar presentatie door eerst de begrippen ‘data in het onderwijs’ en ‘datagebruik’ toe te lichten. Ze vertelde dat data alle gegevens zijn die systematisch verzameld en georganiseerd worden en betrekking hebben op het onderwijs. Het gaat dan om zowel kwantitatieve als kwalitatieve gegevens. Voorbeelden hiervan zijn leerprestaties, leerlinggegevens, observaties in de klas, incidenten en sociaal emotionele ontwikkeling. Als het gaat over datagebruik, dan hebben we het over het systematisch verzamelen, analyseren en interpreteren van aanwezige data binnen de school en de informatie gebruiken om het onderwijs te verbeteren.
Nut en noodzaak van datagebruik in het onderwijs
Data-ondersteund werken in het onderwijs wordt nog niet door iedereen omarmd. “Ik heb veel ervaring, ik weet het zo ook wel”. “Als het goed gaat heb je dat niet nodig” en “Het ligt aan de leerlingen welke resultaten we halen”. Dit zijn uitspraken die gedaan worden door mensen die nog sceptisch zijn tegenover datagebruik in het onderwijs. Uit onderzoek blijkt echter dat het veel voordelen heeft om data in te zetten als je regie op onderwijskwaliteit wilt hebben. Met behulp van data kun je gemakkelijker controleren of doelen bereikt worden, er kunnen betere beslissingen gemaakt worden en leerbehoeften worden makkelijker geïdentificeerd. Daarbij zijn assumpties en intuïtie simpelweg niet altijd correct. Voor de beste keuzes zijn beide nodig; de ervaring van een leerkracht én de data.
Het probleem met data-ondersteund werken in het onderwijs is niet dat er geen data is, er is meer dan genoeg data beschikbaar. Veel data blijft echter hangen bij het monitoren. Dat is jammer, want zo blijft de kans om onderwijs te verbeteren liggen. “Alleen naar data kijken leidt niet tot betere onderwijsresultaten, daar komt meer bij kijken.“
Zonder hypothese kan je in alle data iets vinden
Scholen die data-ondersteund willen gaan werken aan de verbetering van hun onderwijs, moeten dit planmatig aanpakken. Dit kunnen ze doen door eerst een concreet probleem te beschrijven en hier een hypothese aan koppelen. Cindy legt uit: “Als je met data begint, vind je vaak wat je wilt vinden. Je hebt eerst een kader nodig om naar te kijken. De hypothese moet ook meetbaar zijn. Wat moet data laten zien om te zeggen dat we de hypothese kunnen accepteren. Wat voor cijfers wil je daar dan bij? Ik los dat op door in extreme getallen te weken. Moet het 100% zijn? Nee minder. En 20% dan? Nee meer. Wat is veel of weinig? Spreek dat eerst af. Maak van tevoren een beslissing.”
Bij het nadenken over een hypothese moet er sprake zijn van zowel externe, als interne attributie. Als we het hebben over externe attributie zoek je de oorzaak van een probleem buiten jezelf, bijvoorbeeld: “deze leerling haalt lage cijfers omdat hij zijn best niet doet”. Interne attributie heeft te maken met de oorzaak bij jezelf leggen: “deze leerling haalt lage cijfers omdat ik het niet goed uitleg”. Vervolgens moet met behulp van data onderzocht worden of die hypothese aangenomen kan worden of niet. Als het inderdaad zo blijkt te zijn als je voorspeld had, dan moeten er een maatregel genomen worden. Tot slot moet de effectiviteit hiervan geëvalueerd worden. Als de hypothese niet waar blijkt te zijn, moet je een nieuwe hypothese opstellen en de stappen opnieuw afgaan.
Tips & Tricks
Voor de organisaties die hier stappen in willen ondernemen eindigde Cindy haar presentatie met nog in enkele tips:
- Focus op de verbetering van de kwaliteit, niet alleen op verantwoording.
- Begin met een probleemstelling en hypothese.
- Doe eerst grondig onderzoek met de benodigde data als er een probleem is, neem niet meteen maatregelen.
- Werk samen aan de doelen met collega’s (bijvoorbeeld in een professionele leergemeenschap).
- Werk samen met experts, datagebruik vraagt veel verschillende vaardigheden.
- De schoolleiding heeft een belangrijke taak in het faciliteren, voordoen en enthousiasmeren.
- Het trainen van kennis en vaardigheden, een professionele ontwikkeling in datagebruik is noodzakelijk.
- Combineer data met de eigen kennis en ervaring
Slim en efficiënt omgaan met data
Robert Iepsma, data specialist en mede-oprichter van TRIPS begint zijn verhaal met een naadloze aansluiting op zijn voorganger. Wanneer organisaties vast hebben gelegd met welke hypothese of welk doel voor ogen zij data gaan verzamelen, lijkt het analyseren hiervan in het het (V)SO nog niet zo gemakkelijk. Dat heeft verschillende oorzaken. Zo heeft het (V)SO te maken met zeer diverse leerling populaties en groepssamenstellingen, waardoor er tal van methodes, leerstof en onderwijssoorten zijn binnen een school, of zelfs binnen een klas. Een bijkomende uitdaging is dat de populatie frequent verandert. Er zijn geen algemene richtlijnen voor resultaten analyses zoals in het PO en VO. Ook is de LVS vaak niet volledig passend. Data is versplinterd over verschillende systemen. Er moet dus vaak worden geanalyseerd, waarbij veel handmatige vergelijkingen en berekeningen worden gedaan. Data-ondersteund werken aan de onderwijskwaliteit is dus een behoorlijke klus.
Hoe ondersteunt TRIPS scholen in datagebruik?
TRIPS kan organisaties hierbij helpen door het handwerk te automatiseren. Binnen TRIPS kunnen alle gegevens automatisch uit het bronsysteem gehaald worden waarna het samen gebracht wordt. Er is dan continu inzicht in de meest recente gegevens, hierdoor zijn medewerkers ook meer gemotiveerd de data te administreren. Ze gaan er namelijk ook écht iets mee doen. Algoritmes koppelen gewenste data automatisch, waardoor snel en gemakkelijk trendanalyses en vergelijkingen gemaakt kunnen worden. Dit geeft meer analysemogelijkheden waardoor men beter onderbouwde besluiten kan nemen.
Cindy vertelde over het stappenplan dat gevolgd moet worden om te kunnen bepalen hoe data ingezet kan worden bij een probleemstelling. Robert sloot hierop aan door een manier te laten zien waarmee slim en efficiënt de juiste analyses gevisualiseerd kunnen worden. Maar wat doe je hier vervolgens mee? Hoe helpt data dan bij het verbeteren van de onderwijskwaliteit? Daarover ging de presentatie van Maybelle Groeneschey (beleidsmedewerker) (linker foto) en Kelly van der Koelen (directeur Orion College Amstel) (rechter foto).
Eerst voor wie en waartoe, dan pas de inhoud
Maybelle legde uit hoe zij het onderwijs bij Stichting Orion data-ondersteund vormgeven. Daarbij onderzoeken zij met behulp van data: 1) Aan wie geven wij onderwijs? 2) Waartoe geven wij onderwijs? 3) Welke inrichtingsvraagstukken hebben wij dan? Zeker in het speciaal onderwijs is er sprake van veel maatwerk. Per leerling moet onderzocht worden welke kenmerken hij bezit, wat dat zou kunnen betekenen voor zijn toekomst en welke onderwijsdoelen er dan voor hem zijn.
Om de leerlingpopulatie in kaart te brengen worden gegevens verzameld als: leeftijd, IQ, diagnose en ondersteuningsbehoeften. Op basis van deze gegevens kan vervolgens bepaald worden waartoe onderwijs gegeven wordt. Daarvoor heeft Stichting Orion niet alleen een didactisch eindprofiel met niveau’s en aanbod opgesteld, maar ook een sociaal & maatschappelijk eindprofiel met bijbehorende thema’s en mate/ type ondersteuning.
Pas wanneer helder is voor wie en waartoe onderwijs gegeven wordt, wordt de inrichting ontworpen. Met een ondersteunend pedagogisch en didactisch klimaat werken ze aan de didactische en sociaal maatschappelijke tussenniveaus van de diverse eindprofielen. Ook bij alle onderwijsvraagstukken worden de eindprofielen in gedachten gehouden. Hoe zetten we ten behoeve van de eindprofielen de medewerkers in? Met welk idee richten we ons gebouw in? Hoe besteden we het budget? Welk aanbod is er nodig om de einddoelen te halen? Om te bepalen of we het juiste doen en om zo nodig inzichtelijk te maken wat er nog te doen is, worden passende data verzameld en geanalyseerd.
“We mochten meedenken over het ontwerp van ons nieuwe schoolgebouw. Bij het brainstormen hebben we de data over incidenten er bij gepakt. We hebben onderzoek gedaan naar op welke locaties de meeste incidenten plaatsvinden en of daar een bepaalde factor in zit. Uit de analyse bleek dat we in ons nieuwe gebouw graag meer overzicht en openheid wilden creëren. Na de verhuizing hebben we weer de data over incidenten bekeken en we zagen nu een significante daling in het aantal incidenten.”
“Op basis van data over de kenmerken van onze leerlingen kunnen we een profiel opbouwen voor welke speciale vaardigheden een medewerker nodig heeft. Door goed inzichtelijk te hebben wat je leerlingen nodig hebben van hun leerkracht kan je heel gericht personeel aannemen.”
“Je kunt niet alleen betere keuzes maken. Als je kunt laten zien wat je leerlingen nodig hebben, kun je ook financieel goed verantwoorden waarom je bepaalde keuzes hebt gemaakt (denk bijvoorbeeld aan nieuwe methodes of aanstellingen).”
Dialoog in relatie tot de bedoeling
Zoals Cindy uitlegde kun je niet alleen op basis van data keuzes maken, daar moet de expertise van de onderwijzers bij gebruikt worden. Daarom stelt Maybelle dat er planmatig en cyclisch gesprekken gevoerd moeten worden over de data, op het juiste moment en met de juiste mensen. Het gaat dan niet alleen over de data op het niveau van de leerling, maar ook op groep-, school-, en bestuursniveau. Tijdens het gesprek gaan ze na of de gesprekspartners zich herkennen in de data en of ze de resultaten kunnen verklaren. Daarna wordt er een waardeoordeel aan gehangen: wat vinden we hiervan? Zo kan er tot slot een vervolgplan opgesteld worden en is er écht regie op onderwijskwaliteit.
Ontwikkel- en implementatieproces
Bij het vorige evenement waren de aanwezigen ontzettend nieuwsgierig naar hoe het proces van TRIPS verloopt op een school. Kelly vertelt daarom tijdens dit evenement uitgebreid hoe zij de stap hebben gemaakt naar meer data-ondersteund werken. De introductie aan het team was hierbij volgens haar ontzettend belangrijk. Zomaar een nieuw systeem aanschaffen wil niemand doen en heeft ook erg weinig zin. “We hebben de aansluiting gezocht met de doelen die we hadden. We wilden kijken waar TRIPS een bijdrage kon leveren aan de doelen die we al geformuleerd hadden”. Zo wilden ze bijvoorbeeld data-ondersteund onderzoeken wat de medewerkers aan trainingen en cursussen nodig hebben. Professionaliseringsactiviteiten werden vaak gekozen omdat mensen het hen wel ‘leuk’ leek. Maar uit data bleek vervolgens dat de gedane cursus niet echt bij de doelgroep paste en ook maar weinig opleverde. Ze wilden gaan onderzoeken welke leerlingen zij lesgeven en welke medewerker dan een bepaalde cursus kon gebruiken om extra kennis en vaardigheden op te doen.
TRIPS Ontwikkelgroep
“Je moet TRIPS meteen goed neerzetten en hier heb je één kans voor”, gaat Kelly verder. Daarom hebben zij een ontwikkelgroep samengesteld die hiermee aan de slag gingen. Zij onderzochten eerst de kwaliteit van de huidige data. Per dataset is bekeken of de gebruikte termen duidelijk waren en of collega’s goed begrepen hoe het geadministreerd moet worden. Uit dit onderzoek kwamen verschillende conclusies. Bij de absenties werd bijvoorbeeld duidelijk dat deze vaak niet ingevuld werden. Teamleden zeiden dat het ondankbaar en onnodig voelde. “Het moet van de leerplichtwet, maar daar merken we maar weinig van”. Het is dus van belang om als school ook te bedenken waarom je iets doet. Als dat helder is, dan wordt het een dankbare klus. Een andere conclusie die getrokken kon worden was dat er teveel coderingen waren. Collega’s vonden het lastig te bepalen wanneer ze bijvoorbeeld ‘medisch’ moesten kiezen, omdat er ook opties zoals ‘tandartsbehandeling’ mogelijk waren. Hier hebben ze dus flink wat geschrapt.
Quick wins en veel oefenen
Vervolgens hadden ze zich eerst gericht op de datasets met quick wins. Met datasets die grote impact hebben zijn ze begonnen, zo konden ze snel de meerwaarde laten zien aan de rest van het team. Om er later voor de zorgen dat het team betrokken blijft koppelen ze de data aan wat ze al doen, zoals het erbij pakken tijdens vergaderingen, of een data-ondersteund persoonlijk ontwikkelplan opstellen.
“Door samen veel te oefenen hebben we geleerd niet te snel te oordelen, data is vaak zo zwart-wit, daar moet je omheen kijken. We houden achterwacht en interventies bij. Toen we zagen dat er bij één collega meer leerlingen naar de achterwacht gestuurd werden dan bij een ander, leek dat op het eerste gezicht geen goed teken. Totdat we de gegevens van de achterwacht naast de incidenten legden, toen zagen we dat collega’s die zelden iemand naar de achterwacht stuurde, veel meer incidenten hadden. Dat kan betekenen dat de collega die vaker leerlingen naar de achterwacht stuurt, beter kan inschatten wanneer de situatie kan escaleren. Als je dit niet meet en analyseert, kan je er ook geen uitspraken over doen. Je moet alle elementen samen en in relatie tot elkaar bekijken, daar moet je op oefenen.”
Wat levert het op
