Is bron -en contactonderzoek nodig in het onderwijs?

Niet leren is minstens zo besmettelijk als de Britse variant van corona. Niet leren leidt tot meer niet leren en zeker het afgelopen jaar is er een hoop niet geleerd. Willen we de opgelopen leerachterstanden wegwerken zijn er twee dingen nodig:

• Bron Onderzoek: Bepaal de bron van de achterstand. Als een leerling kwadratische vergelijkingen niet beheerst kan dat verschillende oorzaken hebben. Wellicht beheerste de leerling lineaire vergelijkingen ook al niet en heeft het niet veel zin verder te gaan met kwadratische vergelijkingen voordat lineaire vergelijkingen beheerst zijn.
• Contactonderzoek: Bepaal of er wat aan gedaan moet worden. De gevolgen voor het leerproces bepalen of een vastgestelde leerachterstand weggewerkt moet worden of niet.

Beiden zijn essentieel: brononderzoek om te bepalen wat we moeten doen en contactonderzoek om te bepalen of we iets moeten doen. Net als bij corona is bron- en contactonderzoek in het onderwijs gebaseerd op data. De benodigde methodologie is er maar de benodigde data zijn er (nog) niet. De informatie zit opgesloten in papieren werkboekjes, proefwerken, etc. en bestaat dus wel maar is niet beschikbaar.

Gelukkig kunnen we wel iets doen om leerachterstanden in kaart te brengen met de gegevens die nu (min of meer) beschikbaar zijn. We kunnen beginnen met enkel de cijfers van een kind het afgelopen schooljaar voor proefwerken en schriftelijke overhoringen voor elk vak. Zelfs deze weinig ambitieuze invulling is een uitdaging gegeven dat het om grote aantallen leerlingen gaat, dat gegevens op verschillende niveaus geaggregeerd moeten worden (klassen, afdelingen, scholen, etc.), en er daarnaast bepaald moet worden wat we voor elke leerling gaan doen. Dit is de tijd van “Big Data”, maar het onderwijs heeft eerder te maken met “Massive Small Data” en de uitdagingen die daarbij horen.

Bij Metior hebben we methodologie ontwikkeld die op slimme wijze relevante informatie uit zulke “Massive Small Data” kan halen die leerkrachten en scholen kunnen gebruiken om in kaart te brengen hoe het met hun leerlingen staat. Hoe dat eruit ziet lichten we hieronder kort toe met behulp van onderstaande figuur die voor een (gesimuleerde) leerling de cijfers laat zien van 10 toetsen voor 1 vak.

De vraag is of we, op basis van deze 10 gegevens, kunnen vaststellen of deze leerling achteruit is gegaan. Voor elk van de ongeveer 3,3 miljoen minderjarigen in Nederland dient deze vraag een antwoord te krijgen. Er zijn dus ongeveer 33 miljoen vragen (10 vakken per kind) te beantwoorden, met voor elk slechts zeer beperkte gegevens. Het zal duidelijk zijn dat dit een uitdaging is voor toch al overbevraagde leerkrachten.

Mensen zijn goed in het zien en duiden van patronen, ook als er geen patroon is. Statistische modellen daarentegen zijn goed in het evalueren of er een patroon is op basis van de gegevens. Stel dat we twee mogelijkheden onderscheiden: Bovenstaande figuur hoort bij een leerling met een constante vaardigheid die over de tijd willekeurig een beetje fluctueert, of bij een leerling waarvan de vaardigheid over de tijd afneemt. Hoe wegen we beide mogelijkheden voor deze individuele leerling om tot een beslissing te komen?

Het antwoord is: via een Bayes Factor. De Bayes Factor drukt de bewijskracht voor elk van beide mogelijkheden uit ten opzichte van elkaar. Voor de fijnproevers: we drukken de Bayes Factor hier uit op een schaal, zodat getallen groter dan 2 overtuigende evidentie leveren voor de conclusie dat vaardigheid afneemt en getallen kleiner dan -2 overtuigende evidentie voor de conclusie dat er niets verandert. Voor bovenstaande figuur komt de Bayes Factor uit op 2,02, en besluiten we dat er evidentie is voor een achteruitgang. Op deze wijze kunnen we elk van de 33 miljoen vragen beantwoorden (soms met het antwoord “we weten het niet”, het kan dooien het kan vriezen, maar ook dat is relevant).

Naast een vlaggetje (de Bayes Factor) krijgen we informatie uit de statistische analyse die kan helpen bij de duiding ervan. Om precies te zijn krijgen we onderstaande kleurrijke figuur.

Deze figuur bevat dezelfde 10 cijfers als de eerder figuur. Daarnaast geeft de donkerblauwe lijn de meest waarschijnlijke werkelijke achteruitgang weer, terwijl de lichtblauwe lijnen de onzekerheid weerspiegelen. De oranje lijnen, tenslotte, weerspiegelen de onzekerheid als we aannemen dat er geen achteruitgang is. Aangezien het hier een gesimuleerde leerling betreft weten we dat de leerling achter ging en ook hoe – dit is de rode lijn in de figuur. Onze beste schatting is allicht niet precies gelijk aan de werkelijkheid, maar valt wel binnen de onzekerheidsmarges.

Het methodologische kader beperkt zich niet enkel tot de vraag gaat het achteruit of is er niets aan de hand. Ook een hypothese als “na een initiële stijgende lijn voor de lockdown, ging het daarna bergafwaarts” kan worden getoetst. Onderstaande figuur geeft een voorbeeld voor een dergelijke leerling.

Het is van groot belang dat hypotheses over de ontwikkeling van een leerling vooraf worden bepaald, maar het kunnen er meer dan twee zijn. Nadat we de verschillende hypotheses met data confronteren zal de Bayes Factor ons helpen om te bepalen hoeveel bewijs er voor welke hypothese is. Dit voor elk kind en elk vak. Ook op hogere aggregatieniveaus kunnen trends automatisch in kaart gebracht worden. Hiermee kan de statistiek scholen en leerkrachten helpen met het opstellen en onderbouwen van hun schoolscan en daarmee meer tijd vrijmaken voor duiding en … onderwijs.

Wilt u meer weten over deze methodologie, dan kan u ons altijd bereiken via info@metior.consulting.