Sedan den internationella undersökningen Pisa genomfördes för första gången år 2000 har provet med rätta kommit att bli en inflytelserik måttstock över svenska elevers kunskaper. Eftersom vi inte har inhemska urvalsbaserade prov – och eftersom betyg och nationella prov inte är tillförlitliga kunskapsmått – är Pisa väldigt viktigt.
Lättnaden när resultaten från den senaste omgången presenterades i december var därför förståelig. Äntligen hade prestationerna vänt uppåt – och det med besked. Sveriges resultat gick från att prestera lägre än OECD-snittet till något högre än snittet på tre år.
Jubel och klang. Alliansen slog sig för bröstet. Sverige hade äntligen påbörjat upphämtningen mot utbildningstoppen. Den absoluta krisen var över.
Men jag var inte övertygad. I en artikel beskrev jag hur förändringarna delvis kunde bero på att eleverna för första gången skrev provet digitalt, vilket forskning visar kan påverka resultaten. Dessutom föll högpresterande nationer där datoranvändningen i skolan är låg – såsom Polen, Hong Kong och Sydkorea – kraftigt.
Skolverket gick ut och dementerade. Man hänvisade till OECD:s förstudie som ämnade minimera olikheterna mellan skärm och papper över länderna i genomsnitt. Det var bara ”spekulation” att provmetoden låg bakom vissa länders kraftiga försämringar.
Dementin var märklig eftersom Skolverket i sin rapport själv erkände att övergången till dator ”eventuellt skulle kunna påverka olika elevgrupper i olika länder på olika sätt”. Dessutom noterade man att den minskande resultatskillnaden mellan pojkar och flickor som uppmättes i Pisa 2015 kunde ha påverkats av den nya provmetoden. Ändå gick man ut och dementerade en analys som låg i linje med dessa skrivelser.
Nu står det hursomhelst klart att jag faktiskt hade rätt. Ett par forskare lyckades nämligen få tag på data från förstudien i Tyskland och Irland, där elever slumpmässigt anvisades att skriva Pisa-provet på dator eller med papper och penna.
Det visade sig att elever som skrev provet på dator presterade sämre än de som skrev provet med papper och penna; efter OECD:s justering var skillnaden i naturkunskap hela 19 Pisa-poäng i Tyskland och 11 poäng i Irland. Detta kan bero på att datoranvändningen i skolan i dessa länder är låg; elevers datorvana påverkar sannolikt resultaten i sig, oavsett deras kunskaper.
I samma veva har Anderas Schleicher erkänt att det stora tapp som skedde i delar av Östasien mycket riktigt kan ha berott på, just det, datorn. Och själv har jag funnit en stark positiv relation mellan datoranvändning i undervisningen och förändringen i länders resultat mellan 2012 och 2015.
Det är alltså nu bortom rimligt tvivel att förändringarna i Pisa inte är tillförlitliga totalt sett. Men vi vet fortfarande inte hur svenska elever har påverkats av digitaliseringen; Skolverket (eller någon annan) måste nu studera den svenska förstudien för att få svar på detta. Och tills resultaten från analysen presenterats är det bäst att lägga Pisa-champagnen på kylning.
