Julafton kom tidigt för Liberalernas Jan Björklund. När Pisa-resultaten från år 2015 presenterades under tisdagen visade det sig att svenska elever höjt sig i samtliga ämnen jämfört med mätningen från år 2012. Då stod Sverige för den största försämringen av alla deltagande OECD-länder. Nu står våra elever för en av de största förbättringarna.
Detta togs emot som glädjande nyheter av såväl den tidigare utbildningsministern som den nuvarande. Som sig bör, då en högkvalitativ skola är en fråga som borde sträcka sig över blockgränserna. Men även om ett trendbrott i sig är ett steg i rätt riktning så säger det mediokra resultatet snarare mer om hur illa det faktiskt har varit tidigare än om hur bra det är nu.
Man bör även – som med alla andra mätningar – fråga sig om förändringarna är pålitliga. Gabriel Heller Sahlgren, nationalekonom och doktorand vid London School of Economics, menar att de inte är det: ”Detta eftersom den senaste undersökningen var den första där elever skrev proven på dator istället för med papper och penna – vilket i sig kan påverka resultaten.” (Dagens Samhälle 6/12).
Att Pisa har bytt metod för hur provet skrivs torde inte göra någon väsentlig skillnad så länge provfrågorna i sig är likvärdiga med tidigare års prov, kan man tycka. Det finns dock forskning som visar att skillnaden mellan att skriva på dator och för hand faktiskt är stor, vilket Heller Sahlgren tar upp:
”Forskning indikerar mycket riktigt att länders matematikresultat i Pisa 2012 ofta skiljde sig markant mellan huvudprovet och ett kortare datorbaserat prov, som då testades för första gången. Exempelvis presterade Polen 28 poäng sämre – och Sverige 12 poäng bättre...”.
Som exempel tar Heller Sahlgren upp att samtidigt som Sverige höjer sina resultat har Hong Kong på tre år fallit med 32 poäng i naturvetenskap (samtidigt som de höjt sig i TIMSS) och Polen med 24 poäng. Förändringar över tre år som motsvarar Sveriges försämringar under 12 år, från år 2000 till 2012.
Att jämföra resultat från två olika år är ett bra sätt att se om det skett en förbättring eller en försämring, givet att mätmetoden är densamma. Men om man haft olika mätmetoder respektive år blir det genast mer problematiskt och snudd på ovetenskapligt att försöka dra några slutsatser utifrån att resultaten förändrats.
Det är något tröttsamt över svansen av ungdomsförbundare och partister som tolkar Pisa-resultatet som en seger för Björklunds skolpolitik innan de ens hunnit sätta sig ner och titta igenom resultatet ordentligt. Innan man upphöjer resultat från mätningar till allmänna sanningar bör man fråga sig vad det är som faktiskt har mätts och hur tillförlitligt resultatet är. Även om det skulle stämma att svenska elever förbättrat sina resultat bör vi inte nöja oss innan vi åter har en skola i världsklass. Dit har vi en lång väg kvar.
