Rättvisa jämförelser mellan prov med ny metod

Genom att använda sig av bakgrundsinformation om provtagare är det möjligt att få mer rättvisa jämförelser av kunskapsprov som högskoleprovet och därmed en mer rättvis tilldelning av universitetsplatser. Det visar Gabriel Wallin i sin avhandling.

Varför blev du intresserad av ämnet?

– Jag har en bakgrund inom statistik och metodutveckling. Det fanns en doktorandtjänst ute som skulle vara inriktad på metodutveckling kopplat till just kunskapsmätningar och det tyckte jag lät väldigt intressant.

Vad handlar avhandlingen om?

– Om hur man kan göra rättvisa jämförelser mellan olika provtagargrupper som har deltagit i storskaliga kunskapsprov. Ett prov som jag studerat är högskoleprovet. Eftersom resultaten från provet används för att söka in till universitetet är det viktigt att det blir en rättvis tävling om platserna och att resultaten från ett år är jämförbara med resultaten från ett annat år. Man skapar helt unika prov från gång till gång, vilket innebär att proven aldrig kan vara exakt lika svåra. När man tittar på provresultaten från en omgång till en annan och jämför provtagargrupperna ser man att de har presterat olika bra. Då kan man fråga sig om det beror på att det ena provet var svårare än det andra, och att den ena gruppen presterade bättre för att de hade tur att få en lättare version. Eller var det så att den gruppen helt enkelt var lite bättre?

– Det är standard på storskaliga kunskapsmätningar att använda så kallade ankaruppgifter. Det är uppgifter som är gemensamma för båda provversionerna som man vill jämföra, men som inte är en del av provpoängen. De är bara där för att kunna hjälpa oss att göra en poängjustering. Den här typen av uppgifter är effektiva verktyg för att göra justeringar. Men alla prov har inte ankaruppgifter. Högskoleprovet har ganska nyligen börjat med ankaruppgifter men det är en ganska stor process att implementera dem.

– Vi har undersökt om man kan använda sig av annan information som eventuellt kan finnas tillgänglig för att göra poängjusteringar. Vi har tittat på bakgrundsinformation om provtagarna, som kön, ålder och provresultat från andra kunskapsmätningar, för att se om vi kan nyttja den i stället.

Vilka är de viktigaste resultaten?

– Vi har tagit fram en metod för hur man kan samla bakgrundsinformation om provtagare och använda den på ett sätt som är önskvärt för att kunna göra rättvisa jämförelser. Med hjälp av metoden kan man göra en poängjustering som är baserad på svårighetsnivån på de respektive proven. Det ska alltså inte spela någon roll vilken provversion man har tagit. Vi har kunnat visa att den här metoden fungerar lika bra som om vi hade haft ankaruppgifter. Metoden fungerar också bättre än om vi helt enkelt bara ignorerat det faktum att det inte finns några ankaruppgifter och vi inte använder bakgrundsinformationen, utan låtsas som att det inte finns någon skillnad mellan grupperna. Det skulle vara en ganska naiv metod, men den enda som man har kunnat använda. Vi har visat att vi kan göra bättre än så.

Vad överraskade dig?

– Jag misstänkte att vår metod skulle vara bättre än den som bygger på att man helt enkelt antar att provtagargrupperna inte skiljer sig åt. Men att vi skulle kunna göra lika bra som om vi hade informationen från ankaruppgifter, som är ’gold standard’ inom kunskapsmätningar världen över, det var överraskande. Det har också fått oss att tänka att det kanske går att göra ännu bättre om vi använder oss av både ankaruppgifter och bakgrundsinformation.

Vem har nytta av dina resultat?

– Själva metoden är till gagn för de som analyserar prov och sköter poängrapportering eftersom vi tillhandahåller metoder som är bättre än de existerande. Men de som verkligen gagnas av dem är såklart provtagarna eftersom vi tillhandahåller metoder som säkerställer att det blir rättvisa jämförelser. Det innebär att det inte är slumpen som avgör om man kommer in på en utbildning eller inte, om man till exempel hade oturen att skriva provet ett år som var svårare än ett annat år.

Åsa Lasson