Möten med Pisa. Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap

Publicerad:2015-01-26

Uppdaterad:2015-03-27

Svenska elever har svårt att förstå provfrågorna i naturvetenskap i Pisa – framförallt när ett abstrakt akademiskt språkbruk kombineras med vardagliga exempel. Det visar Margareta Serders avhandling om Pisa och provuppgifterna i naturvetenskap som använts.

Författare

Margareta Serder

Handledare

Malin Ideland, Malmö hägskola

Opponent

Stein Dankert Kolstø, professor, Universitetet i Bergen, Norge

Disputerat vid

Malmö högskola

Disputationsdag

2015-01-30

Titel (se)

Möten med Pisa. Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap

Institution

Fakulteten för lärande och samhälle

Möten med Pisa. Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap

Denna avhandling undersöker standardiserad kunskapsmätning i och om naturvetenskap genom att studera provuppgifter, ramverk och resultatrapportering från den internationella kunskapsjämförelsen Programme for International Student Assessment, PISA. Forskningsproblemet som avhandlingen arbetar med är hur de senaste årens nedåtgående resultat för svenska elever i naturvetenskap enligt internationella mätningar kan förstås. I avhandlingen betraktas PISA:s kunskapsmätning utgå från en viss typ av rationalitet, och denna anses ligga till grund för hur mätningen konstrueras och tolkas. Avhandlingens övergripande syfte är därför att lyfta fram några av de epistemologiska och ontologiska antaganden som finns inbäddade i mätningen av elevers naturvetenskapliga litteracitet i PISA. Data har konstruerats genom videodokumentationer av 21grupper av femtonåriga elever, som gemensamt arbetar med och besvarar ett urval provfrågor som använts i PISA-testet för naturvetenskap. På detta sätt kan elevers resonemang kring uppgifterna studeras, och de svårigheter som uppstår analyseras. Därutöver har en textanalys gjorts av PISA- ramverk och resultatrapporter för området naturvetenskap. Textanalysen bidrar med kunskap om hur naturvetenskap och naturvetenskaplig förmåga diskursivt konstrueras i PISA. Det teoretiska ramverket har en sociokulturell och en sociomateriell ingång och dessa perspektiv ses bidra på olika sätt till att urskilja inbäddade antaganden i kunskapsmätning i naturvetenskap. Ingångarnas inbördes likheter och olikheter utreds i avhandlingen. Det sociokulturella perspektivet tar fasta på elevernas situerade meningsskapande när de löser provuppgifterna. Det sociomateriella perspektivet är inspirerat av vetenskaps- och teknikstudier och har en performativ ansats. Avhandlingen, som är en hybrid mellan en sammanläggningsavhandling och en monografi, bygger på tre artiklar som har publicerats eller fortfarande befinner sig i publiceringsprocess. Avhandlingen lyfter fram att kunskapsmätning i och om naturvetenskap i PISA bygger på inbäddade antaganden som kan härledas till monologistiska och representationella vetenskapstraditioner, medan avhandlingen antar en dialogistisk och performativ ansats. Ett antagande som identifierats är att språk antas vara en neutral informationsförmedlare, som entydigt kan kommuniceras och översättas mellan olika nationella språk utan att förlora eller erhålla nya betydelser. Ett annat är antagandet om att det finns en tydlig och primär tolkningsram för en provuppgift; och ett tredje att naturvetenskap är ett kulturellt och socialt neutralt kunskapsobjekt. Det framstår som väsentligt att eleverna såväl kan och vill urskilja och privilegiera de naturvetenskapliga perspektiven och tolkningarna när de engagerar sig i de komplexa uppgifterna. Analysen visar att den inramning i vardagliga sammanhang som är PISA:s signum, bidrar till denna komplexitet. Vidare riskerar uppgifter som de som studerats att reproducera stereotypa bilder av naturvetenskap och naturvetenskapligt kunniga personer. I PISA antas elever, genom sina svar på provfrågor spegla de nationella skolsystem de ingår i och även framtiden. Analyserna av PISA-dokument visade att lågpresterande elever sågs som ett hot mot framtiden, eftersom de riskerade att bli ineffektiva medborgare. Samtidigt visar andra studier att standardiserad kunskapsmätning när den ofta upprepas bidrar till att sänka lågpresterande elevers resultat och öka dessa elevers känsla av desillusion. Avhandlingen föreslår att PISA, snarare än att betraktas som kunskapsmätare, ska ses som en kunskapsaktör.

Abstract in English

This thesis explores the standardized assessment of students’ scientific literacy by studying test items, frameworks and result reports from the international comparative study Programme for International Student Assessment, PISA. My research concerns the negative trend observed for Swedish students’ results in science reported in international comparisons since 2000. In this thesis, PISA is considered as a specific kind of practice that acts through a certain rationality, which frames how the measurement is constructed and interpreted. The overall aim is to highlight the epistemological and ontological assumptions that are embedded in the assessment of students’ scientific literacy by PISA. Data was constructed by video documentation of collaborative encounters between 21 groups of 15-year-old students and eleven selected items from the PISA scientific literacy assessment. This method enabled an analysis of the students’ reasoning and the difficulties that arose in these encounters. I also conducted a text analysis of selected frameworks and reports produced under the PISA label, analyzing how science and student performance are discursively constructed in these documents. In this thesis, I examine the similarities and differences between two theoretical approaches: one sociocultural and one sociomaterial. Both are used to explore the embedded assumptions of the PISA scientific literacy assessment. The sociocultural perspective focuses on the students’ situated meaning making as they solve the test questions. The sociomaterial perspective finds inspiration in science and technology studies, and takes a performative stance on scientific practice. This thesis has been formed as a hybrid of a compilation thesis and a monograph. It comprises three articles in English, published or still in the process of publication. The measured knowledge in and about science in PISA are based on onto-epistemological assumptions that are connected to science traditions which are mainly monologistic and representational, whereas this thesis proposes a dialogistic and performative stance. One identified assumption is that language is a neutral transmitter of information, which can be unambiguously communicated and translated without losing or gaining new meanings. Another is the assumption of a single unambiguous, primary frame for interpretation of the test questions, and a third that in PISA, science is assumed to be a socially and culturally neutral object for learning. It appears crucial that the students are able, and motivated, to discern and privilege the scientific perspectives and interpretations while engaging with the complexity of the tasks. My analysis suggests that framing the tasks within fictive, everyday situations, as is significant for PISA, contributes to this complexity. Further, the image of science as portrayed in the test items that were studied, risk reproducing stereotypical images of science and scientifically literate people. To PISA, students are mirrors of the school system and even future society. In the analysis of PISA documents, low performers appeared as threats to future society, due to the risk that they would become ineffective citizens. Meanwhile, other studies assert that standardized comparison is a practice that, when frequently repeated, contributes to lower results and an increasing disillusion of low achievers. It is proposed that PISA, rather than to be seen as a knowledge measurement, should be regarded a knowledge actor.