Assessing mathematical creativity: comparing national and teacher-made tests, explaining differences and examining impact

Publicerad:2006-09-07

Uppdaterad:2012-05-03

Det finns en stark tilltro till att nationella prov kan påverka lärare, såväl i synen på ämnet som hur de undervisar och bedömer sina elever. Jesper Boesen visar i sin avhandling att denna påverkan inte är särskilt omfattande, i alla fall inte då lärare konstruerar sina matematikprov.

Författare

Jesper Boesen

Handledare

Professor Johan Lithner, Torulf Palm samt professor Hans Wallin

Opponent

Professor Gunnar Gjone, Institutt för laerarutdanning og skoleutvikling, Universitetet i Olso, Norway

Disputationsdag

2006-09-19

Titel (eng)

Assessing mathematical creativity: comparing national and teacher-made tests, explaining differences and examining impact

Institution

Institutionen för matematik och matematisk statistik

Abstrakt

Sammanläggningsavhandlingen utgår från två huvudsakliga idéer. Den första förklarar många elevers studiesvårigheter med ett alltför ensidigt fokus mot ytliga lösningar, ett fokus där avgörande matematiska egenskaper inte behöver beaktas. En andra utgångspunkt kan bäst sammanfattas i idéen: vad du testar får du. Det senare ges i avhandlingen uttryck i studiet av både lärargjorda och nationellt konstruerade prov. Med utgångspunkt i en jämförelse studeras den påverkan de nationella proven tros utgöra på lärares provkonstruktion.

I artikel ett behandlas ett urval av de matematikprov svenska elever mötte under läsåret 2003/04, både lärargjorda och nationella prov. Proven jämfördes med avseende på vilka typer av matematiska resonemang som krävdes för att lösa de ingående uppgifterna. Resultaten visade stora skillnader mellan lärarkonstruerade prov och nationella prov, en majoritet av uppgifterna från den förstnämnda gruppen kunde lösas med hjälp av imitativa resonemang som kan memoreras och genomföras till stora delar utan matematisk förståelse medan det omvända förhållandet gällde för de nationella proven, dvs. kreativa och matematiskt välgrundade resonemang krävdes för att lösa majoriteten av dessa uppgifter.

I artikel två testas det teoretiska antagandet som artikel ett utgått ifrån, dvs vilka typer av resonemang använder elever i en skarp provsituation, oavsett vad som teoretiskt sett kan anses krävas. I korthet kan sägas att teorin håller och att samstämmigheten mellan vad som kan sägas krävas och vad eleverna faktiskt gör är god. Både artikel ett och två är samförfattade med Johan Lithner och Torulf Palm.

Artikel tre söker förklaringar till varför de lärargjorda proven till så stor del fokuserar imitativa krav. Bland en huvudförklaringarna framträdde lärarnas önskan att få så många som möjligt godkända och att denna typ av uppgifter troddes underlätta detta samt att krav på kreativa resonemang inte ansågs realistiska för alla elever.

I artikel fyra studeras Påverkan från de nationella proven . Resultaten från artikel ett kan tolkas indikera att den påstådda påverkan från de nationella proven på lärares praktik kanske inte är så stor trots allt, åtminstone inte när det gäller att testa elevers icke-rutin färdigheter. Så, till skillnad från artikel ett där en central aspekt behandlats så kategoriseras denna gång samma lärarprov, samt ett annat urval nationella prov efter ett kompetensramverk, som på ett sätt fångar ’alla’ centrala aspekter av matematikkunnande (i förhållande till gällande styrdokument). Liknande resultat framträdde även denna gång, en stark fokusering på imitativa resonemang fanns hos lärarproven, väldigt få uppgifter som testade elevernas kommunikativa förmåga återfanns bland lärarproven (även väldigt få uppgifter som testade begreppsförståelse, modellering, problemlösning mm). De nationella proven uppvisade en jämnare fördelning mellan uppgifter som testade olika kompetenser. Lärare från två olika grupper, en som uppvisade samstämmighet med de nationella proven och en som inte gjorde det intervjuades om påverkan. Dessa grupper tycktes uppleva de nationella proven på samma sätt och den avgörande orsaken till varför några lärareprov liknade de nationella var lärarens beslut att eftersträva de senare.

Assessing mathematical creativity: comparing national and teacher-made tests, explaining differences and examining impact

Students use of superficial reasoning seems to be a main reason for learning difficulties in mathematics. It is therefore important to investigate the reasons for this use and the components that may affect students mathematical reasoning development. Assessments have been claimed to be a component that significantly may influence students learning.

The purpose of the study in Paper 1 was to investigate the kind of mathematical reasoning that is required to successfully solve tasks in the written tests students encounter in their learning environment. This study showed that a majority of the tasks in teacher-made assessment could be solved successfully by using only imitative reasoning. The national tests however required creative mathematically founded reasoning to a much higher extent.

The question about what kind of reasoning the students really use, regardless of what theoretically has been claimed to be required on these tests, still remains. This question is investigated in Paper 2.

Here is also the relation between the theoretically established reasoning requirements, i.e. the kind of reasoning the students have to use in order to successfully solve included tasks, and the reasoning actually used by students studied. The results showed that the students to large extent did apply the same reasoning as were required, which means that the framework and analysis procedure can be valuable tools when developing tests. It also strengthens many of the results throughout this thesis. A consequence of this concordance is that as in the case with national tests with high demands regarding reasoning also resulted in a higher use of such reasoning, i.e. creative mathematically founded reasoning. Paper 2 can thus be seen to have validated the used framework and the analysis procedure for establishing these requirements.

Paper 3 investigates the reasons for why the teacher-made tests emphasises low-quality reasoning found in paper I. In short the study showed that the high degree of tasks solvable by imitative reasoning in teacher-made tests seems explainable by amalgamating the following

factors: (i) Limited awareness of differences in reasoning requirements, (ii) low expectations of students abilities and (iii) the desire to get students passing the tests, which was believed easier when excluding creative reasoning from the tests.

Information about these reasons is decisive for the possibilities of changing this emphasis. Results from this study can also be used heuristically to explain some of the results found in paper 4, concerning those teachers that did not seem to be influenced by the national tests.

There are many suggestions in the literature that high-stake tests affect practice in the classroom. Therefore, the national tests may influence teachers in their development of classroom tests. Findings from paper I suggests that this proposed impact seem to have had a limited effect, at least regarding the kind of reasoning required to solve included tasks. What about other competencies described in the policy documents?

Paper 4 investigates if the Swedish national tests have had such an impact on teacher-made classroom assessment. Results showed that impact in terms of similar distribution of tested competences is very limited. The study however showed the existence of impact from the national tests on teachers test development and how this impact may operate.