Professor afviser PISA-resultater

En anerkendt dansk statistiker sår tvivl om PISA-undersøgelserne, der måler skoleelevers færdigheder.

- Den faglige troværdig af slutresultaterne af PISA-undersøgelserne er ikke til stede i mine øjne. Man må erkende, at de udmeldinger der kommer fra PISA om de forskellige landes placering ikke er troværdige, siger professor i statistik ved Københavns Universitet, Svend Kreiner, til P1-programmet "Detektor".

Professor Kreiner har med ny forskning vist, at det i høj grad er tilfældigt, hvor Danmark placeres i PISAs rangordning af landenes læsefærdighed. Han har viser, at han kan placere Danmark helt oppe som nummer tre og helt nede som nummer 42 inden for de regler, PISA selv anvender. Officielt lå Danmark det år (2006) nummer 17 på læse-ranglisten.

En avanceret model
Ifølge PISAs egen metode, der bygger på den såkaldte 'Rasch-model', bør alle elever med samme læsefærdighed samme chance for at svare rigtigt på et givent spørgsmål. Men professor Kreiners forskning viser, at nogle spørgsmål favoriserer udvalgte lande:

- Når man for eksempel ser på svarene fra Danmark, kan man se, at der er ni opgaver, hvor danske elever tilsyneladende svarer meget bedre end de andre lande. Omvendt er der seks opgaver, hvor danskerne har meget sværere ved at svare rigtigt sammenlignet med de andre lande, forklarer Svend Kreiner.

PISA hævder selv, at de har kasseret spørgsmål, der har vist at være sværere eller lettere i et eller flere lande. Sådanne spørgsmål rummer nemlig det, statistikere kalder DIF (Differential Item Function), fordi der er en såkaldt 'country-bias'. Men Kreiners forskning viser altså, at der stadig faktisk er en række spørgsmål i PISA-testen, der en sådan country-bias.

Country-bias opstår når nogle landes elever er bedre til en type opgaver end andre. Et eksempel på det kunne være en læse-test med spørgsmål om hunde. For danske elever er der tale om et kæledyr i Danmark, for kanadiske elever en arbejdskraft (slædehund), for muslimske elever er en hund noget urent og i Sydkorea er det noget man spiser. En tekst om hunde vil derfor blive forstået forskelligt i disse lande.

Svend Kreiner kan ikke forklare præcis, hvordan uregelmæssighederne opstår i PISA-undersøgelserne:

- PISA behandler opgaverne meget fortroligt, så jeg har ikke haft adgang til at se, hvilke typer opgaver danskerne har nemt ved og hvilke opgaver danskerne har meget svært ved. Jeg kan bare se, at der er opgaver der fungerer forskelligt, forklarer Svend Kreiner, der har undersøgt alle offentligligt tilgængelige svar-data for læsetesten i 2006.

Der har tidligere været kritik af PISA-undersøgelsernes grundlag. Men det er første gang en uafhængig forsker går så langt i sit studie af PISAs egne data.

Lederen af det danske PISA-konsortium, Niels Egelund, anerkender, at Svend Kreiner er en af de få herhjemme der har kompetence til at anlaysere PISA-resultaterne til bunds.

- Naturligvis vil vi nu tjekke om der er noget om kritikken, siger Niels Egelund til Detektor.

Andreas Schleicher, leder af OECD's analyseafdeling, hvor PISA hører under, afviser Svend Kreiners kritik.

- Vi mener at Svend Kreiners metoder er mangelfulde og hans konklusioner fejlagtige. Vi vil kommentere på hans artikel når den er blevet trykt i et videnskabeligt tidsskrift, siger Andreas Schleicher.

Professor Svend Kreiners forskningsartikel er i øjeblikket ved at blive vurderet til optagelse i det anerkendte internationale tidsskrift, Journal of the Royal Statistical Society.