preload loader
LSR-NYTOP

DR så på valgdagen bort fra mange års kritik af exitpolls – og præsterede at lave alle typer fejl på en gang. Rækken af store fejlskøn er blevet efterfulgt af en utilstrækkelig undskyldning, skriver lytternes og seernes redaktør.

© DR

 

Skrevet af: Jacob Mollerup

 

Langt tilløb til skandaløs DR-prognose

21. nov. 2013 16.25 Klumme

Først en helt utidig bemærkning. Der er lavet meget godt tv og radio omkring valget. De seneste valg til kommuner, regioner og Folketinget har budt på en markant udvikling i DR's dækning af både valgkamp og valgaften. En god del af det har været reelle forbedringer med højere kvalitet og større intensitet.

Men, men, men. Det er slet ikke tiden til at se på det, der er lykkedes. Den meget alvorlige prognosefejl kom desværre til at kaste en stor skygge over valgaftenen den 19. november. En stærkt misvisende exit-prognose fra Epinion blev et omdrejningspunkt i DR's dækning fra kl. 15 og helt frem til få minutter i midnat. Mest markant var som bekendt en voldsom fejlvurdering af Socialdemokratiet.

DR har efterfølgende beklaget og undskyldt. Når jeg alligevel træder rundt i det, er det fordi forløbet var så alvorligt, at det kræver en større selvransagelse. DR har lovet, at man en anden gang vil vente længere med at offentliggøre målingerne. Men det er langt fra nok. Den store skandale var, at også prognoserne kl. 19 og kl. 20 viste sig at være skrupforkerte. De ramte ikke bare lidt ved siden af. De var mere forkerte, end man selv oplyste var "worst case" for fejlskøn. Den mest troværdige prognose gættede på 25,3 procent til S. Faktisk endte det med en stemmeandel på 29,5 procent.

Fejlprognosen kommer efter mange års diskussioner og advarsler. Det er en klassiker at diskutere forkert og overdreven brug af politiske meningsmålinger - især exitpolls og exitprognoser.

Der fremføres ofte fem centrale forhold:

For det første er der problemerne med at bringe exitpolls, mens valglokalerne er åbne. DR var ved dette valg det eneste medie, der lavede en landsdækkende exitprognose. Der var altså ingen konkurrence om tidspunktet for offentliggørelse. Alligevel startede man kl. 15.00. Det er pinligt nok en Danmarks-rekord. Man er rykket fra kl. 19 i 2007 til kl. 17 i 2011.

For det andet er det i alle fald afgørende at informere om usikkerheden. Også her svigtede DR. I den store dækning på DR1 var et afgørende tidspunkt Ask Rostrups bemærkning, da han lige efter kl. 20 præsenterede den seneste version af exitprognosen:
"Der er også en vis statistisk usikkerhed, men de plejer at ramme pænt inden for rammen alligevel."
Det var netop DR's tiltro til egen prognose, der kom til at præge vinklingen i stribevis af indslag i de følgende timer. Og det med en sådan selvsikkerhed, at næsten alle aktører tog det for gode varer.

For det tredje er et kommunalvalg langt sværere at forudsige på landsplan end et folketingsvalg. Men de mange fælder der er i at gætte på et landsresultat - fordi data er påvirket af særlige lokale forhold - blev heller ikke fremhævet i dækningen. Man understregede flere gange, at landstal ikke kunne bruges til at forudsige antallet af borgmesterposter til partierne, men de store usikkerhedsfaktorer fik ingen plads.
 
For det fjerde er det vigtigt, at usikkerheden indgår i enhver efterfølgende journalistisk brug af prognoserne. Som bekendt smed man tirsdag aften - i kampens hede - også hurtigt dette forbehold over bord.

For det femte er det et mål for et medies troværdighed, at det kun offentliggør tal fra store og seriøse undersøgelser. Her når vi frem til et kernepunkt. De senere år har DR's prognoser klart været blandt de bedre. Men ser man på grundlaget denne gang, er det særdeles tyndt. Man har brugt en såkaldt exitprognose hvor halvdelen af tallene stammer fra meningsmålinger i de seneste dage op til valget og den anden halvdel er fra interviews med folk, der lige har stemt. Selv da exitprognosen var "bedst" - altså kl. 20 på valgaftenen - indgik mindre end 500 vælgere, der havde sat deres kryds. Når man ud fra stemmer ved et kommunalvalg vil forudsige et landsresultat, er det i sig selv meget risikabelt at have så beskedent et materiale.

Med andre ord: Problemet med DR's exitprognose på valgdagen var, at man så bort fra alle disse råd - på én gang! Når uheldet så er ude, rammes man også i den verden ekstra hårdt, når man ikke har orden i forsikringerne.

Alle begår fejl. Og denne havde selvsagt været nemmere at leve med, hvis tallene var blevet præsenteret med de fornødne forbehold. Det blev de ikke, og derfor er DR's oprydningsarbejde langt fra færdigt.

DR Nyheder har oplyst, at man ved kommende kommunalvalg ikke vil bringe en exitprognose eller exitpoll så tidligt på dagen. Det er meget godt - men helt utilstrækkeligt. Det store problem var jo, at prognosen kl. 20 var så forkert. Det var den, der umiddelbart virkede - og blev fremstillet som - ret troværdig. Det var den ikke. Den var baseret på alt for få vælgere og blev anvendt uforsvarligt. Det problem må DR forholde sig seriøst til.

DR's troværdighed omkring meningsmålinger er p.t. sat over styr. Når den skal genopbygges, skal man grundigt gennemgå alle de ting, der gik galt i tirsdags og i god tid inden næste valg forklare, hvordan man vil gøre det bedre.

Undskyld hvis dette bliver for meget bagklogskab. Men det skal ses på baggrund af en lang diskussion. Efter valget i 2005 advarede jeg DR mod at bruge exitpolls til at omtale valgets udfald, mens valghandlingen stadig var i fuld gang. Jeg gentog kritikken ved senere valg. Og senest i 2011 kritiserede jeg, hvordan man op til valget overspillede udsvingene i de daglige målinger fra Epinion.

Fejlen i tirsdags var så stor, at den utvivlsomt vil indskrive sig som en af de største i prognosernes nyere Danmarkshistorie. Nu er der en oplagt anledning til, at DR stopper op og laver en grundig gennemgang af problemerne med det mål selv at sætte forsvarlige og kendte standarder på dette følsomme område.

Jeg har bedt nyhedsdirektør Ulrik Haagerup om en reaktion på ovenstående. Han siger - til min beroligelse - at han netop er gået i gang med at gennemføre en sådan proces. Jeg har opfordret ham til at gøre det klart for offentligheden, at DR Nyheder virkelig går grundigt til værks for at undgå gentagelser.

 

Korrektion   – tilføjet den 29. november

Jeg vil gerne korrigere og uddybe grundlaget for det fjerde af mine fem kritikpunkter.

Min kommentar om grundlaget for exitprognosen var baseret på de oplysninger, DR selv havde givet på dr.dk om undersøgelsen. Om den første exitprognose på landsplan fra kl. 14.50 skrev DR på valgdagen:

”Epinion har for DR Nyheder interviewet 744 vælgere i perioden fra den 16. november til den 19. november kl. 14.15”.

Da endnu en måling (færdiggjort 19.50) var klar, hed det:

”DR's landsrepræsentative exitprognose bygger på svar fra 970 respondenter, og den maksimale statistiske usikkerhed er på 3,1 procent. Svarene er indsamlet i perioden fra 16. november klokken 16:00 til 19. november klokken 19.30.”

Af præsentationen på DR1 fremgik det videre, at ca. halvdelen af vælgerne i undersøgelsen var blevet spurgt før valgdagen. Heraf sluttede jeg, at der i selve landprognosen indgik under 500 vælgere, der havde stemt. I den første debatrunde kom Epinion og DR Nyheder ikke med tilføjelser til de oprindelige forklaringer.

Først efter flere dages debat om undersøgelsens lødighed (herunder min kritik) kom Epinion med flere oplysninger om, hvordan disse tal skulle forstås. Jeg har efterfølgende yderligere stillet opfølgende spørgsmål til Epinion.

Min konklusion er, at DR og Epinion ikke fra starten gav en ordentligt indsigt i, hvordan landsprognosen var lavet. Forvirringen stammer fra, at landsprognosen delvist blev lavet med afsæt i exitprognoser i ti forskellige kommuner. Disse prognoser ramte i øvrigt hvor for sig rimeligt godt. Udover disse ti prognoser lavede Epinion så de famøse exitprognoser på landsplan.

Epinion oplyser, at man kl. 14.50 på valgdagen baserede sine samlede prognoser på i alt 8.702 interviews. Heraf var 578 lavet med folk, der havde afgivet deres stemme.

Prognoserne kl. 19.50 var baseret på i alt 10.603 interviews. Heraf var 2.863 lavet med folk, der havde stemt. Langt størstedelen af disse interviews var lavet i forbindelse med prognoserne i de ti kommuner. Disse blev herefter brugt i landsprognosen, men kun med den vægt, som kommunens størrelse berettigede til. De tal DR oprindeligt offentliggjorde, var således vægtede tal, som ikke viste, hvor mange der rent faktisk var blevet spurgt.

Der har med andre ord ikke været tale om nogen discountprognose. Tilbage står, at forsøget på at lave en exitprognose på landsplan i forbindelse med et kommunalvalg alligevel slog fejl i alvorlig grad. Hvad der præcist gik galt, skal professor Søren Risbjerg Thomsen fra Institut for Statskundskab på Aarhus Universitet nu evaluere sammen med Epinion og DR Nyheder.

 

 

Om redaktøren

Lytternes og seernes redaktør bliver ofte beskrevet som en 'brugernes ambassadør', som 'DR's interne ombudsmand' eller som 'DR's vagthund'. Jobbet varetages af Jesper Termansen, der er ansat af DR's bestyrelse og således arbejder uafhængigt af DR's daglige ledelse. Kontakt redaktøren på lsrred@dr.dk.

 

Procedure ved klager

Hvordan kan man klage, hvornår er det en kommentar, og hvornår er det en klage? Hvad sker der, efter klagen er sendt? Få svar på syv typiske spørgsmål om proceduren for at klage.

 

DR Indefra: Lytternes og seernes redaktør taler om sine 11 år i DR

Den 1. november 2015 stopper Jacob Mollerup som lytternes og seernes redaktør hos DR. I den anledning var han i DR Indefra d. 26. oktober for at tale om sine 11 år på posten i DR. I programmet fortæller han om hvordan han ofte har følt sig på "tålt ophold" i DR.

 
 
 
 
 
Du er her: dr.dk > Om DR > Lytternes og seernes redaktør > Klummer

© Copyright DR 2017. Materialet må ikke gengives uden tilladelse jævnfør lov om ophavsret.