Jag använder här den senaste väljarmätningen från Skop (publicerad i DN 2010-05-24) för att exemplifiera hur du ska tolka en opinionsundersökning och hur du ska förhålla dig kritisk till siffrorna. Det kunde lika gärna ha varit vilken annan väljarundersökning som helst. Detta är alltså inte på något vis kritik riktad mot företaget Skop eller deras väljarundersökning.

Nedan ser du siffrorna de presenterade i DN. Siffrorna inom parantes är från deras förra väljarmätning. Det är 1 133 personer som har lagt grunden till dessa siffror.

Svar i procent (med föregående mätning inom parentes):

* M 30,3 (28,1).
* FP 6,0 (7,0).
* C 5,0 (5,2).
* KD 4,0 (4,6).
* S 33,7 (33,6).
* V 5,8 (4,5).
* MP 10,9 (10,3).
* SD 2,9 (5,0).
* Övriga partier 1,4 (1,8).

Sex procent angav ingen partisympati.

Det finns alltid statistisk osäkerhet

När man mäter något statistiskt och låter en liten del av befolkningen tala för hela riket (i detta fall 1 133 personer) så föreligger det en viss statistisk osäkerhet kring siffrorna. Om vi skulle göra om mätningen och låta 1 133 andra personer ange hur de skulle rösta, skulle vi komma att se lite annorlunda siffror beroende på hur de svarade. Ett annat ord för denna statistiska osäkerhet är slumpen. Hur stor slumpen är får vi reda på av ett s.k. konfidensintervall som ramar in våra siffror (här kan du läsa mer om konfidensintervall).

Kort sagt kan man säga såhär: Verkligheten som man försöker mäta ligger någonstans inom konfidensintervallet. Man kan exempelvis inte säga att moderaterna skulle få 30,3 % av rösterna om det var val idag. Istället bör man konstatera att moderaterna skulle få någonstans mellan 27,6 % och 33,0 % av rösterna om det vore val idag. Rätt siffra är inte nödvändigtvis 30,3 % bara för att det resultatet erhölls i just den här mätningen.

I bilden nedan har jag ramat in resultaten från Skops väljarmätning med konfidensintervall. Ett plustecken markerar den övre gränsen av konfidensintervallet för respektive resultat, och ett minustecken markerar den undre gränsen. Det vi genast ser är att alla konfidensintervall (från mätning 1 till mätning 2) överlappar varandra för alla partier utom ett. Således kan vi inte uttala oss om förändrat väljarstöd för något av dessa partier utom just partiet där vi inte ser en överlappning.

Det är också viktigt att man kan uttala sig om säkerheten i resultaten. Denna säkerhet går under namnet konfidensgrad. I exemplet ovan har jag applicerat en 95 % konfidensgrad. Detta betyder att verkligheten ligger inom konfidensintervallet i 95 % av alla mätningar (och alltså faller utanför konfidensintervallet i 5 % av fallen).

Låt oss nu titta på Moderaterna. I DN står det att Moderaterna har ryckt uppåt med 2,2 procent från förra mätningen. Detta skulle endast vara sant om enbart personerna som deltog i de två mätningarna fick rösta. I själva verket kan vi inte alls uttala oss om någon förändring då konfidensintervallen från de bägge mätningarna överlappar varandra, precis som bilden till höger visar. När så är fallet kan man inte uttala sig med statistiks säkerhet om att en förändring har skett.

Tittar vi på hur det ser ut för Sverigedemokraterna mellan mätningarna så ser vi att skillnaden är statistiskt signifikant (eller säkerställd precis som DN skriver). Det ser vi på att konfidensintervallen inte överlappar varandra (eller rättare sagt, de överlappar nästan inte varandra).

Slutsatser

• Vi bör inte tolka att moderaterna har ökat med 2,2 %. I själva verket kan vi inte vara säkra på någon förändring
• Vi kan inte heller med säkerhet säga något om förändringarna för övriga partier, förutom Sverigedemokraterna
• Vidare bör vi inte dra några slutsatser om ökade skillnader blocken emellan
• Vi kan däremot dra slutsatsen att stödet för Sverigedemokraterna har minskat sedan förra mätningen. Nu ligger stödet mellan 1,92 % och 3,88 %, med en konfidensgrad om 93 % – 94 %. Det är tämligen statistiskt signifikant.

Relaterade bloggar

• Kent Persson (m) uttrycker i sin blogg oro över att politiken kan låta sig styras av svängningarna i de tätt duggande opinionsundersökningarna
• I bloggen “värld i utveckling” utrycker Amanda Brihed skepsism till de olika opinionsundersökningarna
• Bloggen DNME616 kritiserar svängningarna i väljarbarometrar grundade på små urval
• Dick Erixon skriver om de motstridiga signalerna i opinionsmätningar
• Viktor Tullgren skriver ett inlägg om svängningarna i opinionsundersökningar och att media envisas med att lyfta fram dem

Och vad är då ett konfidensintervall?

Eftersom vi har med statistik att göra så föreligger det alltid en sannolikhet att det vi mäter inte återspeglar verkligheten exakt. Varför? Tänk dig själv, vi ber 1 000 individer att med sina åsikter representera en hel nation. Svaren kommer att variera beroende på vilka 1 000 individer vi slumpmässigt väljer ur alla paneler. Det fina med statistik är att 1 000 svar (om urvalet skapas korrekt) kommer att producera nästan samma resultat, gång efter gång när vi slumpar dessa 1 000 från en mycket större population.

Den statistiska osäkerheten (alltså slumpen) som uppstår för varje resultat ramas in med ett konfidensintervall som talar om för oss att ”om vi hade slumpat urvalet igen och fått 1 000 andra individer att svara på frågan, så hade resultatet hamnat innanför dessa ramar” (se exempeldiagrammet här nedan. Jag understryker att siffrorna är exempel).

Detta innebär också att verkligheten som du försöker mäta med dina frågor egentligen befinner sig någonstans innanför konfidensintervallet.

Nu är det inte fullt så enkelt som att verkligheten alltid befinner sig innanför konfidensintervallet. Hur ofta verkligheten befinner sig inom konfidensintervallet stipuleras av en konfidensgrad. När du räknar ut ett konfidensintervall får du själv bestämma med vilken konfidensgrad du vill räkna ut det. Det låter kanske lite konstigt att du själv får ange konfidensgraden,  men fortsätt läsa så ska vi förhoppningsvis få lite klarhet i detta.

Konfidensgraden anges i procent och markerar med hur stor sannolikhet verkligheten befinner sig inom konfidensintervallet. Den vanligaste konfidensgraden inom statistiken är 95 %. Om vi använder en sådan konfidensgrad innebär det att verkligheten vi försöker mäta befinner sig innanför konfidensintervallet vid 95 % av fallen, eller 19 av 20 gånger.

Om du istället vill mäta något med en 99 % konfidensgrad, men behåller samma antal observationer (1 000 i det här fallet), så kommer spannet för konfidensintervallet bli större. Anledningen till detta är att du nu vill uttala dig om att verkligheten ligger inom konfidensintervallet i 99 % av fallen. Eftersom du fortfarande har samma antal observationer måste spannet på konfidensintervallet att öka.

Om du vill uttala dig med större säkerhet om dina resultat behöver du således mer observationer, och detta kostar mer pengar. Den 95 % konfidensgraden och 1 000 observationer har som ett resultat av detta av marknadsundersökningsindustrin blivit accepterat som tillräckligt goda resultat avvägda mot kostnaden för resultaten.

Exempel

Vi frågar 1 000 personer. 40 % svarar att de vill köpa nya vårskor.

Vi använder en 95 % konfidensgrad.

Det ger oss ett konfidensintervall om plus minus 3 %. Vi kan således säga att antalet svenskar som vill köpa nya vårskor är 37 % – 43 %, med en konfidensgrad på 95 %.

Om vi bara hade haft 100 observationer så skulle mycket kunna förändras om vi drog urvalet en gång till med 100 andra individer. Därför är den statistiska osäkerheten mycket större om 40 % av 100 respondenter anger att de vill köpa nya vårskor. Konfidensintervallet är plus minus 12,64 %. Vi kan då säga att 27,36 % – 52,64 % av svenskarna vill köpa nya vårskor. Denna information är inte mycket värd för någon.

I diagrammet kan du se hur konfidensintervallet ökar och minskar beroende på hur stort urval vi gör. Du kan även se hur konfidensintervallet ökar när vi ökar konfidensgraden till 99 %.

>>DIN FEEDBACK ÖNSKAS<<
>>>Klicka och påverka innehållet i detta blogginlägg<<<

Räknesnurror för konfidensintervall

Det finns ute på nätet en hel del räknesnurror som du kan använda för att räkna ut ditt konfidensintervall

• Dimention Research har en helt ok räknare som är rätt lättanvänd. Du hittar den här

Relaterade sidor

Vi har gjort en del undersökningar och mätningar via SnabbaSvar.se där konfidensintervallet har kommit väl till pass

• Den andra mätningen av kännedomen om Alliansens logotyp skulle kunna fresta till att säga att kännedomen rört sig pyttelite upp. Men i själv verket kan det vara slumpen. De två mätningarnas konfidensintervall överlappar varandra.
• Den tredje mätningen av efterfrågan på iPad visar att folk som kommer att införskaffa en iPad några månader efter att den släpps har ökat i antal. Vi kan säga detta med en konfidensgrad om 95 %. Vi kunde däremot inte säga något om just denna förändring från mätning ett till mätning två.

Vill du veta mer?

• Läs mer om var SnabbaSvar.se samlar in dina svar här
• Läs mer om hur SnabbaSvar.se drar urvalen för dina frågor här