Typ 2-fel

Vad är ett typ 2-fel (typ II-fel)?

Ett typ 2-fel är en statistisk term som används för att hänvisa till en typ av fel som görs när ingen avgörande vinnare förklaras mellan en kontroll och en variation när det faktiskt borde finnas en.

Vilka är skillnaderna mellan typ I- och typ II-fel?

När du utför statistisk hypotestestning finns det två typer av fel som kan uppstå: typ I-fel och typ II-fel.

Typ I -fel är som "falska positiva" och inträffar när du drar slutsatsen att den variation du experimenterar med är en "vinnare" när den faktiskt inte är det. Vetenskapligt sett innebär det att du felaktigt förkastar den sanna nollhypotesen och tror att det finns ett samband när det i själva verket inte gör det. Risken för att du begår typ I-fel kallas typ I-felprocent eller signifikansnivå (p-värde) - detta tal sätts konventionellt och godtyckligt till 0,05 (5%).

Typ II-fel är som "falska negativa", ett felaktigt avvisande av att en variation i ett test inte har gjort någon statistisk signifikans skillnad. Statistiskt sett innebär detta att du felaktigt tror på den falska nollhypotesen och tror att ett samband inte existerar när det faktiskt gör det. Du begår ett typ 2-fel när du inte tror på något som i själva verket är sant.

Varför uppstår typ 2-fel?

Statistisk styrka är sannolikheten för att ett test kommer att upptäcka en verklig skillnad i konverteringsgrad mellan två eller flera variationer.

Den viktigaste faktorn som avgör styrkan i ett visst test är dess urvalsstorlek. Den statistiska styrkan beror också på storleken på den skillnad i konverteringsgrad som du vill testa.

Ju mindre skillnad du vill upptäcka, desto större urvalsstorlek (och desto längre tidsperiod) behöver du.

Marknadsförare kan lätt underminera sina tester genom att använda en för liten urvalsstorlek.

Det innebär att de har en liten chans att upptäcka sant positiva resultat, även om det faktiskt finns en betydande skillnad i konverteringsgrad.

Vid A/B-testning måste man hitta en balans mellan snabbhet i testdata och säkerhet i resultatens noggrannhet. Ett sätt att lösa detta problem är att köra ett test under en längre tid för att öka urvalsstorleken och förhoppningsvis minska sannolikheten för ett typ 2-fel.

Varför är det viktigt att se upp för typ 2-fel?

En anledning till att se upp för typ 2-fel är att de kan hindra din kostnad för konverteringsoptimering på lång sikt.

Om du inte ser effekterna av variationer i dina alternativa hypoteser där de faktiskt finns, kan du slösa bort din tid och inte utnyttja möjligheterna att förbättra din konverteringsgrad.

Exempel på typ 2-fel

Låt oss tänka oss en hypotetisk situation. Du är ansvarig för en e-handelssajt och du testar variationer av en landningssida. Vi ska undersöka hur ett typ 2-fel kan påverka ditt företags intäkter negativt.

Din hypotesprövning innebär att en ändring av CTA-knappen "Köp nu" från grön till röd kommer att öka konverteringen avsevärt jämfört med din ursprungliga landningssida. Du startar din A/B-testning och väntar på att det slumpmässiga urvalet av data ska trilla in.

Inom 48 timmar upptäcker du att konverteringsgraden för den gröna knappen är identisk med konverteringsgraden för den röda knappen (4,8 %) med en signifikansnivå på 95 %.

Besviken förklarar du den gröna knappen som ett misslyckande och behåller landningssidan som den är.

Veckan därpå läser du en artikel om hur gröna knappar ökar konverteringsgraden. Du bestämmer dig för att pröva din hypotes igen. Den här gången väntar du två veckor innan du kontrollerar dina resultat.

Eureka! Du upptäcker att den gröna knappen har en konverteringsgrad på 5% jämfört med den röda knappens 4,8% och har statistisk signifikans. Det visar sig att du har begått ett typ 2-fel eftersom ditt urval var för litet.

Hur man undviker typ 2-fel

Det är omöjligt att helt undvika typ 2-fel, men det är möjligt att minska risken för att de uppstår genom att öka urvalsstorleken. Det innebär att du kör ett experiment under längre tid och samlar in mer data som hjälper dig att fatta rätt beslut med dina testresultat. På så sätt undviker man att dra den felaktiga slutsatsen att ett experiment inte har någon inverkan, när det faktiskt har det.

Ett annat sätt att förhindra typ 2-fel är att göra stora och djärva ändringar på dina webbsidor och i dina appar under experimenten. Ju större effekten av en förändring blir, desto mindre urvalsstorlek behöver du och desto mindre är risken att du inte märker någon förändring. En 25-procentig ökning av konverteringsgraden är mycket lättare att märka än en 0,001-procentig ökning.