Typ 1-fel

Vad är ett typ 1-fel?

Ett typ 1-fel (eller typ I-fel) är en statistisk term som används för att hänvisa till en typ av fel som görs vid testning när en slutgiltig vinnare förklaras trots att testet faktiskt inte är slutgiltigt.

Vetenskapligt sett kallas ett typ 1-fel för förkastande av en sann nollhypotes, eftersom en nollhypotes definieras som hypotesen att det inte finns någon signifikant skillnad mellan specificerade populationer, och att varje observerad skillnad beror på urvals- eller experimenteringsfel.

Med andra ord är ett typ 1-fel som en "falsk positiv", en felaktig tro på att en variation i ett test har gjort en statistiskt signifikant skillnad.

Detta är bara en av de olika typerna av fel, eftersom motsatsen till ett typ 1-fel är ett typ 2-fel, som definieras som att en falsk nollhypotes eller en falsk negativ hypotes inte förkastas.

Varför uppstår typ 1-fel?

Fel kan lätt uppstå när statistik missförstås eller tillämpas felaktigt under A/B-testning och produktexperimentering.

Inom statistiken är begreppet statistiskt fel en integrerad del av testningen av alla hypoteser.

Ingen hypotesprövning är någonsin säker. Eftersom varje test baseras på sannolikheter finns det alltid en liten risk att dra en felaktig slutsats (t.ex. ett typ 1-fel (falskt positivt) eller ett typ 2-fel (falskt negativt)).

Statistisk signifikans har traditionellt beräknats med antaganden om att testet löper inom en fast tidsram och avslutas så snart lämplig urvalsstorlek har uppnåtts. Detta är vad som kallas en "fast horisont".

Metoden med "fast horisont" förutsätter att du fattar ett beslut först efter att den slutliga urvalsstorleken har uppnåtts.

Naturligtvis är det inte så här det fungerar i världen av A/B-testning. Utan någon förutbestämd fastställd urvalsstorlek (och resultat som inte är statistiskt signifikanta) är det lätt att göra ett typ 1-fel.

Hypotesprövningar har en nivå av statistisk signifikans kopplad till sig, betecknad med den grekiska bokstaven alfa, α.

Siffran som representeras av α är en sannolikhet för att testresultaten är korrekta. I Digital Marketer-universumet är standarden nu att statistiskt signifikanta resultat har värdet alfa på 0,05 eller 5% signifikansnivå.

En konfidensnivå på 95% innebär att det är 5% chans att dina testresultat är resultatet av ett typ 1-fel (falskt positivt).

Varför är det viktigt att se upp för typ 1-fel?

Det främsta skälet till att se upp för typ 1-fel är att de kan kosta företaget mycket pengar.

Om du gör ett felaktigt antagande och sedan ändrar de kreativa komponenterna på en landningssida baserat på det antagandet, kan du riskera att skada din konverteringsgrad på en betydande nivå.

Det bästa sättet att undvika typ 1-fel är att öka din konfidensnivå och köra experiment längre för att samla in mer data.

Exempel på typ 1-fel

Låt oss tänka oss en hypotetisk situation. Du är ansvarig för en e-handelssajt och du testar variationer för din landningssida. Vi ska undersöka hur ett typ 1-fel skulle påverka din försäljning.

Din hypotes är att en ändring av CTA-knappen "Köp nu" från grön till röd kommer att öka konverteringen avsevärt jämfört med din ursprungliga sida.

Du startar din A/B-testning och kontrollerar resultaten inom 48 timmar. Du upptäcker att konverteringsgraden för den nya gröna knappen (5,2 %) överträffar originalet (4,8 %) med en konfidensnivå på 90 %.

Upprymd utnämner du den gröna knappen till vinnare och gör den till standardsida.

Två veckor senare dyker din chef upp på ditt skrivbord med frågor om en stor nedgång i konverteringarna. När du kontrollerar dina data ser du att dina data för de senaste två veckorna indikerar att den ursprungliga färgen på CTA-knappen faktiskt var vinnaren.

Vad var det som hände? Även om experimentet gav ett statistiskt signifikant resultat med ett konfidensintervall på 90 % innebär det fortfarande att 10 % av gångerna kommer den slutsats som experimentet når faktiskt att vara felaktig eller orsaka falska positiva resultat.

Hur man undviker typ 1-fel

Du kan undvika typ 1 genom att höja den signifikansnivå som krävs innan du fattar ett beslut (till t.ex. 95 % eller 99 %) och genom att låta experimentet pågå längre för att samla in mer data. Statistik kan dock aldrig med 100 procents säkerhet säga om en version av en webbsida är den bästa. Statistik kan bara ge sannolikhet, inte visshet.

Betyder det att A/B-testning är värdelös? Nej, inte alls. Även om det alltid finns en risk att göra ett typ 1-fel kommer du statistiskt sett ändå att ha rätt för det mesta om du anger ett tillräckligt högt konfidensintervall. Precis som inom ingenjörsvetenskap och andra discipliner är det inte möjligt att uppnå absolut säkerhet, men genom att ange rätt konfidensintervall kan vi minska risken för att göra fel till ett acceptabelt intervall.