Multivariat testning

Vad är multivariat testning?

Multivariat testning (MVT) är en teknik för att testa en hypotes där flera variabler modifieras. Målet med multivariat testning är att avgöra vilken kombination av variationer som ger bäst resultat av alla möjliga kombinationer.

Webbplatser och mobilappar består av kombinationer av föränderliga element. Ett mvt-test ändrar olika element, som att ändra en bild och en rubrik samtidigt. Tre variationer av bilden och två variationer av rubriken kombineras för att skapa sex varianter av innehållet, som testas samtidigt för att hitta den vinnande varianten.

Viktiga egenskaper hos multivariata testningar

• Testar flera sidelement samtidigt
• Kräver större urvalsstorlekar än A/B-testning
• Ger insikter om elementens interaktioner
• Bäst för att optimera kritiska sidor utan fullständig omdesign
• Användbart för att förstå komplexa användarbeteenden

Det totala antalet variationer i en multivariat testning kommer alltid att vara:

[Antal variationer på element A] X [Antal variationer på element B] ... = [Totalt antal variationer]

Ta itu med utmaningarna med multivariat testning

När du kör multivariat testning och försöker öka konverteringen kan du stöta på vissa utmaningar. Så här hanterar du dem:

• Oklara resultat
  Om ditt test inte ger några tydliga vinnare kan du försöka minska antalet variabler eller öka testtiden.
• Långsam datainsamling eller mindretrafik
  Fokusera på sidor med hög trafik eller förenkla testet genom att minska antalet variationer.
• Motstridiga resultat
  Överväg att köra om testet eller segmentera dina data för djupare analys.
• Tekniska problem
  Säkerställ korrekt implementering och kompatibilitet mellan webbläsare för dina testvariationer.

Multivariat testning jämfört med A/B-testning

För att bättre förstå multivariat testning, låt oss jämföra det med A/B-testning:

Aspekt	A/B-testning	Multivariat testning
Variabler som testas	En i taget	Flera samtidigt
Komplexitet	Enkel A-version jämfört med B-version	Mer komplex
Provets storlek	Mindre	Större
Testets varaktighet	Kortare	Längre
Bästa användningsfall	Testning av ett enda element	Optimizely flera element på en sida

Processen för att köra en multivariat testning liknar A/B split testing, men skiljer sig genom att A/B-testning endast testar en variabel. I en A/B-testning testas minst en variabel för att fastställa effekten av en förändring av en variabel. I en multivariat testning testas flera variabler tillsammans för att upptäcka den perfekta kombinationen som är effektiv för att förbättra det primära mätvärde som valts när testet skapades.

Du kan till exempel testa mycket mer elementfunktionalitet på en hemsida eller en webbsida. Detta gör det otroligt viktigt för dig att utforma din hypotes noggrant. Ju fler element du testar, desto större blir den nödvändiga urvalsstorleken för att köra det. Så för multivariat testning behöver du fler besökare eller så tar testerna längre tid för att nå statistisk signifikans.

Vilken typ av test du bör använda beror på varje användningsfall och bör utvärderas från fall till fall. Optimera alltid för högsta möjliga konvertering i dina marknadsföringskampanjer. Att använda multivariat testning kan bidra till att skapa en bättre användarupplevelse, vilket A/B-testning kanske inte kan.

Läs mer om Multivariat testning jämfört med A/B-testning.

Bästa mätvärden att fokusera på med multivariat testning

När du skapar ett multivariat testning, på samma sätt som en A/B-testning, börjar du testprocessen med att definiera dina varianter, skapa en målsida och målgrupp (valfritt) och de mätvärden som du tror kommer att påverkas av denna förändring.

Vår forskning visar att de flesta företag inom e-handel tenderar att fokusera på intäkter och B2B-företag på konverteringar. Även om dessa är de mest värdefulla konverteringarna du kan ha, kan det ibland bidra till att öka den statistiska signifikansen att lägga till andra konverteringsmått eftersom det finns mer data att arbeta med. Baserat på våra resultat hade företag som fokuserade på dessa alternativa mätvärden högre avkastning och framgång i testningen.

Exempel på webbmätvärden som du kan spåra i MVT-testningar är

• Klick på call to action - Vanligtvis knappar eller banners, mätt i CTR (klickfrekvens)

• Konverteringsgrad (CVR) - Mätning av trafik, inlämnade formulär eller försäljning. CVR är det vanligaste mätvärdet.

• Engagemangsgrad (ER) - En blogg kan mäta engagemanget hos webbplatsens besökare / scrollade 75%.

• View-through rate (VTR) - Besökare på webbplatsen eller spelhändelser / tittade på 75% eller 90%.

Om du ställer in en multivariat testning med dessa användbarhetsmått kan systemet välja den bästa kombinationen av element för din sida, baserat på ditt primära mått. De flesta verktyg låter dig spåra mer än ett mätvärde, men endast det första (eller huvudsakliga) kommer att användas för att mäta framgång.

Att lägga till alternativa mätvärden för vanliga konverteringar kan också hjälpa till med konverteringsoptimering och till och med bryta dig ur ett lokalt maximum. Om du till exempel spårar användarengagemang innan du kommer till ett formulär ökar den data som tas in i ditt multivariat testning och ger testverktyget mer data att arbeta med och nå statistisk signifikans i dina testresultat.

En anmärkning om statistisk signifikans i multivariat testning

Beroende på hur mycket trafik en viss sida får och hur stor inverkan de element som du ändrar sannolikt har på ditt primära mått kan det ta ett tag att nå statistisk signifikans.

Detta är samma sak som med alla A/B-testningar, där ju fler element du lägger till (A/B/C/D), desto längre tid kan det ta för testet att nå en slutsats. Med multivariat testning är detta extra uttalat eftersom varje element som ändras måste mätas mot varandra.

Ett exempel. Om jag ändrar en bild A och B, och även en rubrik A och B, och slutligen en beskrivning A och B, är formeln följande:

Bild A och B (2 alternativ) Rubrik A och B (2 alternativ) * Beskrivning A och B (2 alternativ) = 8 kombinationer.

Även om det här verkar vara ett relativt enkelt test skulle 8 varianter ta lång tid att testa, precis som en A/B/C/D/E/F/G/H split testing (även känd som en full factorial test). För att kompensera, på samma sätt som med en A/B-testning, fokusera på sidelement som människor kan se omedelbart på sidor med hög trafikmängd.

Ett annat alternativ för att förbättra dina resultat i multivariat testning kan vara att minska det totala antalet variabler. Om dina tester inte når signifikans i tid:

• Använd färre olika versioner av element

• Använd olika element som påverkar mätvärdena mer

• Fokusera på sidor med mycket trafik - mer om det senare

• Använd tidigare testdata för att avgöra sannolik inverkan på konverteringsgraden

• Gör om element för att göra förändringar mer framträdande. Djärvare tester tenderar att nå större testresultat

När det gäller trafikmängden, beroende på vilka förändringar du gör och hur stor inverkan du förväntar dig att dessa förändringar ska ha på ditt primära mått, behöver du åtminstone tillräckligt med trafik för att nå statistisk signifikans. Om du tar trafikmängden och den minsta detekterbara effekten kan du beräkna den exakta uppskattade trafiken med hjälp av vår kalkylator för urvalsstorlek. Den utgående provstorleken är den trafik som behövs, i det här fallet.

Fördelar med multivariat testning

Att använda multivariat testning för konverteringsoptimering (CRO) kan vara till hjälp när flera olika element på samma sida kan ändras samtidigt för att förbättra ett enda konverteringsmål: registreringar, klick, ifyllande av formulär eller sociala delningar. Om ett multivariat test utförs på rätt sätt kan det eliminera behovet av att köra flera sekventiella A/B-testningar på samma sida med samma mål och hjälpa till att hitta det mest optimala från olika kombinationer. Testerna körs samtidigt med ett större antal variationer under en kortare tidsperiod.

Multivariat testning, tillsammans med andra testmetoder, kan hjälpa till att ge visshet om att de förändringar du gör i din app eller webbplats har maximal positiv inverkan på dina mätvärden för konvertering utan att behöva testa alla olika variationer.

Vanliga saker som kan testas och som är utmärkta för multivariat testning är

• Knappfärger - Förbättrar klickfrekvensen (CTR)

• CTA-knapptext - förbättrar också klickfrekvensen (CTR)

• Olika knappdesigner för call to action - som banners eller knappar, vilket förbättrar CTR eller konverteringsgraden (CVR)

• Sidlayout - Engagemangsgrad (ER)

• Interaktiva element och medieelement - Engagemangsgrad (ER) eller genomströmningsgrad (VTR)

Hur multivariat testning skiljer sig från en fullständig faktoriell testning

Inom statistiken är ett fullfaktoriellt test en variant av multivariat testning. Det skiljer sig från en typisk multivariat testning genom att alla alternativ beaktas fullt ut i en full faktoriell testning, som namnet antyder. Där i en multivariat testning i de flesta A / B-testningsverktyg som Optimizely Web Experimentation, försöker vi hitta den bästa kombinationen snabbare innan vi drar en slutsats.

Låt oss ta ett exempel. Ett fullständigt faktoriellt test kan ta hänsyn till samma 8 individuella element och ändringar på din sida. Men kommer att testa och dela upp trafiken mellan dem på samma sätt. Det betyder att vart och ett av dessa alternativ får lika mycket trafik och data för att nå statistisk signifikans:

AAA, AAB, ABA, ABB, BAA, BAB, BBA och BBB testas alla lika för att få ett så rent resultat som möjligt. Allt har fått en rättvis chans att konkurrera om det högsta resultatet.

Vid partiell faktoriell testning, den mer typiska typen av multivariat testning, när en positiv förändring upptäcks tidigt, testas endast vissa kombinationer som är mer benägna att prestera bättre. Om systemet till exempel ser att testvariationer med variant B ger betydligt bättre resultat än de med A, finns det ingen anledning att fortsätta testa variant A.

Om vi återgår till exemplet från tidigare skulle jag bara behöva fortsätta testa BAA, BAB, BBA och BBB, vilket drastiskt minskar antalet varianter jag behöver fortsätta testa och når statistisk signifikans snabbare.

Nackdelar med multivariat testning

Här är några potentiella utmaningar när du kör multivariat testning:

1. Kräver hög trafik och sidvariation
   

   Den svåraste utmaningen med att utföra multivariat testning är mängden besökstrafik och sidvariationer som krävs för att nå meningsfulla resultat. På grund av att dessa tester är helt faktoriella kan antalet variationer i ett test snabbt öka. Resultatet av ett test med många variationer är att den tilldelade trafiken till varje variation är lägre. I A/B-testning delas trafiken för ett experiment upp i hälften, med 50 procent av trafiken som besöker varje variation. I en multivariat testning kommer trafiken att delas upp i fjärdedelar, sjättedelar, åttondelar eller ännu mindre segmenteringar, där variationerna får en mycket mindre del av trafiken än i en enkel A/B-testning.

2. Statistisk signifikans
   

   Innan du kör en multivariat testning ska du beräkna hur stort trafikurval du behöver för varje variation för att nå ett statistiskt signifikant resultat. Om trafiken till den sida du vill testa är låg bör du överväga att använda en A/B-testning i stället för en multivariat testning.

3. Brist på mätbar effekt
   

   Ibland har en eller flera av de variabler som testas inte en mätbar effekt på målet för konverteringen. Om till exempel variationer av en bild på en landningssida inte påverkar konverteringsmålet, medan ändringar av en rubrik gör det, skulle testet ha varit mer effektivt att köra som ett A/B-test istället för ett multivariat testning.

4. Utvecklande användarbeteende
   

   Som med alla typer av testning är det viktigt att notera att användarnas beteende kan skilja sig åt på olika sidor, och det kan vara värt att använda multivariat testning på en annan sida med samma specifika element för att verifiera testresultaten. Den här metoden hjälper dig att se till att du fattar rätt datadrivna beslut med hjälp av testdata, vilket säkerställer en optimal användarupplevelse.

Exempel på multivariat testning

Vanliga exempel på multivariata testningar inkluderar:

• Testning av text och visuella element på en webbsida tillsammans

• Testa antalet formulärfält och CTA-text tillsammans
• Testa text och färg på en CTA-knapp tillsammans istället för att fokusera på ett enda element

Att använda multivariat testning som en metod för webbplatsoptimering är en kraftfull metod för att samla in besöks- och användardata som ger detaljerade insikter i komplext kundbeteende. De data som tas fram i multivariat testning tar bort tvivel och osäkerhet från webbplatsoptimering. Att kontinuerligt testa, implementera vinnande variationer och bygga vidare på insikterna från testerna kan leda till betydande vinster i konvertering.