Låt oss prata om mätvärden för experimentering: De nya reglerna för att skala upp ditt program (År 2025)

Det finns en anledning till att vissa program för experimentering skalar upp medan andra stagnerar.

Förra månaden satte jag mig ner med en VP Digital på en Fortune 500-återförsäljare med en bekant utmaning. Deras vinstprocent? Över branschgenomsnittet. Deras test-hastighet? Växer kvartal över kvartal. Men under kvartalsgenomgången ställde CEO en fråga som fick dem att tappa hakan:

Vi kör fler tester än någonsin, men varför påverkar det inte vårt resultat?

De flesta program för experimentering misslyckas för att de:

• Firar ytliga vinster (Titta, färgbytet på knappen fungerade)
• Jagar testhastighet utan påverkan (Vi körde 50% fler tester det här kvartalet)
• Samlar in fåfänga mätvärden (vår vinstfrekvens ligger över branschgenomsnittet)

Att ställa in rätt mätvärden är en ständig utmaning som vi hjälper kunder att övervinna, särskilt när de försöker skala upp sina program för experimentering.

I den här bloggen kan du se:

• Vilka mätvärden som faktiskt förutspår programtillväxt
• Hur ledande program bevisar massiv ROI (utan att spela på systemet)
• Ett praktiskt ramverk för att utveckla dina mätvärden när ditt program skalas upp
• De dolda mätvärdena med stor effekt som de flesta program missar

Bra mätvärden räknar inte bara saker, de berättar historier som driver tillväxt.

Vanliga mätfel att undvika

Tre vanliga mönster som hindrar bra program från att skala upp:

1. Besatthet av vinstprocent

Programmen firar ofta sina "win rates", men när man gräver djupare är dessa "wins" oftast små justeringar med minimal affärspåverkan. Data visar att endast 12 % av experimenten leder till framgång.

Källa: Optimizely Optimizely Evolution of Experimentering Report

Visst är vinstfrekvensen viktig - särskilt när du försöker få buy-in i början av ditt program. Men för att ta ditt program till nästa mognadsnivå måste du gå förbi det och börja formulera värdet av experimentering i termer av upplyft och översätta vinstfrekvenser till förväntad effekt per test.

Vill du till exempel hellre ha tester som vinner 10 % av gångerna men som ger en förbättring på en miljon dollar? Eller tester som vinner 50 % av gångerna men bara ger 100 $ i extra intäkter? (Du behöver egentligen inte svara på den frågan.)

Varje experiment ger värde - förlorande tester förhindrar skadliga förändringar, medan ofullständiga resultat sparar resurser från områden med låg inverkan.

2. Illusionen om hastighet

Antalet tester i sig är inte tillräckligt för att förutse programmets framgång. De mest framgångsrika programmen kör inte bara fler tester, de kör bättre. De:

• Testar ett större antal variationer samtidigt
• Skiftar inte bara till hastighet utan också till större förändringar och påverkan
• Gör större kodändringar med mer effekt på användarupplevelsen

3. Problemet med ytliga mätvärden

De flesta program spårar dussintals mätvärden men kämpar för att svara på frågor om affärspåverkan.

De mäter allt utom det som är viktigt:

• Spåra klick men inte påverkan på kundresan
• Räknar sidvisningar men inte köpintention
• Mäter ytligt engagemang men inte djupt användarbeteende

VANLIGA FRÅGOR OCH SVAR: Vilka vanliga misstag gör team som arbetar med experimentering?

Två kritiska misstag uppstår ofta vid val av mätvärden:

• Felriktade mätvärden för tratten: Att använda nedströmsmått (som intäkter) för att utvärdera uppströmsförändringar (som engagemang på hemsidan) kan leda till missvisande slutsatser.
• Överbelastning av mätvärden: Att inkludera för många mätvärden skapar beslutsförlamning. Fokusera på kärnmätvärden och sidspecifika mätvärden som definieras i din testplan.

Typ av mätvärden

Över 90 % av alla experiment har 5 vanliga mätvärden som mål:

• CTA-klick
• Intäkter
• Checkout
• Registrering
• Lägg till i kundvagn

Men 3 av dessa topp 5-mätvärden har relativt låg förväntad påverkan.

Bild: Mätetal efter andel av påverkan

Det är tydligt att mätvärden med hög påverkan förbises. Trots att sökoptimering bara testas 1 % av tiden har det den högsta förväntade effekten på 2,3 %.

• Kunder som söker konverterar 2-3 gånger mer än webbläsare
• Sökmönster avslöjar omedelbara intäktsmöjligheter
• Sökningar med nollresultat belyser produktluckor

Mätvärden för kundresan

Ett annat sätt att skala upp din experimentering är att mäta hela kundresor snarare än att fokusera på enskilda sidors mätvärden.

Tänk på din egen produktresa. En kund fattar sällan ett beslut baserat på en enda sida eller funktion. De rör sig genom en serie interaktioner, där varje interaktion bygger vidare på den föregående. Ändå optimerar de flesta program fortfarande dessa kontaktpunkter isolerat.

Ett stort SaaS-företag som vi arbetar med övergick nyligen från att enbart optimera sin prissidas konverteringsoptimering till att mäta hela kundresan. Deras "vinnande" test av prissidan skapade faktiskt friktion längre ner i tratten. Genom att övergå till resebaserad mätning ökade de sin konverteringsgrad.

Viktiga mätvärden för resan att tänka på:

• Interaktionsmönster mellan olika sidor som avslöjar hur användarna faktiskt navigerar i din produkt
• Övergivna punkter i komplexa flöden, särskilt flerstegsprocesser som checkout eller onboarding
• Förändringar i besöksbeteende som signalerar långsiktig påverkan på engagemanget
• Attribuering av flera kontaktpunkter för att förstå vilka kombinationer som driver konvertering

Sammansatta mätvärden

Du kan också kombinera mätvärden på oväntade sätt. Istället för att titta på hur många kundvagnar som överges isolerat kan du kombinera det med data om customer lifetime value. Potentiella kunder jämför ofta alternativ innan de gör större åtaganden.

Här är några exempel på hur man kan kombinera mätvärden för att få större genomslagskraft:

• Kundanskaffningskostnad i kombination med customer lifetime value avslöjar den verkliga avkastningen på experimentering.
• Feature adoption kombinerat med retention metrics visar vilka produktförändringar som fastnar.
• Priskänslighet analyserad tillsammans med inköpsfrekvens identifierar dina mest värdefulla optimeringsmöjligheter.

Kom ihåg att de primära mätvärdena varierar mellan olika branscher på grund av skillnader i mål, prioriteringar och funktioner för spårning

Källa: Optimizely Optimizely Evolution of Experimentering Report

FRÅGOR OCH SVAR: Vilka mätvärden spårar våra mest framgångsrika företagskunder?

Framgång i experimentering handlar om att spåra två typer av mätvärden, kärnverksamhetsmätvärden som återspeglar övergripande prestanda och hypotesspecifika mätvärden som är skräddarsydda för varje experiment.

En webbplats för e-handel kan till exempel spåra den totala konverteringen av köp som ett kärnmått, samtidigt som man mäter interaktioner i sökfältet för ett sökfokuserat experiment.

Fler tester = mer värde. Även data säger att det inte är sant.

Är det verkligen så enkelt som att fler tester = mer värde?

När du får igång ditt program, låt oss säga de första 12-18 månaderna, ja - kör så många tester som möjligt. Det hjälper dig att bygga upp en databank med framgångsrika berättelser i syfte att få mer resurser och etablera en experimenteringskultur.

Att gå vidare till nästa nivå handlar dock inte nödvändigtvis om att öka hastigheten. Det handlar om att fokusera på komplexitet och att gå bortom kosmetiska förändringar. Små justeringar tenderar att resultera i små förbättringar. Vår forskning visade oss att de experiment som ger de största förbättringarna har två saker gemensamt:

1. De gör större kodändringar med större effekt på användarupplevelsen.
2. De testar ett större antal variationer samtidigt.

Mer komplexa experiment som gör stora förändringar i användarupplevelsen, t.ex. prissättning, rabatter, checkout-flöde, datainsamling etc. är mer benägna att generera högre uplifts.

Analysens roll

För att spåra mätvärden för resan och skapa sammansatta mätvärden måste dina data fungera tillsammans. Men de flesta program för experimentering står inför ett grundläggande hinder eftersom deras data lever i åtskilda delar. Webbanalys på ett ställe, kunddata på ett annat och resultat från experimentering någon helt annanstans.

Det är här som warehouse-native analytics förändrar spelplanen.

• Testa mot alla mätvärden i ditt lager, från intäkter till livstidsvärde, utan komplexa datapipelines.
• Besvara sofistikerade affärsfrågor på några minuter, inte dagar. Generera kohortinsikter i farten.
• Kör experiment över webben, e-post och CRM med Stats Engine, allt analyserat på ett ställe.
• Behåll känslig data i ditt lager medan du kör sofistikerade experiment.
• Få slut på debatten om mätetal när alla arbetar med samma lagerdata.

Se varför warehouse-native analytics är nutiden och framtiden för datadriven experimentering.

Dina funktioner för analys bör också gå längre än att bara konsolidera data. Listan innehåller:

1. Värmekarta: Gå bortom grundläggande klickspårning för att förstå hur användarinteraktioner översätts till intäkter under hela kundresan.
2. Anpassade händelser: Bryt dig loss från fördefinierade händelser och spåra alla användarbeteenden som är viktiga för ditt företag, inklusive komplexa interaktionssekvenser och konvertering i flera steg.
3. Tilldelning på flera kontaktpunkter: Förstå hur experiment påverkar hela kundresan genom att spåra sökvägar mellan olika enheter och mäta fördröjd konvertering.
4. Statistisk signifikans: Kör sofistikerade analyser utan att offra hastigheten, med hjälp av automatiserad testning och sekventiell analys för att fatta snabbare och mer exakta beslut.

Dessa funktioner förvandlar din analysmotor från ett passivt rapporteringssystem till en aktiv insiktsgenerator.

VANLIGA FRÅGOR OCH SVAR: Vilka implementatörer av analysverktyg ger mest värde?

Två viktiga implementatörer:

• Warehouse-native analytics är en utmärkt integration för longtail-mätvärden (som returgrad) eller dina kärnmätvärden som finns i ditt datalager.
• Implementering av beteendeanalys (t.ex. Google Analytics) gör det möjligt att utforska andra mätvärden som påverkats av din hypotes, men som inte ingick i framgångskriterierna. Ett exempel på detta skulle vara att märka att dina navigeringsinteraktioner minskade om ditt experiment var att öka sökfältets framträdande plats i sidhuvudet.

Hur man väljer mätvärden i olika programfaser

Varje framgångsrikt program för experimentering går igenom olika stadier. Så här kan du utveckla din mätstrategi i varje fas och veta när du är redo att höja nivån.

1. Tidigt skede: Bygg grunden

I det här skedet är ditt primära mål att bevisa att experimentering fungerar. Du kan börja med två eller tre kärnmått och en enkel dashboard.

Fokusområden:

• Grundläggande mätvärden för konvertering som är direkt kopplade till intäkter
• Testhastighet för att visa programmets momentum
• Enkla vinst/förlust-kvoter för kommunikation med intressenter

Indikatorer för framgång:

• Konsekvent statistisk signifikans i resultaten
• Tydlig dokumentation av lärdomar från tester
• Grundläggande ROI-beräkningar för större vinster
• Växande intresse för resultaten hos intressenterna

Exempel: Konverteringsgrad, testhastighet, enkla win/loss-kvoter

2. Tillväxtfas: Utökad påverkan

Det är här ditt program börjar driva meningsfulla förändringar i verksamheten. De mätvärden som tog dig hit kommer inte att ta dig till nästa nivå.

Viktiga övergångar:

• Gå från att räkna tester till att mäta affärseffekter
• Börja spåra intäkter per experiment
• Introducera resebaserade mätetal
• Bygg djupare insikter om användarnas beteende

Varningstecken på att du har kört fast:

• För många små, ytliga tester
• Svårt att koppla resultat till intäkter
• Begränsad insyn i användarresorna
• Intressenter ifrågasätter programmets värde

Exempel på detta: Ökade intäkter, påverkan på kundresan, konverteringsgrad vid flera kontaktpunkter

3. Avancerat stadium: Strategisk drivkraft

I det här skedet blir experimentering en viktig drivkraft för verksamheten. Dina mätvärden måste återspegla denna strategiska roll.

Avancerade mätvärden inkluderar:

• Sammansatta mätvärden som avslöjar dolda möjligheter
• Hastigheten för lärande mellan olika team
• Mätningar av resurseffektivitet
• Hastigheter för strategiskt undvikande av risker

Exempel på detta: Inlärningshastighet, resurseffektivitet, strategisk riskundvikande

Guide för implementering

Fem saker att göra för att bedöma dina mätetal:

1. Kartlägg din hierarki av mätetal: Skilj mellan input-mätvärden (användaråtgärder) och output-mätvärden (affärsresultat). En detaljhandelskund upptäckte att deras "framgångsrika" tester optimerade klick men skadade köp. Mer om hur du maximerar dina KPI:er.
2. Ifrågasätt varje mätvärde: Fråga "Varför finns det här mätvärdet?" för varje mätvärde. En B2B-kund minskade sina mätvärden från 47 till 10 kärnmätningar och såg att intressenternas engagemang fördubblades.
3. Granska dina datakällor: Kontrollera varifrån data för varje mätvärde kommer och hur de samlas in. Vanliga fallgropar är åtskilda data och inkonsekvent spårning.
4. Granska den statistiska hälsan: Verifiera urvalsstorlekar och signifikansnivåer. Väntar du för länge på resultat eller fattar du beslut för snabbt?
5. Kontrollera affärsmässig anpassning: Koppla varje mätvärde till ett specifikt företagsmål. Ta bort mätvärden som inte direkt påverkar besluten.

Så här gick Carl Ras från att spåra grundläggande konvertering till att mäta hela kundresor, vilket avslöjade oväntade kopplingar mellan produktupptäckt och köpbeteende. Resultatet blev en ökning av onlineförsäljningen med 35 % och ett 10 % högre genomsnittligt ordervärde.

Checklista för implementering av mätetal:

1. Bygg grunden för dina mätetal

• Välj 2-3 primära output-mätetal
• Definiera stödjande indatamätetal
• Sätt tydliga tröskelvärden för övervakning

2. Möjliggör framgång för flera team

• Skapa gemensamma dashboards
• Etablera granskningsprocesser
• Spåra teamspecifika effekter

Tre saker att ta med sig i en överblick

För att sammanfatta, här är tre saker att ta med sig:

1. Att förankra en hypotes i data och mäta rätt mätvärden
   påverkar hur teamen arbetar med idéutveckling och design. Gå vidare till en resebaserad mätning som fångar hela kundresans upplevelse.
2. Fokusera på sammansatta mätvärden som kombinerar olika datapunkter för att avslöja djupare insikter, som att para ihop kundanskaffningskostnaden med customer lifetime value.
3. Anpassa mätvärdena till programmets mognadsgrad. Börja med konverteringar, utvidga sedan till resemätningar och gå slutligen vidare till strategiska mätningar som driver affärsbeslut.

Allt detta är bara en försmak. Läs mer om experiment, insikter, tekniker och exempel för att skala upp ett framgångsrikt experimenteringsprogram.