Behärska datadrivna beslut: Nyckeln till framgångsrika produktexperiment

Föreställ dig det här: Du är produktchef och står i korsningen mellan magkänsla och kalla, hårda data.

Å ena sidan har du din intuition som viskar om vad dina kunder verkligen vill ha. På den andra sidan finns ett berg av kalkylblad, diagram och formulär för användarfeedback som säger: "Lyssna på mig, jag är vetenskap!"

Säg hej till datadrivet beslutsfattande. I produktutvecklingens livscykel spelar A/B-testning och statistisk signifikans avgörande roller för att forma produktstrategier.

Men här kommer en fråga: Om datadrivna beslut är så betydelsefulla, varför kämpar då så många team fortfarande med att fatta strategiska beslut? Varför försöker vi desperat förstå oss på våra dataanalytiska instrumentpaneler?

Låt oss dyka in och ta reda på svaret på hur man fattar välgrundade beslut. Innan du frågar, det handlar inte bara om siffrorna, gott folk.

Den datadrivna drömmen (och varför den håller dig vaken om nätterna)

En sak i taget: Vad exakt är datadrivna beslut?

I teorin är beslutsfattarprocessen enkel. Datainsamling följs av dataanalys så att du kan använda dessa datauppsättningar och handlingsbara insikter för att vägleda dina affärsbeslut. Enkelt, eller hur?

Nej, det är det inte.

I praktiken är det lite annorlunda för beslutsfattare.

Ta till exempel Airbnbs smarta prissättningsalgoritm. Den använder data för att automatiskt ställa in det perfekta priset för din uthyrning. Men om du går djupare inser du att den måste ta hänsyn till allt från lokala händelser till vädermönster.

Så det är inte perfekt. Fråga bara någon drifta som av misstag har hyrt ut sin plats för $ 1 per natt under Super Bowl-helgen.

Sanningen är att det är svårt att ta något initiativ för att få rätt data och fatta bättre beslut. Här är varför:

• Överbelastning av data: Vi har för mycket data, men knappt några datakällor som påverkar kundupplevelsen. Det är svårt att få fart på sin egen båt om man pratar om samma gamla båt. Det är därför det är viktigt att förstå vilka delar av data som är användbara för ditt syfte.
• Analysförlamning: Med så mycket data är det frestande att fortsätta analysera... och analysera... och analysera. Innan du vet ordet av har dina konkurrenter lanserat tre nya funktioner medan du fortfarande diskuterar den statistiska signifikansen av ditt senaste test av knappfärger.
• Den mänskliga faktorn: Vi är inte robotar (än). Våra hjärnor är uppbyggda med fördomar, och ibland ser vi det vi vill se i data. Det är som att titta på moln - om du stirrar tillräckligt länge kommer du förmodligen att se vad du föreställer dig.

Nyckeln är att balansera datavisualisering med kreativitet. För att förstå kraften i datadrivna experiment, låt oss titta på Googles berömda experiment med 41 nyanser av blått.

Källa: Google Insights4print

År 2009 testade datavetare på Google 41 lite olika nyanser av blått för sina sökresultatlänkar och visade varje nyans för cirka 2,5% av användarna.

Hypotesen? Olika nyanser kunde påverka användarengagemanget och klickfrekvensen.

Resultaten var överraskande. Den vinnande nyansen ökade de årliga annonsintäkterna med 200 miljoner dollar.

Upplevelsen var dock inte helt okontroversiell. Det visade att även små förändringar kan ha betydande effekter. Men det väckte också frågor om balansen mellan data och intuition i design. Överlag bör kunddata ge värdefulla insikter, inte ersätta, mänsklig kreativitet och intuition i designprocessen.

Den datadrivna experimentcykeln

Låt oss nu prata om produktexperiment i datadrivna organisationer. Det är en process där man testar idéer, funktioner och design för att se vad som faktiskt fungerar.

Men det är här som teamen ofta stöter på patrull:

1. Formulering av hypoteser

Det är svårt att göra prognoser och komma fram till en bra hypotes, särskilt om du ska presentera den för intressenter. Alla har en åsikt, men ingen är riktigt säker på om de har rätt. "Jag antar att om vi lägger till glitter i vår appikon kommer det att öka användarengagemanget med 1000%!" (Eller kommer det att göra det ✨)

Här är vad som kommer att hjälpa:

• Business intelligence handlar om att utgå från dina produktmål och användarnas smärtpunkter.
• Använd SMART-kriterierna: Specifik, mätbar, uppnåelig, relevant och tidsbunden.
• Använd datadrivna insikter för att formulera din hypotes i ett "Om...då..."-format.

Källa: Indeed Indeed

Exempel: Om vi förenklar kassaprocessen genom att minska den från 5 steg till 3, kan vi se en 5-10 % ökning av slutförda köp under nästa månad.

2. Utformning av upplevelser

Att utforma ett rent experiment innebär att man kontrollerar många variabler. Så här gör du:

• Definiera tydligt dina oberoende och beroende variabler.
• Använd kontrollgrupper för att isolera effekten av dina förändringar.
• Överväg potentiella förväxlingsfaktorer och planera hur du ska mildra dem.
• Använd funktionsflaggor för att leverera funktioner utan risker.

3. Analys och tolkning

Det är lätt att dra felaktiga slutsatser, särskilt med begränsade data. Så här kan du använda datakunskap för att analysera resultaten bättre:

• Se bortom bara siffrorna - tänk även på datakvaliteten.
• Var försiktig med falska positiva och negativa resultat. Gör uppföljande experiment för att bekräfta upplevelserna.
• Använd visualiseringsverktyg för att upptäcka trender och mönster i dina data.
• Bygg en experimenteringskultur där det är okej för teammedlemmar att ha fel - målet är att lära sig, inte att alltid ha rätt.

Använd ett iterativt tillvägagångssätt för att experimentera i stället för att gå på magkänsla. Börja med små, hanterbara tester, förfina kontinuerligt dina metoder baserat på resultaten och tackla successivt mer komplexa hypoteser i takt med att teamets expertis växer.

Fem exempel på hur data förbättrar mätresultat

Datadrivet beslutsfattande kan direkt påverka dina prestationsmått.

Netflix analyserar till exempel tittarvanor, sökhistorik och användarbetyg för att kunna ge rekommendationer, styra innehållsleveranser och optimera tjänsteleveransen.

Källa: AIM Research AIM Research

Genom att utnyttja detta datadrivna tillvägagångssätt rekommenderar Netflix inte bara innehåll utan förutspår också framgångsrika programkoncept. Dessutom kan de förutse kundbortfall och vidta proaktiva åtgärder för att behålla riskabonnenter.

Netflix framgångar visar hur data kan driva fram förbättringar inom flera olika prestationsmått. Här är fem viktiga områden där du kan använda data för att avsevärt förbättra företagets resultat:

1. Konverteringsfrekvenser: Genom att analysera användarnas preferenser kan du personalisera webbplatsens meddelanden, vilket kan leda till att fler användare köper det du säljer. Genom att testa en ny design på webbplatsen såg ClassPass till exempel en 10-procentig ökning av antalet registreringar.
2. Användarengagemang: Data kan avslöja vilka funktioner eller innehåll som användarna interagerar mest med, vilket gör att du kan skapa mer engagerande upplevelser. Brooks testade följande meddelande och fick fler beställningar. 88 % sa att de uppskattade erbjudandet om hjälp från kundtjänsten.
3. Kundens livstidsvärde (CLV): Genom att identifiera riskkunder kan dina nyckeltal (KPI:er) fokusera på att skapa personaliserade kundupplevelser och förbättra andelen kunder som behålls.
4. Produktutveckling: Användarfeedback kan ligga till grund för produktförbättringar och utveckling av nya funktioner, vilket säkerställer att du bygger produkter enligt kundernas behov. Se hur DocuSign ökade experimenthastigheten genom att förenkla den datadrivna beslutsfattarprocessen.
5. Checkout-frekvens: Du kan titta på analysdata och identifiera dropoff-punkter eller jämföra ditt kassaflöde med konkurrerande webbplatser för att förstå varför shoppare överger en kundvagn. Så här använde Hunter Engineering maskininlärning för att öka antalet månatliga beställningar med 20 %.

Det datadrivna förlovade landet: Är vi där än?

Datadrivet beslutsfattande erbjuder en enorm potential, men datahantering är inte helt utan fallgropar. Här är fördelarna med datadrivet beslutsfattande och hur du kan hantera fallgroparna:

• Börjasmått, tänk stort: Börja med fokuserade upplevelser som ger snabba vinster. Bygg upp momentum, få förtroende för processen och börja sedan köra komplexa experiment.
• Undvik p-hacking: P-hacking handlar om att manipulera dataanalysen för att skapa statistisk signifikans där det egentligen inte finns någon. Frestelsen att manipulera relevanta data för att uppnå önskade resultat är verklig. Främja en kultur där experimentets integritet är viktigare än "positiva" resultat.
• Hantera motstridiga data: När data pekar i olika riktningar ska du motstå impulsen att plocka russinen ur kakan. Gräv i stället djupare för att förstå de underliggande faktorer som orsakar konflikten.
• Främja en datadriven kultur: Tillåt ditt team att ställa frågor, utmana antaganden och bli bekväma med att ha fel. Booking dot com demokratiserade till exempel sin experimentprocess och lät alla team sätta upp och köra upplevelser.
• Använd rätt verktyg: Verktyg för funktionshantering kan hjälpa dig att kontrollera utrullningar, segmentera användare och samla in data på ett effektivt sätt för operativ effektivitet.
• Säkerställ statistisk signifikans: En av de största utmaningarna med experiment är att uppnå statistisk signifikans, särskilt med mindre urvalsstorlekar. Booking.com stod inför denna utmaning när de experimenterade på sin experimentplattform. Med bara cirka 1000 upplevelser som kördes parallellt var de tvungna att noggrant utforma sina "meta-upplevelser" för att säkerställa tillräcklig statistisk styrka. De valde interventioner med potentiellt stora effektstorlekar och körde upplevelser under längre perioder för att övervinna begränsningarna i urvalsstorlek.

Vanligast förekommande funktioner för funktionshantering

Feature management är avgörande för en säker, kontrollerad och datadriven produktleverans. Här är några av de vanligaste funktionerna för funktionshantering som du kan använda för att förbättra kundnöjdheten:

• Använd Feature Flags för att slå på eller av funktioner utan att distribuera ny kod i realtid.
• Använd Gradual Rollouts för att släppa funktioner till en liten andel användare och gradvis öka exponeringen, vilket minimerar riskerna.
• Använd målgruppsinriktade lanseringar för att endast visa funktioner för specifika användarsegment, t.ex. betatestare, premiumkunder eller användare i vissa geografiska regioner.
• Använd multivariat testning för att jämföra olika versioner av en funktion för att avgöra vilken som presterar bäst i förhållande till huvudfunktioner.
• Använd Canary Releases för att distribuera ändringar till en liten undergrupp av användare och testa för problem innan en bredare release.
• Använd Kill Switches för att snabbt inaktivera en funktion om problem uppstår, vilket minimerar effekterna av buggar eller prestandaproblem.

Målet är inte bara att följa marknadstrenderna och leverera funktioner snabbare, utan att leverera rätt funktioner som verkligen uppfyller kundernas behov och driver affärsvärde.

Datadrivet, inte datadränkning

Slutsatsen är att det inte handlar om att ha alla svar för att kunna fatta datadrivna beslut som påverkar kundernas beteende. Det handlar om att ställa rätt frågor, vara villig att lära sig av misslyckanden och hitta den gyllene punkten mellan data och intuition. Det är det som hjälper dig att uppnå affärsmålen.

Så nästa gång du undrar om du ska lita på siffrorna eller gå på magkänslan, ska du veta detta: De bästa produktbesluten är ofta en härlig kombination av båda.

Är du redo att dyka djupare? Kolla in den här omfattande guiden för produktexperiment.