Fem (eller sex) värden på funktionsflaggor för utrullning och experimentering

Gradvis utrullning och experimentering är i grund och botten en solid metodik för utveckling av produkter och tjänster. Vi är alla med i andras experiment varje dag, oftast utan att vi vet om det. Vissa får placebo, andra får vaccin. Syftet är att så tidigt som möjligt förstå om en förändring eller nyhet har värde samt om förändringen är ändamålsenlig för användarna och ger dem en upplevelse som skiljer sig från kontrollgruppen. Genom att testa variationer förstår vi mer om användning och värde.

Den enkla sanningen är faktiskt att de allra flesta idéer och förändringar inte har något mätbart postivt värde för någon. Ofta är konsekvenserna negativa, till exempel om förändringen gör tjänsten förvirrande eller om en ny funktion har fel eller dålig prestanda. Men konsekvenserna kan också vara indirekt negativa – vi trycker in något nytt i ena änden utan att helt förstå att detta kan ha negativ effekt för andra värdeskapande funktioner, som kanske faller ut i andra änden.

Vi har alla en begränsad bandbredd och begränsningar i fråga om tid, insats och möjligheter att göra skillnad som skapar värde. Ett arbetssätt baserat på experimentdriven utveckling har uppenbara värden för alla verksamheter. Här är fem värden för absolut alla – oavsett utgångspunkt, bransch, verksamhet, organisation eller målsättningar.

Nr 1: Snabb idéutveckling – prototypframställning, experimentering och inlärning

Det klassiska A/B-testet är grunden till Optimizelys lösningar för experimentering. Som en del av Obamas kampanj testades startsidor med tydlig kunskap om vilka videor och budskap som träffade bäst. Detta är en historia som är väl beskriven här.

I förlängningen av detta testades även knappen för donation till kampanjen. Utgångspunkten för ett A/B-test är att välja det ”bästa” alternativet. Men det är inte alltid så enkelt och kampanjteamet upptäckte att appellerna hade väldigt olika effekt på olika användargrupper:

Det är otroligt värdefullt att förstå vad olika användare vill ha och reagerar på. Tidiga (och kontinuerliga) tester ger ökad förståelse och insikter som ger förutsättningar för ytterligare fokus och prioriteringar.

Nr 2: Fokuserad iterativ utveckling baserad på mätbart värde – anpassa i tid, bekräfta och förbättra det som fungerar

Ett större internationellt medieföretag övervägde att införa innehållsbokmärken för att öka besökarnas engagemang och motivation till att registrera sig som användare. Tanken är att högre engagemang i innehåll ger fler annonser att visa – och därmed högre intäkter. Det är ingen dum idé, men bör den genomföras?

Vanligtvis läggs sådana idéer i backlog, där det som regel görs en bedömning av behovet av implementering och ofta med uppskattningar av värdet på den ökade trafiken som detta antas leda till. Var på sidan ska bokmärken placeras? I vilka former ska det visas? Hur ska listor över bokmärken prioriteras eller integreras i andra listor över besökt eller populärt innehåll? Bokmärkena förutsätter att användaren är inloggad, vilket gör att processen med att vägleda användaren genom registrering och inloggning på ett intuitivt sätt också måste utformas utifrån bokmärkesknapparna. Om man har skapat bokmärken så är det väl också naturligt att man har ett eget administrationsgränssnitt för dessa? Kanske visas kategorier, beskrivning och datum för senast använda bokmärke som hjälp för egen sortering och prioritering? Informationen i backlog för den enskilda idén säger nu kanske 100 timmars utveckling, utöver all intern tid för klargöranden, tester och uppföljning av beslut som aldrig blir kvantifierade. Efter implementering blir varje funktionalitet ”legacy” som vi drar med oss, och bokmärkesfunktionaliteten måste testas och verifieras upprepade gånger för all senare utveckling och omdesign.

Ofta fattas beslut utan att man verifierar att bokmärkens funktionalitet ger verkligt värde. Att användare är intresserade av funktionaliteten. Eller att detta intresse även ger en varaktig förändring i beteenden som har värde för företaget. Beslut baserade enbart på antaganden och individers starka åsikter.

Det aktuella medieföretaget gick istället åt ett annat håll. De skapade enklast möjliga prototyp med endast en ”Lägg till bokmärke”-knapp. Användare som klickade på denna visades ett litet popupfönster, där de fick bekräfta att de faktiskt ville ha en sådan funktion. En så kallad ”Minimum Viable Product” (MVP) som för användaren ser ut som verklig funktionalitet. Just denna variant kallas ett ”Painted Door”-test – vi visar upp en snygg och spännande dörr och så ser vi om användare faktiskt bryr sig om att öppna den. I det här fallet skrinlades projektet med bokmärken innan det egentligen kom igång. Intresset var lägre än förväntat. Värdet var för litet. Tid och pengar prioriterades om till andra uppgifter.

Nr 3: Gradvis utrullning mot målgrupper för ökad kvalitet och minskad risk

Låt oss säga att vi har experimenterat oss fram till utformningen av en ny tjänst. Denna tjänst är det bästa som vi inom ekonomiska och praktiska ramar kan leverera till våra kunder och användare. Vi arbetar hårt med att utveckla den. Veckor av hårt arbete, tester och verifiering längs vägen. Vi är säkra på att vi har en vinnare, gasar på i produktionen och tillkännager vår innovation för alla. Vi ser fram emot att glädja alla våra användare. Istället kraschar allt så fort trycket ökar. Eller om lösningen blev väldigt populär, men upprepade fel överbelastade kundtjänst. Alla varianter av detta är kända historier som tyvärr upprepas alldeles för ofta.

Det är sällan vi kan bedöma alla effekter i förväg. Men det är inte överraskande – med både lösningar, användare och medarbetare så är det en riktigt komplicerad sammansättning av insatser och effekter som ska harmoniseras. Vi har ofta en bra plan och bra förberedelser, men en gradvis utrullning av nyheter till olika användargrupper, nya geografiska regioner eller andra avdelningar ger alltid möjlighet att anpassa, förbättra och utvidga längs vägen så att vi kan åtgärda längs vägen.

Skärmbild från lösningen som visar hur man kan definiera till vilka målgrupper lösningen ska rullas ut och hur många från varje målgrupp som lösningen ska rullas ut till. 

Tillit tar lång tid att bygga upp, men kan förstöras på några minuter. En gradvis lansering ger högre trygghet och lägre risk.

Nr 4: Dokumenterat värde – reell kunskap om vad som fungerar för vem och varför

Experimentering ger statistiskt meningsfulla svar på de frågor som ställs. Det förvandlar tro, hopp, åsikter och antaganden till dokumenterade svar om vad som är mer eller mindre rätt än utgångspunkten. Trygghet i dokumenterat värde ger en allt starkare grund för fokus och prioriteringar, i synnerhet när svar kan förklaras genom insikt och kunskap.

För många av våra kunder är denna dokumentation bra för att sätta värde på områden som annars är svåra att kvantifiera. Det gäller i synnerhet enheter inom marknad, utveckling, produkt och support som ofta står på kostnadssidan i alla beräkningar, men där reellt värde är mycket svårare att dokumentera.

Experimentering kan kvantifiera alla insatser som ofta annars är osynliga på företag.

Nr 5: Bygger kompetens och kultur för förbättring genom datadrivna beslut – med stora spridningseffekter

Företag förändras alltid vid genomförandet av ett lyckat experiment såsom att utforma en hypotes, testa variationer mot faktiska användare eller forma lärande och insikter baserat på de resultat som strömmar in. Denna effekt gäller inte bara glädjen i experiment och tester som går ”som förväntat” – tvärtom är det överraskningarna som mer än något annat förändrar kulturen. Överraskningarna (och det finns många av dem) måste förklaras som något mer än en ”avvikelse”. Användare gör som de gör utifrån sina förutsättningar, och visar det sig att vi inte har förstått detta rätt så är det bara att göra nya experiment för att förstå och förbättra.

Med tiden kommer kulturen att förändras från påståenden och antaganden. Datadrivna beslut kommer då att platta ut strukturen i verksamheten så att allas idéer blir lika (mycket eller lite) värda. Sanningen om värde ska finnas i erfarenheten av utrullning och siffrorna från experimenten som körs längs vägen.

Nr 6: Snabbare – men det är upp till er!

Dessa fem fördelar kan utökas med ett uppenbart sjätte värde: Ökad fart i verksamheten. Det finns begränsat med värden som kan hämtas från ett eller annat specificerat försök att testa vissa ändringar och funktioner. Målsättningen måste istället vara att testa mer för snabbare och säkrare beslut över hela linjen. Kontinuerligt lärande och insikter för att prioritera tid och resurser korrekt till högre värde för användarna och därmed högre värde för företaget.

När de flesta upplevda behov, önskemål och bra idéer inte har något mätbart värde så blir den uppenbara frågan: Hur snabbt kan ni styra bort från alla insatser som inte ger värde och identifiera vad som faktiskt ger värde så att effekterna kan förstärkas? Det är alldeles för sent att hitta svaren i gamla loggar och analyser eller förra årets bokslut. Då har alla investeringar och insatser redan gjorts, användarnas bandbredd har ätits upp, konkurrenterna har gått förbi och goodwill och intresse kanske har skadats för lång tid.

Daniel Ek, grundare av Spotify, säger kort och gott:

"We aim to make mistakes faster than anyone else."

Hur är det med er? Hur tidigt känner ni er säkra på era egna beslut – och hur tidigt tar ni konsekvenserna av fel?