Även om KLM Royal Dutch Airlines alltid har legat i framkant när det gäller digital utveckling och alltid har haft en kultur av att engagera kunder i utvecklingen av nya produkter och tjänster, nådde KLM:s webbteam gränsen för sin experimenteringsförmåga under 2017. Eftersom behovet av experimentering för interna produktteam och datadrivet beslutsfattande ökade, letade KLM efter en pålitlig datadriven testpartner ... och hittade en i Optimizely.
Digitala produktteam på KLM arbetar kontinuerligt med förbättringar av användarupplevelsen. I en bransch som är känd för sin konkurrens - många olika parter försöker förföra den resvana kunden - kan små justeringar av användarupplevelsen göra en enorm skillnad. Med över 30 miljoner människor som bokar KLM-biljetter varje år räcker det inte att bygga en produkt som "bara fungerar" (en Minimal Viable Product), det handlar om att bygga digitala produkter som är superlätta att använda och intuitiva - Minimal Lovable Products.
Detta är ingen lätt uppgift och kräver mycket användarengagemang, feedback och testning för att implementeras. KLM implementerade därför Optimizely för att skala upp antalet och effekten av de experiment som görs av de olika produktteamen. Nu, ett och ett halvt år efter implementeringen, använder 6 produktteam Optimizely. Totalt sett fördubblade KLM antalet utförda tester och i genomsnitt tar det bara hälften så lång tid att sätta upp ett test som det gjorde innan Optimizely implementerades.
Vi har träffat Grazia Aroboleo och Joost Olieroock från KLM:s Customer Insights & Analytics-team för att prata om implementeringen.
Introduktionen av Optimizely inom KLM sammanföll precis med ett KLM-omfattande program för att lansera flygpaket (med bagage- och biljettflexibilitet) i bokningsflödet. När Grazia Arboleo, Optimization Specialist inom Insights & Analytics-teamet på KLM, ombads att AB-testa en ny design för flygvalssteget på KLM:s webbplats med dessa nya paket, visste hon inte att detta skulle bli en viktig vändpunkt i hur designförändringar skulle lanseras.
Teamet fokuserade på att bygga en Minimal Lovable Product baserad på flexibla komponenter. Detta skulle möjliggöra snabb optimering och var ett krav för en smidig utrullning. Grazia hjälpte teamet att mäta effekterna av den nya designen genom experiment. Trots höga förväntningar visade experimentdata tydligt att den nya designen behövde optimeras ytterligare.
Grazia och teamet analyserade resultaten och utvecklade nya hypoteser. Optimizely gjorde det möjligt för dem att enkelt köra flera experiment, snabbt iterera och steg för steg förbättra designen. På bara några månader körde teamet mer än 20 tester på just detta flöde - och mätte hela tiden konverteringsgraden för steg och bokning. Vissa av experimenten gav tydliga vinnare, andra inte. Som ett resultat återhämtade sig konverteringsgraden och slutligen rullades upplevelsen ut till alla besökare.
Innan de använde Optimizely brukade KLM implementera redesignen gradvis och började med att erbjuda upplevelsen till en liten geografisk marknad. Om teamen inte såg några drastiska förändringar i sina analyser eller försäljningssiffror för denna marknad, skulle de gradvis utöka upplevelsen till andra marknader. Denna utrullningsprocess kunde bidra till att förhindra drastiska nedgångar i mätningarna, men mer subtila förändringar var svåra att upptäcka.
Det första lyckade experimentet fick stor uppmärksamhet inom KLM och bidrog till att driva experimentlustan vidare "Det var avgörande för oss att kunna mäta skillnaderna mellan de gamla och de nya versionerna av bokningsflödet och få tillförlitliga statistiska data", säger Grazia.
Att det är så enkelt att sätta upp experiment i Optimizely har uppmuntrat andra produktteam på KLM att börja experimentera. "Tidigare hade vi tredje part som utvecklade de flesta av våra experiment. Numera har vi våra egna utvecklare som gör detta. När nya utvecklare börjar använda Optimizely blir de ofta förvånade över möjligheterna. Det är också fantastiskt att experimenten gör effekterna av deras dagliga arbete mycket tydligare. Analytikerna från Grazias team stöttar produktteamen genom hela experimentprocessen (från plan till analys). "Det team jag stöder skickar nu in fler testförfrågningar än jag kan analysera", skrattar Grazia och är glad att Optimizelys Stats Engine, den statistiska ryggraden i plattformen, gör hennes liv som analytiker mycket enklare. Hon är stolt över att hennes produktteam har anammat ett experimenttänkande och själva kan köra tester som en del av deras agila arbetssätt.
Joost Olieroock
Manager Customer Insights & Analytics, KLM
Förutom experiment får teamen också insikter från andra datakällor (t.ex. analyser, undersökningar, heatmaps). Optimizelys integration med några av dessa verktyg hjälper dem att få en bättre förståelse för kundernas behov och se om variationerna i deras experiment bättre uppfyller dessa behov.
Integrationen med Analytics-verktyget gör det möjligt för KLM att automatiskt importera experimentdata för vidare analys inom ett bredare affärssammanhang. Även heatmaps kan automatiskt taggas med information om den A/B-testvariation som en viss användare har sett. På så sätt kan analytikerna skilja mellan upplevelser under sin analys.
Joost tar upp projektet för KLM:s Corporate-program för att optimera upplevelsen för affärsresenärer genom att förse dem med ett särskilt bokningsflöde för företagskunder. "Det här är ett perfekt exempel där vi använde insikter från användarfeedback, analys och experiment i kombination."
Innan de utvecklade upplevelsen ville teamet skapa sig en bild av det här specifika segmentet och förstå hur de vill interagera med webbplatsen. För att avgöra om och hur de skulle bygga upplevelsen genomförde teamet ett experiment med Optimizely för att ta reda på om användarna faktiskt var villiga att avslöja om de reste privat eller i affärer genom att lägga till ett alternativ för att ange reseanledningen. De genomförde också en undersökning där användarna fick fylla i ett frågeformulär om sina bokningspreferenser. Resultaten kompletterades med data från deras analysverktyg.
Även om projektet ännu inte har slutförts har man kommit fram till hypotesen att användare kan vara mer villiga att avslöja sin reseanledning om de vet vad informationen kommer att användas till och hur den kommer att gynna dem.
Det här exemplet visar hur data från olika källor bidrar till att få insikter om användarnas behov och preferenser och hur experiment bidrar till att optimera besökarnas upplevelse.
Omfattningen och hastigheten på experimenten med Optimizely har förändrat hur digitala produktteam på KLM arbetar. "Optimizely hjälper verkligen våra team att testa och lära sig snabbare, vilket gör det lättare att anpassa sig till våra kunders behov", säger Grazia. "Testning är mycket viktigt för att mäta effekterna av förändringar mot vårt mål", tillägger hon.
Joost förutspår att experiment snart kommer att användas som standard i alla team på KLM, eftersom det gör att KLM kan fånga upp potentiella fallgropar innan de rullas ut till alla användare. "Produktägare ber nu allt oftare om om att få testa varje förändring för att bevisa att den gör vad den ska - och om den inte gör det kan vi optimera. Dessa lärdomar är avgörande för att kunna leverera en övertygande kundupplevelse".
Tech