4 Fragen, die jedes Optimizely-Team beantworten muss

Dedizierte interne CRO-Teams werden in Unternehmen immer häufiger eingesetzt. Da immer mehr Unternehmen die Testkultur übernehmen, stellen sie sich die gleichen Fragen:

• Wo sollen wir mit dem Testen beginnen?
• Was passiert, wenn Tests anfangen zu verlieren?
• Gibt es eine "Optimierungsgrenze"? Wann ist sie erreicht?
• Wie kann man den Wert eines Testprogramms im Laufe der Zeit nachweisen?

Wenn Sie sich eine der oben genannten Fragen gestellt haben, finden Sie in diesem Blogbeitrag die Antworten, die Sie brauchen, um Ihr Optimierungsteam in eine Maschine zur Umsatzverdoppelung zu verwandeln. Anhand eines aktuellen Beispiels möchte ich zeigen, wie WiderFunnel diese Fragen durch unsere laufenden Optimierungsdienste mit dem Team von DMV.org beantwortet hat.

Shane Hale, Direktor für Site-Optimierung und Conversion bei DMV.org, war das Ein-Mann-Testing-Team des Unternehmens, als die Geschäftsleitung erkannte, dass sie Hilfe brauchte, um die Einnahmen schnell zu steigern. Shane drückt es so aus: "Wir hatten das Gefühl, dass wir im Rückstand waren. Wir wussten, dass es Ineffizienzen gab, aber wir wussten nicht, wie weit wir davon entfernt waren und was wir dagegen tun konnten."

Mein Team bei WiderFunnel arbeitet seit fast drei Jahren gemeinsam mit DMV.org an der Optimierung und hat Hunderte von Tests durchgeführt. Wir haben den Umsatz zwei Jahre in Folge verdoppelt und sind nun auf dem besten Weg, dies auch im dritten Jahr zu schaffen.

Hier ist also die erste Frage, die Sie sich stellen sollten...

1. Wo sollen wir mit dem Testen beginnen?

Wenn Sie mit den Tests beginnen, sollte Ihr Team festlegen, in welche Bereiche der Site es sich lohnt, Zeit, Energie und Ressourcen zu investieren. Wie viel Umsatzsteigerung können Sie wirklich von einzelnen Bereichen Ihrer Site erwarten?

Die besten Ergebnisse erzielen Sie, wenn Sie Experimente in den Bereichen durchführen, die den größten Einfluss haben.

Diese können Sie mit einem Framework-Ansatz priorisieren. Das PIE Framework hilft Ihnen bei der Priorisierung Ihrer A/B-Tests, indem es diese nach ihrem Potenzial, ihrer Bedeutung und ihrer einfachen Durchführung einstuft.

Nachdem Sie Ihre Experimente nach Prioritäten geordnet haben, können Sie einen kontinuierlichen, iterativen und schnell durchzuführenden Testprozess entwickeln. Abbildung 1 unten zeigt ein Beispiel für diesen Prozess.

Klicken Sie, um sie in einem neuen Fenster zu öffnen.

In diesem Prozess bildet die Discovery-Phase die Grundlage für die Optimierungsstrategie-Phase, in der die Priorisierung der PIEs erfolgt. Anschließend durchläuft der Rapid Experiment Cycle die von der PIE priorisierten Experiment-Bereiche in ständiger Iteration.

Die Erkenntnisse, die Sie aus Ihrem ersten Test gewinnen, sollten Sie auf jeden weiteren Test anwenden. Das PIE-Rahmenwerk kann Ihnen dabei helfen, datenbasierte Entscheidungen darüber zu treffen, wo Sie mit Ihren Tests beginnen sollten.

Innerhalb des 7-stufigen Zyklus der Experimente wird im ersten Schritt das LIFT-Modell verwendet, ein Rahmenwerk, das Ihnen hilft, bessere Hypothesen und letztlich bessere Ergebnisse und Erkenntnisse (in Schritt 7) zu erzielen.

Sobald Sie mit Ihren Tests beginnen, werden Sie wahrscheinlich auf die nächste Frage stoßen, wenn Sie nicht sofort positive Ergebnisse erhalten.

2. Was passiert, wenn die Tests anfangen zu verlieren?

Es kann vorkommen, dass es eine Reihe von Verlusten gibt. Das kann entmutigend sein - vor allem, wenn die Ergebnisse der Geschäftsleitung gemeldet werden und diese nur negative Zahlen sieht. Die Aufrechterhaltung der Dynamik und Unterstützung kann zu einer organisatorischen Herausforderung werden, die die technische Herausforderung der Durchführung von Tests in den Schatten stellt. Um Ihnen dabei zu helfen, finden Sie hier neun Strategien zur Förderung einer Kultur der datengesteuerten Optimierung.

Die gute Nachricht ist: Wenn Sie die Prioritäten richtig gesetzt und Ihre Experimente so geplant haben, dass sie zu Erkenntnissen führen, haben Sie eigentlich nie einen Test verloren. Wenn Sie die Tests richtig durchführen, ist jeder Test ein Gewinner, denn unabhängig von den Ergebnissen gewinnen Sie neue Erkenntnisse.

Das war bei den Teams von WiderFunnel und DMV.org der Fall. Nach sechs ergebnislosen Experimenten in Folge führte die siebte Runde zu einer enormen Umsatzsteigerung von 34 %.

Wie haben wir diese negativen Ergebnisse umgedreht? Wir analysierten die Ergebnisse der einzelnen Experimente, um zu verstehen, warum sich die Leistung änderte, und bauten dann auf diesen potenziellen Erkenntnissen auf, um verschiedene Variationen zu entwickeln, die die impliziten Motivationen der Benutzer ansprechen. Selbst wenn die Tests negative Zahlen liefern, sind sie keine Verlierer, wenn der Versuchsplan solide genug ist, um den nächsten Schritt zu kennen.

In einem Test stellten wir beispielsweise die Hypothese auf, dass eine Personalisierung auf der Grundlage des geografischen Standorts des Besuchers den Umsatz steigern würde. Wir waren überrascht, als wir feststellten, dass die Angabe des Bundeslandes in der Überschrift dem Umsatz sogar schadete. In diesem Beispiel hat die Personalisierung nicht funktioniert.

Hier sind die beiden Varianten, die wir getestet haben:

Das hätte enttäuschend sein können, war es aber nicht, denn wir verfolgen mit unseren Tests immer zwei Ziele: Umsatzsteigerung und neue Erkenntnisse. Jedes Experiment, bei dem Sie etwas Neues lernen und neue Hypothesen für die nächste Runde aufstellen können, ist ein Gewinn.

Vertrauen Sie immer auf den Prozess. Denken Sie daran: Es gibt keine verlorenen Tests, wenn sie richtig konzipiert sind.

Wenn Sie eine langfristige Optimierungsstrategie entwickeln, stellen Sie sich vielleicht die nächste Frage.

3. Gibt es eine 'Optimierungsgrenze'? Wann ist sie erreicht?

Diese Frage wurde uns schon oft gestellt und auch schon beantwortet: Können Sie jemals zu viel optimieren? (Die Antwort lautet: "Nein.")

Wenn Ihre Experimente darauf abzielen, Erkenntnisse zu gewinnen, sensible Bereiche aufzudecken und den Umsatz zu steigern, wird Ihre Arbeit nie abgeschlossen sein, auch nicht im Laufe der Jahre. Prozessgesteuerte Optimierer haben das bewiesen, indem sie bei denselben Websites immer wieder Erfolge verzeichnen konnten. Wie Shane Hale es ausdrückte: "Selbst nach zwei Jahren haben wir immer noch Erfolge auf demselben Kanal. Verdammt! Sie kommen einfach immer wieder!"

Nachdem wir zum Beispiel zwei Jahre lang das Versicherungsbanner optimiert hatten, testeten wir sechs neue Versionen mit einigen radikalen Abwandlungen. Wir haben verschiedene Bilder ausprobiert - ein Bild von einem Auto, ein animiertes GIF von einem Auto, ein Hund, der ein Auto fährt, ein Bild von einer Person und einen Joker: ein völlig anderes Banner in Form eines Autos (Variante E unten).

Klicken Sie, um es in einem neuen Fenster zu sehen.

Überraschenderweise hat das autoförmige Banner mit einem Erdrutschsieg gewonnen.

Unser internes Team (und unser Designer) konnten das Ergebnis nicht fassen. Wir hatten ein ähnliches Design bereits in der Vergangenheit abgelehnt, aber wir beschlossen, es endlich zu versuchen. Wir waren froh, dass wir es getan haben, denn wir haben neue Informationen über unser Publikum erfahren. Seitdem haben wir andere ungewöhnliche Formen für die Bannerbox getestet und noch größere Verbesserungen festgestellt.

Und wenn Sie andere Varianten miteinander vergleichen, ergeben sich weitere potenzielle Erkenntnisse. Das animierte Gif hat zum Beispiel nicht besser abgeschnitten als das statische Bild, was einer gängigen Erfolgsmethode widerspricht. Außerdem schnitt das Foto des Arztes besser ab als alle logischeren Bilder zur Autoversicherung.

Die Lektion: Manchmal muss man sich erlauben, Variationen aus dem linken Feld zu testen. Sie könnten überrascht sein, was Sie lernen.

Kurz gesagt: Optimierungsteams, die ein entschlossenes Rahmenwerk für prozessgesteuerte, aufschlussreiche Tests einführen, werden nicht an eine Optimierungsgrenze stoßen, denn es gibt immer Raum für einzelne Verbesserungen. Und es gibt immer Fragen zu beantworten!

Das Ziel des Prozesses ist es, ein umfassendes Verständnis des Kunden zu erlangen. Dadurch wird das Testprogramm Ihres Teams vom Testen nach der Hunt-and-Ppeck-Methode zum Stellen wichtiger Fragen wie:

• Welche Erkenntnisse haben wir aus früheren Tests gewonnen?
• Was haben wir über unsere Kunden gelernt?
• Welche anderen potenziellen Fragen werden wir über sie haben?
• Was sind unsere potenziellen Unterschiede in verschiedenen Segmentierungen und unterschiedlichen Kontexten?

Die Beantwortung dieser Fragen mit immer besseren Daten durchbricht die sprichwörtliche Optimierungsgrenze und ermöglicht es Ihrem Team, dieselben Kanäle weiter zu testen und erneut zu testen.

4. Wie können Sie den Wert eines Testprogramms im Laufe der Zeit nachweisen?

Wie können Sie anhand der Tests Ihres Teams im Laufe des Jahres nachweisen, dass die Ergebnisse dieser Tests zu Einnahmen in der Bank führen? Vielleicht wurde Ihr Team schon einmal gefragt, wie lange ein Conversion-Lift anhält. Fällt der Anstieg nach Abschluss des Tests wieder ab?

Die grundlegende Frage, die sich Zweifler stellen, lautet: Sind die Ergebnisse von A/B-Tests zuverlässig?

Wir haben uns entschlossen, gründlich zu testen, ob die Ergebnisse von A/B-Tests über einen längeren Zeitraum Bestand haben.

Jahr eins: Sind die Ergebnisse von A/B-Tests beständig?

Nach sechsmonatigen Tests auf einer der wichtigsten Einnahmequellen des Unternehmens berechneten wir die kumulative Conversion Rate der erfolgreichen Tests: eine kumulierte Umsatzsteigerung von 32,8 %.

Um zu prüfen, ob die berechnete Steigerung realistisch war, verwendete das WiderFunnel-Team die ursprüngliche Kontrollseite von DMV.org, die vor dem ersten Test in der sechsmonatigen Testphase erstellt worden war, und verglich sie mit der letzten erfolgreichen Variante. Der daraus resultierende Lift von 36,8% bestätigte die gleiche statistische Signifikanz wie der berechnete Lift.Danach setzten wir die Tests für weitere sechs Monate fort und konnten am Ende der 12 Monate eine kumulative Steigerung der Conversion Rate um 106,9 % feststellen. Auch hier nahmen wir den A/B-Test der ursprünglichen Kontrollversion und testeten ihn mit der neuesten, erfolgreichen Variante und konnten eine Steigerung der Conversion Rate um 123,7% feststellen.

Jahr 2: Erneut bestätigte Ergebnisse

Im zweiten Jahr der Tests durchliefen wir eine Reihe von sechs ergebnislosen Tests. Jeder dieser Tests vermittelte uns jedoch weitere Erkenntnisse über die Nutzer von DMV.org. Die Tests waren so strukturiert, dass wir aus jedem einzelnen etwas Wertvolles lernen konnten. Wir wandten diese Erkenntnisse auf einen siebten Test an, der einen signifikanten Anstieg von 27,7% ergab.

Am Ende des zweiten Jahres lag die berechnete kumulative Umsatzsteigerung bei 79,2 % - was wiederum durch einen Test der neuesten Variante gegen die Kontrollvariante von vor 12 Monaten validiert wurde. Dieser A/B-Test ergab einen Gewinn von 90,3%.

Was wir gelernt haben, ist, dass die Ergebnisse des A/B-Testings sich nicht verschlechtert haben, nicht verschwunden sind und den mathematisch berechneten Ergebnissen sehr ähnlich (wenn nicht sogar besser) waren.

Um die ursprüngliche Frage zu beantworten: "Sind die Ergebnisse von A/B-Tests zuverlässig?" Ich glaube, dass diese strengen Tests diese Frage mit einem eindeutigen Ja beantwortet haben, zumindest für dieses Unternehmen.

Was können Sie aus diesen Beispielen lernen?

Wenn es um Optimierung geht, sind die Definition eines Prozesses und einer Strategie der Schlüssel zur Umsatzsteigerung. Gute Optimierungsteams konzentrieren sich auf langfristige Umsatzsteigerungen, nicht auf schnelle Erfolge. Ein erfolgreiches Optimierungsprogramm erfordert Disziplin, Geduld und einen langfristigen Blick auf die Ergebnisse.