Als Berater für strategische Optimierung ist es meine Aufgabe, Unternehmen bei der Entwicklung von A/B-Testing-Ideen zu helfen, die entweder die Conversion Rates erhöhen oder bei der Beantwortung von Fragen helfen. Manchmal, wenn ich eine Testidee vorschlage, höre ich diese Antwort: "Das können wir nicht testen, weil es zu viel Arbeit in unserem Backend erfordern würde" oder "Wir würden unsere Seite nie so gestalten, also werden wir es nicht testen."

Ist diese Antwort einfach repräsentativ für die inhärenten Grenzen von Website-Tests, oder übersehen wir etwas? Schließlich können Tests Ihre Backend-Systeme nicht sofort vereinfachen. Welchen Sinn hat es also, eine Variante zu testen, wenn Sie nicht vorhaben, diese Änderung auf Ihrer Live Site vorzunehmen?

Es geht darum, Ihre Ideen konzeptionell zu validieren. Beim AB-Testing bedeutet konzeptionelle Validierung, dass Sie Ihre Hypothesen schnell und einfach testen können, ohne die ganze Arbeit machen zu müssen, die Sie eigentlich machen würden, wenn Sie Ihre Variation dauerhaft implementieren würden. Mit anderen Worten: Sie simulieren neue Funktionen, bei denen Sie sich nicht 100%ig sicher sind, dass Sie sie dauerhaft auf der Site einführen würden, und testen sie, um die Auswirkungen abzuschätzen, bevor Sie sie einführen, um Zeit und technische Ressourcen zu sparen.

Testen zur Validierung ist wie Filmmagie. Um das Gefühl zu vermitteln, dass eine Flotte von Flugzeugen über uns hinwegfliegt, lässt ein Director zwei Flugzeuge hin- und herfliegen und fügt eine Tonspur hinzu, die wie das donnernde Brüllen einer Flotte klingt. Das Publikum im Kino wird den Unterschied nicht bemerken und der Director gewinnt, denn zwei Flugzeuge sind billiger als eine ganze Luftwaffe.

A/B-Testing ist wie Kinomagie für Ihre Website. Sie können Erlebnisse ohne die hohen Kosten simulieren und die Erkenntnisse sammeln, die Sie brauchen, um eine fundierte Entscheidung darüber zu treffen, ob es sich lohnt, das echte Erlebnis zu bauen oder nicht.

Konzeptuelle Validierung in Aktion

Schauen wir uns einige Beispiele aus dem E-Commerce und den Finanzdienstleistungen an, um diese Idee zu verdeutlichen.

Das erste Beispiel ist ein echter Test von uSell, einem Online-Marktplatz, auf dem man - vor einem A/B-Testing - gebrauchte Elektronikartikel verkaufen konnte. Nach einem A/B-Test wurde uSell zu einem Marktplatz für den Verkauf von Elektronik und einer breiten Palette anderer Artikel. Und so geht's.

Das Produktteam von uSell wollte eine umfassende Frage beantworten: Wie würden sich zusätzliche Produktkategorien auf den Verkauf von gebrauchter Elektronik auswirken? Würde das Hinzufügen von Lehrbüchern, Videospielen und Kleidungskategorien den Verkauf von Elektronik erhöhen, verringern oder gar nicht beeinflussen? Um herauszufinden, was passieren würde, erstellten sie mit Optimizely B, eine Simulation, wie die Site mit zusätzlichen Kategorien aussehen könnte, und verglichen sie mit der ursprünglichen Site, A.

Damit B eine sinnvolle Änderung für das Unternehmen darstellt, durfte die Conversion in der Kategorie Elektronik nicht um mehr als 5% sinken.

A

Die ursprüngliche Version mit nur Elektronik.

B

Nachdem sie den Test zweimal durchgeführt hatten, stellten sie fest, dass das Hinzufügen zusätzlicher vertikaler Bereiche auf der Site eine Auswirkung auf die Conversions im Elektronikgeschäft hatte, die zwischen ausgeglichen und -3% lag. Sie hatten ihre Antwort! Die Hinzufügung weiterer Produktkategorien hatte keine nennenswerten Auswirkungen auf den Verkauf von Elektronikartikeln, so dass sie ihr Geschäft bedenkenlos ausweiten konnten. Die Ergebnisse dieses Tests bedeuten nicht, dass dieses spezielle Design das optimalste ist. Diese Ergebnisse sind eine Validierung, ein grünes Licht dafür, dass das Konzept einer größeren Produktvielfalt realisierbar ist.

Die konzeptionelle Validierung kann auf viele Arten genutzt werden. Hier sind zwei hypothetische Beispiele für die konzeptionelle Validierung von Ideen durch Tests. Ich habe diese beiden Sites, Gap.com und Etrade.com, zufällig ausgewählt - ich habe nicht mit diesen Sites gearbeitet und die Beispiele sind rein hypothetisch.

E-Commerce

Beispiel-Site: Gap (gap.com), Produktseite (oder eine beliebige Seite)

Hypothese: Die Anzeige von Logos und Links zu verwandten Gap-Unternehmen in der Kopfzeile jeder Seite lenkt die Benutzer davon ab, ihren Einkauf auf gap.com abzuschließen. Das Entfernen dieser Logos wird die Conversions erhöhen.

Hypothetisches Problem: Diese Logos müssen irgendwo auf jeder Seite der Site angezeigt werden, und mit dem derzeitigen Design gibt es keine gute alternative Position für sie.

Lösung für die Konzeptvalidierung: Fahren Sie mit dem Test fort, indem Sie die Logos am oberen Rand der Seite entfernen und sie am unteren Rand als Teil der Fußzeile platzieren. Aus einer Vielzahl von Gründen ist dies vielleicht nicht die Designlösung, die das Team letztendlich umsetzen möchte. Aber es ist eine schnelle und einfache Methode, um festzustellen, ob die Logos eine Ablenkung darstellen und zukünftige Designs beeinflussen (die ebenfalls getestet werden sollten!).

Finanzdienstleistungen

Beispiel-Site: E*TRADE (etrade.com), Seite Neues Konto eröffnen

Hypothese: Benutzer, die eine vereinfachte Version der Seite sehen, auf der nur die Optionen zur Kontoeröffnung für Kontotypen angezeigt werden, die sie noch nicht besitzen, werden eher bereit sein, sich durchzuklicken und ein neues Konto zu eröffnen.

Hypothetisches Problem: Diese Seite hat keine Möglichkeit zu erfahren, welche Kontotypen der Benutzer bereits hat. Die Übergabe des Kontoinformationstyps an diese Seite oder das Setzen eines benutzerdefinierten Cookies würde eine Beteiligung der IT-Abteilung erfordern.

Lösung der Konzeptvalidierung: Erstellen Sie mehrere Varianten der Seite, die jeweils einen Kontotyp entfernen. Richten Sie dann jede Variante auf die Benutzer aus, die von dieser Kontotyp-Seite kommen. Wenn ein Benutzer beispielsweise von der Seite Girokonto auf die Seite Neues Konto gekommen ist, wird er auf eine Version gelenkt, auf der Girokonto nicht als zu eröffnende Kontoart angezeigt wird, weil er dieses Konto bereits besitzt. Dies ist keine langfristige Lösung, da sie nur einen Bruchteil des Traffics erfasst, der auf die Seite für neue Konten kommt. Aber sie gilt trotzdem für die Benutzer, die an Ihrem Experiment teilnehmen, und Sie können überprüfen, ob es sich lohnt, IT für eine komplexere Targeting-Option einzusetzen, die den gesamten Datenverkehr auf der Seite erfasst.