Beispiel A/B-Testing Hypothese
Stellen Sie sich vor, Sie brechen zu einer Autoreise auf. Sie haben das Auto gepackt, eine Playlist zusammengestellt und sich auf den Weg gemacht, um 600 Meilen zu fahren - aber Sie wissen nicht, wohin Sie eigentlich fahren wollen. Sie denken daran, vor der Abfahrt den Tank aufzufüllen und Snacks einzupacken. Doch als Sie am Ziel ankommen, ist es ganz und gar nicht so, wie Sie es sich vorgestellt haben.
Ein Experiment ohne eine Hypothese durchzuführen ist so, als würden Sie einfach nur so losfahren, ohne darüber nachzudenken, wohin Sie wollen und warum. Sie werden unweigerlich irgendwo ankommen, aber es besteht die Möglichkeit, dass Sie nichts aus dem Erlebnis gelernt haben.
"Wenn Sie den Grund für die Durchführung eines Tests nicht nennen können, müssen Sie wahrscheinlich untersuchen, warum und was Sie testen."
-Brian Schmitt, Berater für Conversion-Optimierung, CROmetrics
Die Erstellung einer Hypothese ist ein wesentlicher Schritt bei der Durchführung von Experimenten. Obwohl Sie ein Experiment auch ohne eine Hypothese einrichten und durchführen können, raten wir Ihnen dringend davon ab. Wir sind sogar der Meinung, dass eine starke Hypothese genauso wichtig ist wie das Verständnis der statistischen Signifikanz Ihrer Ergebnisse (weitere Informationen finden Sie in unserem Stichprobengrößenrechner ).
'Hypothese' definiert
Eine Hypothese ist eine Vorhersage, die Sie vor der Durchführung eines Experiments erstellen. Sie gibt klar an, was verändert wird, was Sie glauben, dass das Ergebnis sein wird und warum Sie glauben, dass dies der Fall ist. Die Durchführung des Experiments wird Ihre Hypothese entweder beweisen oder widerlegen.
Hypothesen sind klare Aussagen, keine offenen Fragen. Eine Hypothese hilft dabei, die Frage zu beantworten: "Was erhoffen wir uns von diesem Experiment?", und stellt gleichzeitig sicher, dass Sie den von Ihnen geplanten Test gründlich recherchiert und durchdacht haben.
Die Bestandteile einer Hypothese
Eine vollständige Hypothese besteht aus drei Teilen. Es folgt die Aussage: "Wenn ____, dann ____, weil ____." Die Variable, das gewünschte Ergebnis und die Begründung sind die drei Elemente Ihrer Hypothese, die recherchiert, ausgearbeitet und dokumentiert werden sollten, bevor Sie ein Experiment erstellen und in Betrieb nehmen.
Lassen Sie uns die einzelnen Komponenten genauer betrachten und ein Beispiel durchgehen:
Die Variable
Ein Element einer Website oder Mobile App, das geändert, hinzugefügt oder entfernt werden kann, um ein gewünschtes Ergebnis zu erzielen.
Tipps zur Auswahl einer Variable: Versuchen Sie, eine einzelne Variable für einen A/B/n-Test zu isolieren oder eine Handvoll Variablen für einen multivariaten Test auszuwählen. Werden Sie einen Call-to-Action, visuelle Medien, Nachrichten, Formulare oder andere Funktionen testen? Website- oder App-Analysen können Ihnen dabei helfen, Seiten mit geringer Performance auf Ihrer Website oder in Ihren Trichtern für die Benutzerakquise ausfindig zu machen und zu ermitteln, wo Sie nach Elementen suchen sollten, die Sie ändern können.
Beispiel: Ihre Website hat eine primäre Call-to-Action, die sich Above the Fold auf Ihrer Startseite befindet. Für ein Experiment ändern Sie diese Variable und verschieben sie unter den Falz, um festzustellen, ob sich die Conversions verbessern, weil die Besucher mehr Informationen gelesen haben.
Ergebnis
Das vorhergesagte Ergebnis. Das können mehr Conversions auf der Landing Page, Klicks oder Berührungen einer Schaltfläche oder eine andere KPI oder Kennzahl sein, die Sie beeinflussen möchten.
Tipps zur Bestimmung des Ergebnisses: Nutzen Sie die Daten, die Ihnen über Ihre aktuelle Leistung zur Verfügung stehen, um zu bestimmen, wie das ideale Ergebnis Ihres Experiments aussehen soll. Was ist die Basiskennzahl, gegen die Sie messen werden? Wird die Änderung der Variable einen inkrementellen oder einen weitreichenden Effekt haben?
Beispiel: Vielleicht möchten Sie mehr Conversions erzielen, aber das ist nicht immer das Ergebnis, das Sie anstreben. Ihr Ergebnis könnte darin bestehen, die Bounce-Rate zu senken, indem Sie eine neue Navigation oder ein Modul mit empfohlenen Inhalten testen.
Begründung
Weisen Sie nach, dass Sie Ihre Hypothese durch Forschung untermauert haben. Was wissen Sie aus Ihrer qualitativen und quantitativen Forschung über Ihre Besucher, das darauf hindeutet, dass Ihre Hypothese richtig ist?
Tipps zur Formulierung der Begründung: Zeigen Sie, dass Sie Ihre Hausaufgaben für das Experiment gemacht haben. Numerische oder intuitiv gewonnene Erkenntnisse helfen Ihnen, das "Warum" hinter dem Test zu formulieren und zu erklären, was Sie glauben, dass Sie daraus lernen werden. Vielleicht haben Sie Informationen aus Kundenbefragungen, die Ihnen bei der Formulierung der Hypothese geholfen haben. Vielleicht haben Sie gesehen, dass eine Anwendung der zu testenden Änderung in anderen Experimenten gut funktioniert hat. Versuchen Sie, mit qualitativen Tools wie Umfragen, Heatmaps und Benutzertests herauszufinden, wie Besucher mit Ihrer Website oder App interagieren.
Beispiel: Die Begründung für das Testen einer neuen Überschrift auf einer Landing Page könnte lauten: Wenn Sie den Namen Ihres Unternehmens aus der Überschrift der Homepage entfernen, wird dies die Conversions verbessern, da ich Umfragen durchgeführt habe, die zeigen, dass unsere Sprache verwirrend ist. Wenn Sie die Sprache der Kunden aus den Feedback-Umfragen übernehmen, wird sich unsere Leistung verbessern.
Was sind die Ergebnisse einer starken Hypothese?
Eine gründlich recherchierte Hypothese ist keine Garantie für einen erfolgreichen Test. Was sie garantiert, ist eine Lernmöglichkeit, unabhängig vom Ergebnis (Gewinner, Verlierer oder ein nicht schlüssiges Experiment).
Gewonnene Variante? Herzlichen Glückwunsch! Ihre Hypothese war richtig. Wenn Ihre Varianten nicht schlüssig waren oder verloren haben, war die Hypothese falsch, was Ihnen etwas Interessantes über Ihr Publikum sagen sollte.
"Wenn ein Test auf einer gründlichen Recherche und einer klaren Testhypothese beruht, lernen Sie mit jedem Test etwas über Ihr Publikum. Ich segmentiere die Testergebnisse immer nach Gerätetyp, Browser, Traffic-Quelle und neuen/wiederkehrenden Besuchern. Manchmal ist der durchschnittliche Uplift nicht die beste Metrik, die man untersuchen sollte. Wenn Sie die Ergebnisse segmentieren, können Sie den wahren Gewinner finden."
-GijsWierda, Spezialist für Website Conversion, Catchi Limited
Vielleicht haben Sie eine Hypothese aufgestellt, die auf der "konventionellen Weisheit" beruht, oder Sie haben eine Fallstudie zum A/B-Testing gelesen und beschlossen, sie mit Ihrer eigenen Zielgruppe zu wiederholen. Die Variante hat verloren, aber Sie und Ihr Team haben gelernt, dass das, was bei anderen Sites und Apps funktioniert, bei Ihnen nicht funktioniert. Stellen Sie eine neue Hypothese auf, und entdecken Sie Ihre eigenen Erfolgsmethoden!
Tipp: Dokumentieren Sie sowohl Ihre Forschung als auch Ihre Hypothesen. Denken Sie daran, eine Hypothese zusammen mit den wichtigsten Metriken des Experiments mitzuteilen, wenn Sie die Ergebnisse Ihres Experiments in Ihrem Team veröffentlichen. Ihre Bibliothek von Experiment-Hypothesen wird zu einem wertvollen Referenzpunkt bei der Erstellung zukünftiger Tests!
Wie passt eine Hypothese in Ihren Arbeitsablauf bei Experimenten?
Laut Kyle Rush, Head of Optimization bei Optimizely, ist eine Hypothese eine Schlüsselkomponente jedes Tests und sollte gleich nach der Festlegung der Ziele des Experiments in Angriff genommen werden. Hier ist sein Experiment-Prozess:
- Identifizieren Sie Ziele und Schlüsselkennzahlen
- Erstellen Sie eine Hypothese
- Schätzung der Testdauer mit einer Stichprobengröße
- Priorisieren Sie die Experimente nach dem voraussichtlichen ROI
- QA des Experiments
- Test live schalten
- Aufzeichnung und Weitergabe der Ergebnisse
- Einen erneuten Test in Betracht ziehen
Die Schritte 1 und 4 dieses Prozesses sind ebenso wichtig wie die Erstellung der Hypothese. Denken Sie daran, dass nicht alle Hypothesen gleich sind. Ihr Team hat vielleicht eine interessante Idee, oder es gibt eine Unstimmigkeit, die Sie zu klären versuchen - aber das bedeutet nicht, dass es die wichtigste Sache ist, die getestet werden muss.
Setzen Sie Prioritäten und testen Sie die Teile Ihrer Site oder App, die ein hohes Potenzial für geschäftliche Auswirkungen haben (Umsatz, Engagement oder andere KPIs, die Sie verbessern wollen). Nutzen Sie Ihre Analysen, um diese Bereiche zu identifizieren, und konzentrieren Sie sich auf die Aufstellung von Hypothesen, die Verbesserungen in diesen Bereichen unterstützen können. Widerstehen Sie dem Drang, nur um des Testens willen zu testen, und konzentrieren Sie sich auf Änderungen an Ihren Variablen, die eine große Wirkung haben.
"Alles beginnt und endet mit der Hypothese. Fragen Sie sich: 'Welche Geschäfts- oder Kundenerlebnisprobleme können wir mit mobilen Geräten lösen und warum glauben wir, dass sich diese Änderungen auf eine bestimmte Kennzahl auswirken werden? Letztendlich ist Zeit das wertvollste Asset eines jeden Unternehmens ... daher beginnen wir mit der Aufstellung von Hypothesen, an die wir glauben, und priorisieren diese Hypothesen dann gegenüber allen anderen Möglichkeiten, die wir zu testen haben. [Der Erfolg Ihres Optimierungsprogramms hängt in erster Linie von Ihrer Fähigkeit ab, Testhypothesen zu identifizieren, die die Nadel bewegen, und von Ihrer Fähigkeit, mit den daraus resultierenden Testdaten eine Geschichte zu erzählen."
-Matty Wishnow, Founder & CEO, Clearhead
Wie Sie loslegen können
Hier ist Ihr praktischer Spickzettel:
Stellen Sie für jedes Ergebnis eine Hypothese auf: Machen Sie jedes Experiment zu einer Lernchance, indem Sie Ihrem Experiment einen Schritt vorausdenken. Was würden Sie lernen, wenn sich Ihre Hypothese als richtig oder falsch erweist, wenn eine Variante gewinnt, verliert oder unentschieden endet?
Bauen Sie Daten in Ihre Überlegungen ein: Sie sollten niemals nur um des Testens willen testen. Jeder Besucher Ihrer Website ist eine Lernmöglichkeit, eine wertvolle Ressource, die nicht verschwendet werden sollte.
Ordnen Sie die Ergebnisse Ihrer Experimente einem übergeordneten Ziel zu: Wenn Sie bei der Auswahl der Tests auf der Grundlage von Daten gute Arbeit leisten und sie nach ihrer Wirkung priorisieren, dann sollte dieser Schritt einfach sein. Sie möchten sicherstellen, dass das Experiment zu einem aussagekräftigen Ergebnis führt, das zum Wachstum Ihres Unternehmens beiträgt. Was sind Ihre unternehmensweiten Ziele und KPIs? Wenn Ihre Experimente und Hypothesen auf die Verbesserung dieser Kennzahlen ausgerichtet sind, können Sie Ihr Team darauf konzentrieren, sich mit Ihren Daten zu befassen und überzeugende Experimente zu entwickeln.
Dokumentieren Sie Ihre Hypothesen: Dokumentieren Sie alle Experimente, die Sie durchführen. Diese Angewohnheit trägt dazu bei, dass historische Hypothesen als Referenz für zukünftige Experimente dienen und bietet ein Forum für die Dokumentation und den Austausch des Kontextes für alle Tests, vergangene, aktuelle und zukünftige.
Das Aufstellen guter Hypothesen ist eine Fähigkeit, die man mit der Zeit erlernt. Je öfter Sie es tun, desto besser werden Sie.
