A/B-Tests: Wie man perfekte Experimente durchführt und datengestützte Entscheidungen trifft

Beim Experimentieren geht es nicht nur um die Durchführung von Tests, sondern auch darum, aus diesen Tests zu lernen und Veränderungen voranzutreiben. Durch das Testen neuer Ideen und Ansätze können Unternehmen lernen, was funktioniert und was nicht, und datengestützte Entscheidungen zur Verbesserung von Prozessen, Produkten und Dienstleistungen treffen.

DerAufbau einer Kultur des Experimentierens bringt den Unternehmen einen enormen Nutzen. Die Harvard Business School hat in einer Studie untersucht, welchen Wert das Testen für Start-ups hat, insbesondere in der E-Commerce-Branche. Sie fand heraus, dass Investoren bereit waren, 10 % mehr Dollar in Unternehmen zu investieren, die experimentieren, als in solche, die dies nicht tun.

In ähnlicher Weise ergab die Untersuchung von Optimizely, dass die Medienunternehmen, die A/B-Tests einsetzen, 9 % mehr digitale Einnahmen verzeichnen. Wir wissen also aus den Daten, dass Menschen, die experimentieren, klügere Entscheidungen treffen.

Nehmen wir zum Beispiel an, Sie nehmen bis zum Jahresende 50 Produktänderungen vor, die sich alle auswirken. Einige könnten besser sein, andere wiederum schlechter. Wenn Sie experimentieren, wissen Sie, dass Sie die Änderungen, die sich nicht bewähren, nicht einführen sollten. Sie können diese zurücknehmen und gleichzeitig die Vorteile der Änderungen nutzen, die sich bewährt haben .

Es ist also hilfreich, bei den Tests Prioritäten zu setzen und die Chancen besser zu nutzen. Für die Mitarbeiter kann dies jedoch eine beängstigende Aussicht sein, da sie sich damit den Dingen aussetzen, die sie falsch gemacht haben. Andieser Stelle kommt der Rolle der Führungskräfte eine entscheidende Bedeutung zu .

Die Rolle der obersten Führungsebene

In manchen Unternehmen zögern die Mitarbeiter, zu experimentieren oder ihre Ideen mitzuteilen, wenn sie das Gefühl haben, dass sie nicht die Befugnis dazu haben. Dies kann besonders dann der Fall sein, wenn die oberste Führungsebene nicht in das Experimentieren eingebunden ist .

Lassen Sie uns zunächst mit dem Mythos aufräumen. Wenn es um Experimente geht, zählt die Meinung der bestbezahlten Person nicht immer am meisten. Wenn die Führungsebene zu viel Macht hat, kann dies sogar Innovation und Kreativität behindern, da die Mitarbeiter weniger bereit sind, Risiken einzugehen oder neue Dinge auszuprobieren, wenn sie das Gefühl haben, dass sie mikromanisiert werden.

Versuchen Sie, eine Kultur des Experimentierens zu schaffen, die jeden ermutigt, sich zu beteiligen und seine Ideen einzubringen .

Wenn Sie also das Wohl des Unternehmens im Auge haben und Ihr Selbstvertrauen stärken wollen, müssen Sie sehr kritisch und ehrlich mit den Dingen umgehen, die Sie tun und die keine Wirkung zeigen. Dies wird Ihrem Unternehmen helfen, flexibler zu werden und auf Veränderungen zu reagieren, was in der heutigen schnelllebigen Geschäftswelt von entscheidender Bedeutung ist.

Der Bedarf an gut durchdachten Experimenten

In der Schule und an der Universität haben wir alle Beispiele von großartigen Physikern und klassischen Forschern gesehen, die wunderschöne Laborexperimente durchführten. Sie haben eine winzige Änderung vorgenommen und diese mit Sicherheit gemessen, und noch nach Jahrzehnten profitieren wir alle davon und sprechen in den Klassenzimmern darüber .

In der Geschäftswelt wird jedoch die Notwendigkeit von Experimenten und Tests überbewertet, da der Wert einer Idee in dem Moment erlischt, in dem sich die Kundenbasis ändert und die Geräte anders werden. Wenn man eine winzige Änderung vornimmt, die in ein paar Jahren veraltet ist, hat das nur minimale Auswirkungen .

Ein Beispiel: Jemand in Ihrem Team hält vielleicht große Stücke auf die Homepage oder Landing Page Ihrer Website. Der Call-to-Action (CTA) auf der Seite soll die Leute dazu bringen, sich für Veranstaltungen anzumelden oder die Produkte zu kaufen, also macht es keinen Sinn, zu viele Dinge auf einmal zu ändern.

Denn wenn Sie den Text, die Farbe, die Textgröße und die Platzierung für einen Testlauf ändern, ist es schwierig, genau zu wissen, welcher dieser Hebel die Änderung bewirkt hat .

Das Problem bei dieser Art von Mentalität ist jedoch, dass sie für ein Unternehmen funktioniert, das Zehntausende von Experimenten durchführt und jede Änderung einzeln messen kann. Aber die meisten Unternehmen, die vielleicht 100 Tests pro Jahr durchführen, müssen große, kühne Sprünge machen, wenn sie etwas erreichen wollen.

Halten Sie sich nicht länger an die Vorstellung, dass Sie extrem wissenschaftlich streng sein müssen, nur winzige Änderungen vornehmen und bei jedem Test sehr genau sein müssen.

Ein gutes Experiment zu entwerfen bedeutet, Risiken einzugehen, größere Änderungen vorzunehmen und Dinge zu tun, die die statistische Signifikanz erheblich beeinflussen.

Die Wissenschaft eines guten Experiments

Angenommen, Ihr Unternehmen beschließt, den Produktseiten neue Filter als neue Funktion hinzuzufügen. Ein Ingenieur macht sich auf den Weg, erstellt den Code für einen Filter und macht sich bereit, ihn oben auf der Seite zu implementieren. Es gibt nur eine einzige Version dieses Filters. Wenn er nicht funktioniert, wissen wir nicht, ob die Besucher keine Filter wollen oder ob die Benutzerfreundlichkeit des Filters einfach schlecht ist.

Deshalb ist es gut, wenn Sie einen Filter haben wollen, aber verschiedene Versionen davon. Sie können ihn oben auf der Seite, auf der linken Seite und an anderen Stellen einsetzen. Sie können ihn fest oder schwebend platzieren und sogar die Reihenfolge der Filter ändern.

Der Vorteil dieses Experiments ist, dass nach diesem Test alle Varianten Ihres Filters verlieren. Jetzt wissen Sie eindeutig, dass Filter für Ihre Kunden nicht notwendig sind. Es ist an der Zeit, sich auf etwas anderes zu konzentrieren. Oder wenn eine Variante der Filter, die Sie ausprobiert haben, gewinnt, implementieren Sie diese nur schnell. Einfach einen Filter ohne Alternativen einzusetzen, kann zu einer Fehlinterpretation der Ergebnisse führen .

Um den größten Nutzen aus multivariaten Tests zu ziehen, sollten Sie strukturiert und systematisch vorgehen. Das beinhaltet:

1. Definieren einer Hypothese

Bevor Sie mit dem Experimentieren beginnen, sollten Sie eine klare Vorstellung davon haben, was Sie testen, welche Zielgruppe Sie ansprechen und was Sie erreichen wollen. Definieren Sie eine Hypothese in Ihrer Vorlage - eine Aussage, die beschreibt, was Sie als Ergebnis Ihres Experiments erwarten .

2. Entwurf des Experiments

Sobald Sie eine Hypothese aufgestellt haben, müssen Sie ein Experiment entwerfen, mit dem die Hypothese getestet werden soll. Dazu müssen Sie die zu testenden Variablen bestimmen, den Stichprobenumfang berechnen und festlegen, wie die Ergebnisse gemessen werden sollen.

3. Durchführung des Experiments

Nachdem das Experiment entworfen wurde, ist es an der Zeit, es durchzuführen. Dies beinhaltet die Umsetzung der Änderungen, die Sie testen, und die Erfassung quantitativer Daten.

4. Analysieren der Ergebnisse

Sobald das Experiment abgeschlossen ist, ist es an der Zeit, die Ergebnisse des A/B-Tests zu analysieren. Dabei werden die gesammelten Daten ausgewertet, um festzustellen, ob Ihre Testhypothese bestätigt wurde oder nicht.

5. Iteration und Lernen

Nutzen Sie die aus dem Experiment gewonnenen Erkenntnisse, um Ihren Ansatz zu wiederholen und zu verbessern. Das bedeutet, dass Sie die Daten nutzen, um fundierte Entscheidungen über das weitere Vorgehen zu treffen, und dass Sie weiterhin experimentieren und dabei lernen .

So beginnen Sie Ihre Experimentierreise

Daten sind entscheidend, um die Auswirkungen Ihrer Experimente zu messen und datengestützte Entscheidungen zu treffen. Es ist wichtig, dass Sie ein klares Verständnis der Metriken haben, die Sie zur Erfolgsbewertung verwenden, und dass Sie alles messen, was Sie können, um den größten Nutzen aus Ihren Experimenten zu ziehen.

Sehen wir uns zunächst einmal an, was zu vermeiden ist. Wenn die meisten Menschen mit Experimenten beginnen, gehen sie davon aus, dass es sich um eine einfache Optimierung handelt.

Wenn wir z. B. die Farbe von Rot auf Blau ändern, wird dies die Besucher psychologisch dazu bringen, mehr zu kaufen und die Konversionsratezu erhöhen . Das Schöne an einem Button-Farbtest ist, dass Sie im Erfolgsfall Geld verdienen und im Misserfolgsfall vielleicht 15 Minuten Ihrer Zeit verloren haben. Er ist sehr einfach durchzuführen.

Aber um das Nutzerverhalten sinnvoll zu beeinflussen, müssen Sie etwas sehr Grundsätzliches tun, das die Erfahrung der Nutzer beeinflusst und ein signifikantes Ergebnis liefert.

In den meisten Unternehmen findet das Experimentieren oft nur am Rande der Entscheidungsfindung statt, d. h. jemand, der nur dazu da ist, die Lackierung eines Autos auszusuchen, das bereits vollständig entworfen und zusammengebaut wurde. Oder es ist etwas, das von der oberen Führungsebene vorangetrieben wird. VPs und C-Level-Führungskräfte treffen alle Entscheidungen, und es gibt ein Team vor Ort, das lediglich gezwungen ist, das umzusetzen, was sie verlangen, aber dann die Freiheit hat, zu experimentieren .

Großartiges Experimentieren ist eine Kombination aus all diesen Faktoren. Ein Ort, an dem die Menschen das Recht haben, Änderungen vorzunehmen. Sie haben das Recht, an der Gestaltung des Fahrzeugs selbst mitzuwirken, und sie sind ein Partner der Führungskräfte in diesem Entscheidungsprozess. Die Führungskräfte kommen mit großartigen Ideen und dürfen diese ergänzen. Sie sind nicht nur dazu da, die Ideen anderer auszuführen und zu bewerten.

Befolgen Sie diese Schritte, um loszulegen:

1. Fangen Sie klein an

Versuchen Sie nicht, alles auf einmal zu ändern. Beginnen Sie stattdessen mit kleinen Experimenten, aus denen Sie lernen können und die Ihnen helfen, in Echtzeit eine Dynamik aufzubauen.

2. Konzentrieren Sie sich auf den Kunden

Die Funktionalität von Experimenten sollte sich darauf konzentrieren, dem Kunden einen Mehrwert zu bieten. Stellen Sie sicher, dass Sie Ideen testen, die einen echten Einfluss auf die Erfahrung des Kunden haben werden.

3. Messen Sie alles

Um genügend Daten und Nutzen aus Ihren Experimenten zu ziehen, ist es wichtig, alles zu messen, was Sie können. Das bedeutet, dass Sie nicht nur die Ergebnisse, sondern auch den Prozess und die Basiskennzahlen, die Sie zur Bewertung des Erfolgs verwenden, verfolgen.

4. Schaffen Sie eine Kultur des Experimentierens

Schließlich ist es wichtig, ein A/B-Testing-Tooleinzusetzen, das die Experimentier- und Innovationsbereitschaft fördert. Das bedeutet, dass Sie Ihren Mitarbeitern die Freiheit geben, neue Dinge auszuprobieren, die Risikobereitschaft belohnen und Erfolge (und Misserfolge) auf dem Weg dorthin feiern.

Und schließlich...

Ein Testprogramm ist ein wichtiges Instrument, um die digitale Transformation und die Optimierung der Konversionsrate (CRO) voranzutreiben. Durch den Aufbau einer Experimentierkultur können Unternehmen lernen, was funktioniert und was nicht, und dieses Wissen nutzen, um Veränderungen voranzutreiben und ihren Kunden ein erstklassiges Benutzererlebnis zu bieten.

Eine schrittweise Anleitung zum digitalen Experimentieren finden Sie imBig Book of Experimentation. Es enthält Best Practices für Webseiten, Fallstudien und praktische Tipps für den Erfolg.