5 Mythen, die dein A/B-Test- und Experimentierprogramm zerstören

"Unsere Umsätze sind rückläufig. Schnell, gib mir eine Best Practice, um den Umsatz so schnell wie möglich zu steigern."

Es ist sehr einfach, anzunehmen, was auf einer Website funktioniert und was nicht.

Aber bedenke Folgendes:

Selbst die offensichtlichsten Ideen können genau das Gegenteil bewirken.

Zum Beispiel wird es nicht funktionieren, so viele Zahlungsmöglichkeiten wie möglich anzubieten, wenn die Kund/innen ihre Kartendaten bereits in den Autofill-Funktionen des Browsers gespeichert haben.

Deshalb ist keine Idee zu "best practice", um sie nicht zu testen.

Und einige dieser Überzeugungen sind in Wirklichkeit Mythen, die dein Experimentierprogramm behindern.

Hier sind 5 wichtige Mythen, die du vermeiden musst, um deine Experimentierergebnisse wirklich zu steigern.

Die 5 Mythen, die deine Experimentierkultur beeinflussen

1. Beim Testen geht es nur um Optimierung

   Mythos: Experimentieren ist ein Zusatz zum Entwicklungsprozess
   Die Wahrheit: Experimentieren und Entwicklung sind Teil desselben Prozesses.

   Egal, ob es sich um ein neues Feature, ein neues Produkt oder eine neue Kampagne handelt, die Aufgabe ist es, alles schnell zu entwickeln.

   Das Experimentieren ist erst für die Phase reserviert, wenn alles fertig ist.

   Sie finden statt, NACHDEM du Wochen, Monate oder ein Vierteljahr in die Entwicklung investiert hast.

   Stell dir vor, du läufst stundenlang durch einen dunklen Wald, ohne auf einen Kompass oder eine Karte zu schauen - das macht keinen Sinn, oder?

   Auf diese Weise kannst du nur raten, ob du das richtige Produkt oder Feature für deine Zielgruppe baust.

   Und was, wenn nicht?

   Deshalb musst du schon früh im Entwicklungsprozess mit Experimenten beginnen.

   Zitat: Rommil's Zitat

   Wenn du deine Hypothesen schon früh in der Ideenfindung testest, kannst du Raum für größere und bessere Ideen schaffen.

   Du kannst Annahmen darüber vermeiden, was wichtig ist. Zum Beispiel:

   • Wer die Zielnutzer sind
   • Ihre Bedürfnisse und Probleme
   • Welchen Nutzen sie haben werden

   

   Mit Experimenten kannst du zweifellos Ideen entwickeln, die deine Kunden tatsächlich nutzen wollen.

   Dieser Leitfaden für Produktexperimente zeigt dir, wie es geht.

2. Mehr Tests bedeuten mehr Wirkung

   Mythos: Schnelligkeit hängt von der Anzahl der Tests ab
   Die Wahrheit: Mehr Tests sind nicht immer die Lösung

   Die Welt des Experimentierens ist von Zahlen besessen. Überall, wo du hinsiehst, wirst du von Programmen, Fallstudien und Ratschlägen zur Durchführung von "mehr" Tests umgeben.

   Aber es scheint, dass diese Ratschläge nicht mit besseren Geschäftsergebnissen einhergehen.

   Wir haben Folgendes herausgefunden: Wenn Programme mehr als 30 Tests pro Entwickler und Jahr durchführen, sinkt die erwartete Wirkung um satte 87 %.

   Quantität auf Kosten der Qualität kann die Leistung und die erwartete Wirkung deiner Experimente beeinträchtigen.

   Deshalb musst du sorgfältig planen, wie du deine Entwicklerressourcen einsetzt. Vielleicht hast du es noch nicht auf 30 Tests pro Entwickler abgesehen, aber bedenke Folgendes: Die höchste erwartete Wirkung tritt bei 1-10 jährlichen Tests pro Entwickler auf.

   Wenn du 1-10 Tests pro Entwickler und Jahr durchführst, hat jeder Entwickler genug Spielraum, damit jeder Test, den du durchführst, effektiv geplant und mit hoher Qualität durchgeführt werden kann.

   Das erfordert:

   • Klare Hypothesen aufstellen und sie mit dem Testteam teilen
   • Sorgfältige Planung der Ressourcen
   • Autonomie bei der Entscheidungsfindung gewähren

   Qualität -> Geschwindigkeit -> Wirkung (und Konversionen)

3. Analytik ist einfach nur Daten

   Mythos: Eine große Menge an Daten gibt dir die nötigen Einblicke
   Die Wahrheit: Daten zu haben ist einfach. Sie sinnvoll zu nutzen, ist schwierig.

   Die eigentliche Bedeutung des Wortes "Analytik" ist völlig verloren gegangen, nachdem es mit Daten vermischt wurde.

   Wenn man von Analytik spricht, meint man oft die Abfrage von Daten oder auch nur die Auswertung von Zahlen. Zahlen sind das, was es ist.

   Analytik ist nicht das oben Genannte. Es geht darum, Ergebnisse in Einzelteile zu zerlegen, die ein Verständnis des Ganzen ermöglichen.

   Dafür brauchst du kritisches Denken und Unterstützung durch die Nutzung von Daten.

   Was du brauchst:

   • Identifizierung des Problems
   • Die Analysen und Experimente entwerfen
   • Erkennen und Vermeiden von kognitiven Verzerrungen durch Ergebnisse

   Das ist echte Analytik. Und Experimente helfen dir dabei, sie durchzuführen.

4. Experimentieren bedeutet A/B-Tests

   Mythos: Ein einfacher Test wird die Konversionsrate deiner Website erhöhen.
   Die Wahrheit: Um eine Wirkung zu erzielen, braucht es mehr als eine Variante.
   Die meisten Tests: Farbe und Text des Buttons.

   Wenn du dich zu Beginn deines Programms auf schnelle Erfolge konzentrierst, ist das ein guter Weg, um in Schwung zu kommen. Es hilft dabei, eine Kultur des Experimentierens aufzubauen, indem du über die Ergebnisse verschiedener Initiativen berichtest - und im Idealfall einen großen Erfolg feierst. Perfekt.

   Wenn du jedoch bereit bist, dein Programm zu erweitern, empfehlen wir dir, über einfache A/B-Tests hinauszugehen.

   • Kein langfristiges Lernen
   • Keine Hypothese außer "was wäre wenn..."
   • Keine große Verbesserung oder Auswirkung auf die Geschäftsziele

   Bei der Skalierung muss der Schwerpunkt von der Geschwindigkeit auf die Wirkung verlagert werden.

   Der Schlüssel dazu ist die Durchführung komplexer Experimente.

   Und um Wirkung zu erzielen, braucht es mehr als nur eine kleine Veränderung.

   So führt nur ein Drittel der Experimente zu mehr als einer Veränderung, bringt aber deutlich bessere Ergebnisse.

   

   Quelle: Lehren aus 127k Experimenten

   Komplexe Experimente:

   • Verfüge über mehr Entwicklerressourcen mit einem vielfältigen Portfolio an iterativen Änderungen (Preisgestaltung, Rabatte, Checkout-Flow, Datenerfassung usw.)
   • Dokumentiere jede Änderung und verbessere direkt, wie Nutzer/innen mit deiner Website/App interagieren und wie sie sich verhalten.
   • Wähle Experimentierkennzahlen, die die betriebliche Effizienz, die Qualität und die Akzeptanz des Programms messen - je nach den Bedürfnissen deines Unternehmens.

   Mit komplexen Experimenten kannst du Werte schaffen, Vertrauen aufbauen und Ressourcen für die Ausweitung deines Programms erhalten.

5. Bei Experimenten gibt es mehr Misserfolge als Erfolge

   Mythos: Die Erfolgsquote ist das Einzige, was zählt

   Die Wahrheit: Die Erfolgsquote allein ist eine unbedeutende Kennzahl

   Nur 12% der Experimente sind erfolgreich, wenn es um die primäre Kennzahl geht. Bedeutet das, dass man bei Experimenten mehr Misserfolge als Erfolge zu verzeichnen hat?

   So einfach ist das nicht. Die Gewinnrate allein ist eine Eitelkeitskennzahl. Natürlich ist sie wichtig, vor allem wenn dein Programm neu ist, um die Zustimmung der Leitung zu bekommen. Aber bei der Skalierung ist die erwartete Wirkung ein besserer Indikator für den Erfolg.

   Sie konzentriert sich auf den erzielten Uplift, und wir alle wissen, dass für Unternehmen der ROI am wichtigsten ist. Gleichzeitig musst du die Dinge umdrehen und zu 100 % aus deinen Tests lernen.

   Indem du dich auf die verlorenen und nicht eindeutigen Ergebnisse konzentrierst, kannst du alles eliminieren, was sich negativ auswirken könnte. Außerdem hörst du auf, Zeit und Ressourcen in Bereiche zu investieren, die kein Kapital für das Unternehmen erwirtschaften.

   Du scheiterst also, wenn du nicht aus all deinen Experimenten lernst.

   Und die Magie geschieht, wenn du den gesamten Lebenszyklus eines digitalen Produkts experimentell gestaltest. Hier siehst du, wie das in der Praxis aussieht.

   

Wie du dein Experimentierprogramm wiederbelebst

Hier sind 5 Dinge, die dir helfen können, dein Programm wieder auf Kurs zu bringen:

1. Teste das gesamte digitale Erlebnis
2. Optimiere auf jedem Gerät
3. Forschung + datengesteuertes Marketing > Meinungen
4. Integrationen für wichtige Systeme
5. Konzentriere dich auf die wichtigsten Metriken

Hier ist ein Beispiel dafür, wie das in der Praxis aussieht:

1. Das empfehlen wir besonders, wenn du ein E-Commerce-Geschäft betreibst:

   • Sorge dafür, dass der Weg von deiner Landing Page zum Produkt schnell und einfach erscheint
   • Ein klares Lieferfenster mit klaren Preisen.
   • Ein leicht verständliches Rückgaberecht, um den Bindungsdruck zu verringern.
   • Unboxing-Videos, um das Produkterlebnis zu visualisieren.
   • Eine Gebrauchsanweisung, die zeigt, was zu tun ist, wenn das Produkt ankommt.

2. Verbessere dein Messaging, indem du dein Wertversprechen und die Produktdetails kommunizierst.

   • Wo befinde ich mich und was wird auf dieser Seite verkauft?
   • Wie wird mein Problem gelöst und was denken andere Kunden darüber?
   • Was macht es zum besten Produkt/zur besten Dienstleistung auf dem Markt?
   • Welche guten Gründe habe ich, es jetzt zu kaufen?
   • Wie bekomme ich es/was muss ich als nächstes tun?

3. Entfernealles, was die Besucher von der Hauptaufforderung zum Handeln ablenkt.

   • Schneide Inhalte aggressiv zu und entferne Dinge wie Countdown-Timer.
   • Verwende einen klebrigen "Add-to-cart"-Button statt einer klebrigen Kopfzeile.
   • Leite die Nutzer auf Sammelseiten zu relevanten Produkten weiter.

4. Richte deinen Inhalt an der Absicht der Besucher aus.

   • Sorge dafür, dass die Botschaften mit dem Erlebnis vor dem Klick übereinstimmen.
   • Überlege dir, in welchem Stadium des Kaufprozesses sich deine Besucher befinden und zeige die Inhalte entsprechend an.
   • Zeige z.B. längere Erklärungen, wenn sich ein Besucher in der Bewusstseinsphase befindet.

Wenn du mehr darüber erfahren möchtest, wie du langfristig inkrementelle Veränderungen erreichen kannst, schau dir diesen Artikel zur Conversion Rate Optimierung an.

Abschließende Schlussfolgerungen

Hier sind drei Ratschläge, die dir helfen, Mythen zu vermeiden und ein erfolgreiches Programm zu erstellen:

1. Führe ABCD- statt nur AB-Tests durch.
2. Führe komplexe Experimente durch und bewerte deine Daten mit kritischem Denken.
3. Wähle die richtigen Metriken, die deine Website insgesamt verbessern und nicht nur deine Gewinnraten.

Lerne weiter

Das Experimentieren ist ein grundlegender Weg, auf dem das gesamte Unternehmen Ideen erforscht und entwickelt. So lässt sich (ohne viel Geld zu investieren) feststellen, ob eine Idee gut ist und wie sie am effizientesten umgesetzt werden kann.

Um mehr über den Prozess zu erfahren, empfehlen wir dir einige Ressourcen:

• Lehren aus 127k Experimenten
• Leitfaden für Produktexperimente
• Die Kunst der Auswahl von Experimentiermetriken