Brillant scheitern: Die Geheimwaffe für erfolgreiches Experimentieren

Erinnern Sie sich noch an die Zeit, als ein Experiment so einfach war wie das Ändern einer Schaltflächenfarbe und das Beobachten der Conversions?

Ja, diese Zeiten sind vorbei, genau wie Klapphandys und Internet mit Wählverbindung.

Im Moment sind die Zeiten hart. Die Budgets sind knapp. Die Sicherheit des Arbeitsplatzes ist nur noch eine ferne Erinnerung. Die HIPPOs erwarten von Ihnen, dass Sie schnell statistisch signifikante Ergebnisse liefern und einen Mehrwert zeigen.

Aber so ist das nun einmal mit dem Experimentieren - jedes Mal, wenn wir scheitern, wachsen wir.

Ich erinnere mich noch an meinen Haarschnitt in der High School. Er war ein großer Misserfolg für mich :)

Quelle: Tenor

Scheuen Sie sich nicht davor, Misserfolge zu akzeptieren und aus jedem Test zu lernen, den Sie durchgeführt haben.

In diesem Blog erfahren Sie, wie Sie aus fehlgeschlagenen Experimenten wertvolle Lehren ziehen können.

Bei der Optimierung gibt es keine Misserfolge - nur Chancen zum Lernen und Wachsen. Entdecken Sie, wie Sie aus jedem Test, ob erfolgreich oder nicht, Erkenntnisse gewinnen und eine Kultur der kontinuierlichen Verbesserung in Ihrem Experimentieren aufbauen können.

Die Realität des Experimentierens: Das Scheitern wieder salonfähig machen

Das Scheitern hat Vincent Van Gogh nicht davon abgehalten, Meisterwerke zu malen, Albert Einstein nicht davon, die Physik zu revolutionieren, oder Michael Jordan nicht davon, eine Basketballlegende zu werden.

Dennoch hat es zahllose Teams beim Experimentieren gelähmt und sie daran gehindert, ihr volles Potenzial auszuschöpfen.

Und warum? In der Welt der Unternehmen, in der der Erfolg von Kennzahlen das Budget bestimmt, werden fehlgeschlagene Experimente oft als kostspielige Fehler und nicht als Lernmöglichkeiten angesehen. Diese Denkweise hemmt die Innovation und hält Teams davon ab, Durchbrüche zu erzielen.

Aber können Sie erraten, wie hoch die durchschnittliche Erfolgsquote bei Programmen zum Experimentieren ist?

Sie beträgt gerade einmal 12%.

Zu den häufigen Misserfolgen gehören statistisch signifikante , aber negative Ergebnisse, nicht schlüssige Resultate und fehlerhafte Testdesigns.

Und das tut weh. Es fühlt sich so an:

• Sie haben Zeit und Ressourcen verschwendet
• Sie fangen wieder bei Null an
• Sie waren nicht in der Lage, jemandem das Gegenteil zu beweisen.

Aber Scheitern ist nichts Negatives, zumindest nicht beim Experimentieren. Sie können das Scheitern als etwas Positives betrachten.

Warum, fragen Sie?

Jeder fehlgeschlagene Test hat es Ihnen ermöglicht, eine Funktion oder ein Erlebnis zu validieren, für dessen Entwicklung Sie sonst viel Zeit und Geld aufgewendet hätten.

Außerdem haben Sie wahrscheinlich mehr/etwas Neues über die Vorlieben Ihrer Benutzer gelernt.

Glauben Sie immer noch nicht an die Macht des Scheiterns?

Wir haben 5 Beispiele aus der Praxis, die zeigen, dass Sie aus jedem Experiment, das Sie durchführen, interessante Dinge lernen können.

Ruhmeshalle: 5 Learnings aus gescheiterten Experimenten

1. Inhalte mit geringer Interaktion sind wichtig

Felix Kirmse (Digital Marketing Manager, Optimizely): Felix wollte interaktionsarme Inhalte auf der Startseite reduzieren, um die Zahl der Formularanmeldungen zu erhöhen.

• Das Ergebnis: Die Zahl der Formularanmeldungen ging weiter zurück (oh je).
• Mitnehmen: Selbst interaktionsarme Inhalte können das Vertrauen und das Engagement der Benutzer fördern, was wiederum für die Eingabe von Formularen unerlässlich ist.

2. Von Pop-up zu Flop-up

Ronnie Cheung (Senior Strategy Consultant, Optimizely): Ronnie wollte in der Kartenansicht ein Pop-up für die Details der Einrichtung einführen, da die Nutzer beim Klicken auf die Stecknadeln in der Kartenansicht auf eine PDP-Seite weitergeleitet wurden, die einen zusätzlichen Schritt zum Abschluss des Checkouts erforderte.

• Das Ergebnis: Es kamen weniger Nutzer auf die Checkout-Seite.
• Fazit: Verbessern Sie die Popup-Informationen, so dass die Benutzer ohne Bedenken zum Checkout gehen können.

3. Reales Buchcover vs. abstrakte Version

Joe Geoghan (Senior Visual Brand Design Specialist, Optimizely): Joe wollte das echte Cover gegenüber einer abstrakten Version des großen Buches des Experimentierens im Text der E-Mail testen. In der Annahme, dass das echte Cover gewinnen würde, wurde es in den meisten E-Mails verwendet.

Version 1

Version 2

• Ergebnis: Die abstrakte Version hat immer noch gewonnen
• Fazit: Die kleine Version des Covers war zu klein, um die wichtigen Informationen zu zeigen - sowohl die Illustration als auch der Text waren unleserlich. Die abstrakte Version war prägnant und zeigte Ihnen genau, worauf Sie sich einlassen. Beim Design kommt es auf Klarheit an.

4. Bilder sind nicht immer besser als Links

Jeffrey de Wijs (Digital Marketing Manager, Optimizely): Jeff, der den Optimizely Newsletter an Ihre Posteingänge schickt, hat letzte Woche getestet, ob die Verwendung von Bildern anstelle von Aufzählungspunkten die Klickrate in unserem Newsletter erhöht.

• Das Ergebnis: Bilder und Links haben nicht besser abgeschnitten als Links allein.
• Fazit: Den meisten Teammitgliedern gefiel die Bildvariante besser, aber dennoch gab es keinen wirklichen Unterschied bei den Klicks zwischen den beiden Varianten. Verlassen Sie sich also nicht auf Annahmen. Gehen Sie hinaus und testen Sie es selbst.

5. Die Perspektive des Kunden: Vorhersage der nächstbesten Aktion

Virgin Media (Optimizely Kunde): Charlotte Golding und ihr Team bei Virgin Media wollten die Next Best Action (NBA) vorhersagen, um personalisierte Erlebnisse für ihre Kunden zu entwickeln. Sie gingen davon aus, dass die Kunden nur bestimmte Wünsche haben würden, wie z. B. die Verbesserung des Netzes in ihrem Gebiet oder die Aufrüstung ihrer bestehenden Breitbandverbindung usw.

• Ergebnis: Das Team stellte fest, dass ein und derselbe Kunde jeden Tag mit unterschiedlichen Anliegen kam. An einem Tag suchten sie nach einem Kundendienst und am nächsten Tag wollten sie nur ein Upgrade. Dies wurde bei der NBA zunächst nicht berücksichtigt, aber nach dem Experiment musste das Team sein Modell optimieren, um besser zu verstehen, welche Aktion dem Kunden als nächstes angezeigt werden sollte. Erfahren Sie hier mehr über das Experiment von Charlotte.
• Mitnehmen: Kunden können jeden Tag wegen einer anderen Sache auf Ihre Website kommen. Setzen Sie sie nicht einfach in ein einziges personalisiertes Erlebnis und erwarten Sie die gleichen Ergebnisse. Optimieren Sie das Modell regelmäßig.

Was zeigt Ihnen das über die Neuausrichtung des Konzepts des Scheiterns beim Experimentieren?

Zunächst einmal geht es darum, eine risikofreudige Kultur zu fördern.

So erreichen Sie das:

1. Geben Sie Zeit und Raum, um Tests in großem Maßstab durchzuführen: Sorgen Sie für ein Gleichgewicht zwischen Schnelligkeit und Gründlichkeit, um aussagekräftige Ergebnisse zu erzielen.
2. Beginnen Sie an der Spitze: Wenn Führungskräfte das Experimentieren fördern, wird es Teil der Unternehmenskultur.
3. Streben Sie beides an: Mondlandungen und schrittweise Fortschritte: Kombinieren Sie schnelle Erfolge mit mutigen Experimenten, um ein Maximum an Lernen und Wirkung zu erzielen.
4. Ermutigen Sie Ihre Teammitglieder, Ideen zu teilen: Schaffen Sie ein System zum Sammeln und Bewerten von Ideen aus allen Ebenen des Unternehmens.
5. Feiern Sie "produktive Misserfolge": Experiment Collaboration macht das Experimentieren zu einem festen Bestandteil Ihrer Unternehmenskultur. Indem Sie Arbeitsabläufe standardisieren, Pläne und Ergebnisse offen austauschen und jedem die Teilnahme ermöglichen, schaffen Sie ein Umfeld, in dem Testen zur zweiten Natur wird.

In einer berühmten Brauerei werden mit dem F*UP-Preis des CTO alle gut durchdachten Experimente ausgezeichnet, unabhängig vom Ergebnis.

Dieser Ansatz ermutigt das Team, mutig zu innovieren, neue Dinge auszuprobieren und alle Erkenntnisse offen zu teilen - nicht nur die Erfolge. So wird jeder Test zu einer wertvollen Gelegenheit und fördert eine Kultur der kontinuierlichen Verbesserung und bahnbrechenden Entdeckungen.

Kultivierung einer kontinuierlichen Experimentierkultur

Insgesamt ist die Wirkung wichtiger als die Erfolgsquote. Um jedoch aus fehlgeschlagenen Tests zu lernen, müssen Sie angemessene Risikogrenzen festlegen und eine Experimentierkultur pflegen. Hier erfahren Sie, wie Sie das tun können:

• Definieren Sie Metriken neu: Gehen Sie über die Gewinnraten hinaus. Verfolgen Sie die gewonnenen Erkenntnisse, die bestätigten/entkräfteten Hypothesen und die langfristigen Auswirkungen auf die wichtigsten Messgrößen.
• Machen Sie es einfach, Tests durchzuführen: Optimizely Web Experimentation und Optimizely Feature Experimentation ermöglichen es Teams, Tests durchzuführen, ohne dass sie auf technische Ressourcen angewiesen sind.
• Implementieren Sie ein Lern-Repository: Dokumentieren Sie alle Testergebnisse, Erkenntnisse und Folgeaktionen.
• Führen Sie Review-Sitzungen durch: Halten Sie monatliche Sitzungen ab, in denen die Teams ihre wirkungsvollsten Tests vorstellen - sowohl Erfolge als auch Verluste.
• Legen Sie klare Risikogrenzen fest: Definieren Sie akzeptable Risikoniveaus für verschiedene Arten von Experimenten. Erlauben Sie beispielsweise ein höheres Risiko für Tests auf Seiten oder Segmenten mit geringem Traffic.

Lernen Sie aus jedem Test, den Sie durchführen

Beim Experimentieren (wie auch im Leben) kann das Scheitern ein mächtiges Werkzeug für das Wachstum sein. Das fängt beim Einzelnen an - Sie können praktische Schritte unternehmen, um Ihre Perspektive zu ändern und aus Misserfolgen zu lernen. Aber auch die Führungsebene muss die richtigen Voraussetzungen schaffen, um aus Fehlern zu lernen und sie nicht als Fehltritt/negativ zu betrachten.

Denken Sie daran:

• Wirkung übertrumpft Gewinnrate. Konzentrieren Sie sich auf Erkenntnisse und langfristige Verbesserungen.
• Machen Sie das Experimentieren in Ihrer gesamten Organisation zugänglich.
• Dokumentieren und teilen Sie die Erkenntnisse, um kollektives Wissen aufzubauen.
• Legen Sie klare Risikogrenzen fest, um eine kalkulierte Risikobereitschaft zu ermöglichen.

Möchten Sie noch mehr darüber erfahren, wie Sie die Erkenntnisse aus jedem Ihrer Tests (auch aus den fehlgeschlagenen) optimieren können?

Schauen Sie sich diese Sitzungen an:

1. Wie man scheitert: Optimieren Sie die Erkenntnisse aus jedem Test, den Sie durchführen
2. Lehren aus 127.000 Experimenten
3. Leitfaden zum Experimentieren mit Produkten