Stefan Thomke über die Kultur des Experimentierens und was ein gutes Experiment ausmacht

Wirhaben bereits ein Interview mit dem Harvard Business School Professor Stefan Thomke geführt, der kürzlich sein Buch Experimentieren funktioniert: The Surprising Power of Business Experiments veröffentlicht hat. In einem zweiten Beitrag zu seinem neuen Buch finden Sie aussagekräftige Antworten auf die Frage, warum Experimentieren so wichtig ist, sowie einen sechsteiligen Überblick über 'Was ist ein gutes Experiment'. Außerdem wurde er kürzlich im Harvard Business Review Magazine und in einem Podcast zu eben diesen Themen vorgestellt.

Optimizely: Warum ist eine Kultur des Experimentierens so wichtig und was sind ihre wichtigsten Eigenschaften?

Stefan Thomke: Mark Okerstrom, der ehemalige CEO der Expedia Group, hat mir einmal gesagt. "Wenn Sie in einer zunehmend digitalen Welt nicht in großem Maßstab experimentieren, sind Sie langfristig - und in vielen Branchen auch kurzfristig - tot." Wenn Testen so wertvoll ist, warum machen Unternehmen es dann nicht öfter? Nachdem ich diese Frage mehrere Jahre lang untersucht habe, kann ich Ihnen sagen, dass der Hauptgrund die Kultur ist. Wenn Unternehmen versuchen, ihre Kapazitäten für das Online-Experimentieren zu skalieren, stellen sie häufig fest, dass die Hindernisse nicht in Tools und Technik, sondern in gemeinsamen Verhaltensweisen, Überzeugungen und Werten liegen. Auf jedes erfolgreiche Experiment kommen fast 10 Fehlschläge - und in den Augen vieler Unternehmen, die Wert auf Effizienz, Vorhersehbarkeit und "Erfolg" legen, sind diese Fehlschläge Verschwendung. Um erfolgreich zu innovieren, müssen Unternehmen das Experimentieren zu einem festen Bestandteil des Alltags machen - auch wenn die Budgets knapp sind. Das bedeutet, dass ein Umfeld geschaffen werden muss, in dem die Neugier der Mitarbeiter gefördert wird, in dem Daten den Vorrang vor Meinungen haben, in dem jeder (nicht nur Mitarbeiter in der Forschung und Entwicklung) einen Test durchführen oder in Auftrag geben kann, in dem alle Experimente nach ethischen Grundsätzen durchgeführt werden und in dem Manager ein neues Führungsmodell übernehmen. Konkret bedeutet dies:

Pflegen Sie die Neugierde: Jeder im Unternehmen, von der Führungsebene abwärts, muss Überraschungen zu schätzen wissen, auch wenn es schwierig ist, sie in Dollar zu beziffern, und es unmöglich ist, vorherzusagen, wann und wie oft sie eintreten werden. Wenn Unternehmen sich diese Einstellung zu eigen machen, wird die Neugierde überwiegen und die Mitarbeiter werden Misserfolge nicht als teure Fehler, sondern als Lernchancen betrachten.

Bestehen Sie darauf, dass Daten Meinungen übertrumpfen: Die empirischen Ergebnisse von Online-Experimenten müssen sich durchsetzen, wenn sie mit starken Meinungen kollidieren, ganz gleich, wessen Meinungen das sind. Aber das ist bei den meisten Unternehmen aus einem verständlichen Grund selten der Fall: die menschliche Natur. Wir neigen dazu, "gute" Ergebnisse, die unsere Vorurteile bestätigen, zu akzeptieren, aber "schlechte" Ergebnisse, die unseren Annahmen widersprechen, zu hinterfragen und gründlich zu untersuchen.

Demokratisieren Sie das Experimentieren: Um eine Skalierung zu erreichen, sollte jeder im Unternehmen in der Lage sein, alles zu testen - ohne die Erlaubnis der Geschäftsleitung. Dies erfordert eine umfassende Schulung, Transparenz und ständige Diskussionen unter den Teammitgliedern darüber, was die richtigen Probleme sind. Diskussionen sollten gefördert werden, und die Mitarbeiter sollten sich an ihre Kollegen wenden, wenn sie etwas sehen, das ihnen fragwürdig erscheint. So wie jeder ein Experiment starten kann, sollte auch jeder in der Lage sein, ein solches zu stoppen.

Seien Sie ethisch sensibel: Wenn Unternehmen neue Experimente in Erwägung ziehen, müssen sie sorgfältig abwägen, ob die Nutzer die Tests als unethisch ansehen würden. Die Antwort ist zwar nicht immer eindeutig, aber Unternehmen, die diese Frage nicht prüfen, riskieren, eine Gegenreaktion auszulösen.

Setzen Sie auf ein anderes Führungsmodell: Indem Unternehmen das Experimentieren demokratisieren und sich an den Testergebnissen orientieren, können sie ihre Mitarbeiter in die Lage versetzen, eigenständig gute Entscheidungen zu treffen und Innovationen und Verbesserungen zu beschleunigen. Aber wenn die meisten Entscheidungen auf diese Weise getroffen werden, was bleibt dann noch für die Führungskräfte übrig, abgesehen von der Entwicklung der strategischen Ausrichtung des Unternehmens und der Bewältigung großer Entscheidungen, wie z.B. der Frage, welche Übernahmen getätigt werden sollen? Es gibt mindestens drei Dinge: 1) Sie müssen sich eine große Herausforderung stellen, die sich in testbare Hypothesen und wichtige Leistungskennzahlen aufteilen lässt, 2) Sie müssen Systeme, Ressourcen und organisatorische Strukturen einrichten, die ein groß angelegtes Experimentieren ermöglichen, und 3) Sie müssen ein Vorbild sein, d.h. nach den gleichen Regeln leben wie alle anderen und ihre eigenen Ideen einem Test unterziehen

Optimizely: Was ist ein gutes Experiment?

Stefan Thomke: In einem idealen Experiment trennen die Tester eine unabhängige Variable (die vermutete Ursache) von einer abhängigen Variable (die beobachtete Wirkung), während sie alle anderen möglichen Ursachen konstant halten. Dann manipulieren sie die erste Variable, um Veränderungen in der zweiten zu untersuchen. Die Manipulation, gefolgt von einer sorgfältigen Beobachtung und Analyse, führt zu Erkenntnissen über die Beziehungen zwischen Ursache und Wirkung, die im Idealfall auch in anderen Bereichen angewendet und getestet werden können. Um diese Art des Lernens zu erreichen und sicherzustellen, dass jedes Experiment die richtigen Elemente enthält und zu besseren Entscheidungen führt, sollten sich Unternehmen sieben wichtige Fragen stellen: (1) Verfügt das Experiment über eine überprüfbare Hypothese? (2) Haben sich die Beteiligten verpflichtet, sich an die Ergebnisse zu halten? (3) Ist das Experiment durchführbar? (4) Wie können wir zuverlässige Ergebnisse sicherstellen? (5) Haben wir Ursache und Wirkung verstanden? (6) Haben wir den größten Nutzen aus dem Experiment gezogen? Und schließlich (7) Treiben Experimente unsere Entscheidungen wirklich an? Obwohl einige der Fragen offensichtlich erscheinen, führen viele Unternehmen Tests durch, ohne sie vollständig zu berücksichtigen.

Hier finden Sie eine vollständige Liste von Elementen, die Sie vielleicht nützlich finden:

1. Hypothese

• Beruht die Hypothese auf Beobachtungen, Erkenntnissen oder Daten?
• Konzentriert sich das Experiment auf eine überprüfbare Managementmaßnahme, die in Betracht gezogen wird?
• Gibt es messbare Variablen, und kann nachgewiesen werden, dass sie falsch ist?
• Was erhofft man sich von den Experimenten zu lernen?

2. Akzeptanz

• Welche konkreten Änderungen würden auf der Grundlage der Ergebnisse vorgenommen werden?
• Wie wird die Organisation sicherstellen, dass die Ergebnisse nicht ignoriert werden?
• Wie fügt sich das Experiment in die allgemeine Lernagenda und die strategischen Prioritäten des Unternehmens ein?

3. Durchführbarkeit

• Gibt es für das Experiment eine überprüfbare Vorhersage?
• Wie groß ist die erforderliche Stichprobe? Hinweis: Die Größe der Stichprobe hängt von der erwarteten Wirkung ab (z. B. eine Umsatzsteigerung von 5 Prozent).
• Ist das Unternehmen in der Lage, das Experiment an den Testorten für die erforderliche Dauer durchzuführen?

4. Verlässlichkeit

• Welche Maßnahmen werden ergriffen, um systembedingte Verzerrungen, ob bewusst oder unbewusst, zu berücksichtigen?
• Stimmen die Merkmale der Kontrollgruppe mit denen der Testgruppe überein?
• Kann das Experiment entweder "blind" oder "doppelblind" durchgeführt werden?
• Wurden etwaige verbleibende Verzerrungen durch statistische Analysen oder andere Techniken beseitigt?
• Würden andere, die denselben Test durchführen, zu ähnlichen Ergebnissen kommen?

5. Kausalität

• Haben wir alle Variablen erfasst, die unsere Metriken beeinflussen könnten?
• Können wir bestimmte Interventionen mit dem beobachteten Effekt in Verbindung bringen?
• Wie stark sind die Beweise? Korrelationen sind lediglich ein Hinweis auf die Kausalität.
• Können wir auch ohne Beweise für die Kausalität Maßnahmen ergreifen?

6. Wert

• Hat das Unternehmen ein Targetingin Erwägung gezogen , d. h .eine Einführung, die die Auswirkungen einer vorgeschlagenen Initiative auf verschiedene Kunden, Märkte und Segmente berücksichtigt, um die Investitionen auf die Bereiche zu konzentrieren, in denen die potenzielle Amortisierung am höchsten ist?
• Hat das Unternehmen nur die Komponenten einer Initiative mit dem höchsten Return on Investment umgesetzt?
• Verfügt das Unternehmen über ein besseres Verständnis dafür, welche Variablen welche Auswirkungen haben?

7. Entscheidungen

• Erkennen wir an, dass nicht jede geschäftliche Entscheidung durch Experimente gelöst werden kann oder sollte? Aber alles, was getestet werden kann, sollte auch getestet werden.