Experimentieren funktioniert: Die überraschende Kraft von Business-Experimenten

Stefan Thomke, eine Autorität auf dem Gebiet des Innovationsmanagements, ist William Barclay Harding Professor of Business Administration an der Harvard Business School. Er hat mit globalen Unternehmen an der Entwicklung von Produkten, Prozessen und Technik, der Gestaltung von Kundenerlebnissen, betrieblichen Verbesserungen, organisatorischen Veränderungen und Innovationsstrategien gearbeitet. Professor Thomke hat bereits vor der Gründung von Optimizely Pionierarbeit auf dem Gebiet des Experimentierens geleistet und sein erstes Buch zu diesem Thema, 'Experimentation Matters: Unlocking the Potential of New Technologies for Innovation', das 2003 erschien.

Sein neues Buch 'Experimentieren funktioniert: The Surprising Power of Business Experiments' wurde vor kurzem veröffentlicht. Wir hatten nicht nur die Gelegenheit, mit ihm zusammenzuarbeiten, sondern uns auch mit ihm zusammenzusetzen und einige seiner Erkenntnisse zu diskutieren.

Optimizely: Warum haben Sie 'Experimentieren funktioniert' geschrieben?

Stefan Thomke: Als ich mein erstes Buch "Experimentieren ist wichtig: Unlocking the Potential of New Technologies of Innovation" im Jahr 2003 veröffentlichte, machte ich eine Vorhersage: Digitale Experimentierwerkzeuge hatten nicht nur das Potenzial, die Forschung und Entwicklung eines Unternehmens zu revolutionieren, sondern sie könnten auch ganze Branchen verändern, indem sie das Experimentieren - und damit die Innovation - auf die Nutzer und Kunden verlagern.

Fünf Jahre später eröffnete Apple seinen App Store, der es jedem und überall ermöglichte, neue Anwendungen zu entwickeln und zu vertreiben. Bis Anfang 2017 standen den iOS-Nutzern etwa 2,2 Millionen Apps zur Verfügung. Und jeder, der die Entwicklung von Simulations- und Prototyping-Tools aufmerksam verfolgt, weiß, dass deren Einsatz in der Fertigungsindustrie inzwischen allgegenwärtig ist, auch wenn die Unternehmen immer noch mit den Problemen der Integration und Verwaltung zu kämpfen haben, über die ich 2003 geschrieben habe. Als ich mit Freude beobachtete, wie sich diese Vorhersagen bewahrheiteten, dachte ich, dass es an der Zeit sei, weiterzuziehen und ein anderes Thema zu studieren. Und ich habe mich geirrt!

Hier ist der Grund: Im Jahr 2003 hatte Google gerade sein fünftes Jahr hinter sich, Amazon war neun Jahre alt und Booking.com war immer noch ein unabhängiges Startup-Unternehmen in Amsterdam. Obwohl ich mich mit den statistischen und Management-Prinzipien beschäftigt hatte, die für das Experimentieren von zentraler Bedeutung sind, hatte ich ihre Rolle bei der Gestaltung von Kundenerlebnissen und Geschäftsmodellen nicht näher untersucht. Ich hatte keine Ahnung, wie ihre Anwendung den Aufstieg der heutigen Online-Unternehmen vorantreiben würde. Als ich schließlich darauf aufmerksam wurde, war mir sofort klar, dass groß angelegtes, kontrolliertes Experimentieren die Art und Weise, wie alle Unternehmen ihre Geschäfte betreiben und wie Manager Entscheidungen treffen, revolutionieren würde.

Harvard Business School Professor Stefan Thomke

Optimizely: Im Vorwort erwähnen Sie, dass viele Leser der Meinung sind, dass das Experimentieren in großem Maßstab nur Unternehmen mit digitalen Wurzeln betrifft, und Sie nennen drei Gründe, warum Sie glauben, dass dieses Buch diese Meinung ändern wird. Würden Sie uns diese drei Gründe nennen?

Thomke: Ich hoffe, dass mein neues Buch die Leser, die glauben, dass das Experimentieren in großem Maßstab nur Unternehmen mit digitalen Wurzeln betrifft, umstimmen wird - und zwar aus drei Gründen.

Erstens interagieren auch Unternehmen ohne digitale Wurzeln zunehmend online mit ihren Kunden. Die riesige Anzahl digitaler Berührungspunkte, Designentscheidungen und Geschäftsentscheidungen zu nutzen, ist ohne den Zugang zu groß angelegten Tests schlichtweg überwältigend.

Zweitens sind die in diesem Buch behandelten Ideen und Prinzipien auf jedes Unternehmen anwendbar, egal ob Sie offline oder online, B2C oder B2B, in der Produktion, im Einzelhandel, bei Geschäfts- und Finanzdienstleistungen, in der Logistik, im Reiseverkehr, in den Medien, in der Unterhaltung, im Gesundheitswesen und so weiter tätig sind.

Drittens sollten Unternehmen ohne Software-Wurzeln die Maxime des Risikokapitalgebers Marc Andreessen beherzigen: "Software frisst die Welt auf." Ich habe viele Hardware-Entwicklungsprojekte gesehen, bei denen die Software mehr als die Hälfte aller Ressourcen verschlungen hat. Bedenken Sie, dass sich die Erfolgsmethoden bei der Softwareentwicklung im letzten Jahrzehnt dramatisch verändert haben. Bei Microsofts Bing werden etwa 80 Prozent der vorgeschlagenen Änderungen zunächst als kontrollierte Experimente durchgeführt.

Optimizely: Optimizely hat Ihnen und Sourobh Ghosh Daten zur Verfügung gestellt - was waren die vorläufigen Ergebnisse?

Thomke: Um zu verstehen, wie Unternehmen Geschäftshypothesen testen, hat Optimizely uns Zugang zu allen Experimenten in Form von anonymisierten Daten gegeben, die seine Kunden von November 2016 bis September 2018 durchgeführt haben. Mit diesen Daten haben wir eine große Datenbank erstellt, die sorgfältig auf Robustheit und Datenintegrität geprüft wurde. Die Experimente wurden nach verschiedenen Qualitätskriterien gefiltert, z. B. ausreichender Kundenverkehr (mehr als tausend Besucher pro Woche), echte Experimente (keine A/A-Tests oder Fehlerbehebungen) usw.

Unsere vorläufige Analyse hat Folgendes ergeben:

• Die durchschnittliche Anzahl der Variationen, zusätzlich zu einer Kontrolle, betrug 1,5 (Median war 2) und etwa 70 Prozent der Experimente waren einfache A/B-Tests. Es ist nicht klar, ob die Unternehmen die Tests absichtlich einfach gehalten haben oder ob sie einfach so angefangen haben.
• Der Median der Dauer eines Experiments liegt bei 3 Wochen, der Durchschnitt jedoch bei 4,4 Wochen. Hier ist der Grund dafür. Viele Experimente haben sich über Monate hingezogen, und es ist schwer zu begründen, warum einige Tests länger als fünfzehn oder zwanzig Wochen laufen sollten. Höchstwahrscheinlich ist dies ein Hinweis auf schlechte organisatorische Praktiken und fehlende Prozessstandards.
• Die Branchensegmente, in denen in unserer Studie am meisten experimentiert wurde, waren der Einzelhandel, High-Tech, Finanzdienstleistungen und Medien. Wir haben festgestellt, dass High-Tech-Unternehmen die "effizientesten" Tester sind (mehr Aufzüge pro Experiment).
• Insgesamt erreichten 19,6 Prozent aller Experimente eine statistische Signifikanz bei ihrer primären Metrik. Hier gibt es einen Vorbehalt: 10,3 Prozent hatten eine positive und 9,8 Prozent eine negative Signifikanz. Wenn die primäre Kennzahl die (positive) Conversion von Kunden ist, könnte ein negatives Ergebnis Unternehmen davon abhalten, Funktionen einzuführen, die zu Verlusten führen - vorausgesetzt, das Ergebnis bleibt auch in zukünftigen Experimenten bestehen.
• Die große Datenmenge ermöglichte es uns auch, eine grundlegende Frage zu beantworten: Sind die Variationen besser als die Grundlinie? Um sicherzugehen, haben wir Ausreißer entfernt, damit die Analyse nicht verzerrt wird, und hatten am Ende mehr als dreißigtausend Varianten. Die Ergebnisse deuten stark darauf hin, dass die Variationen im Durchschnitt besser abschneiden als die Basisversion(p = 0,000). Mit anderen Worten, ein klares Ja, dass Experimentieren funktioniert!

Optimizely: Welches sind wichtige Entwicklungen, die massive Kapazitäten zum Experimentieren erfordern?

Thomke: Es gibt drei wichtige Entwicklungen, die ein massives Experimentieren erfordern.

Erstens: Kunden werden zunehmend über mobile Geräte (Smartphones, Tablets, Uhren usw.) mit Ihrem Unternehmen interagieren. Im Jahr 2018 haben Unternehmen mehr als 1,5 Milliarden Smartphones und mobile Geräte ausgeliefert; bis 2023 werden voraussichtlich mehr als 2 Milliarden Geräte ausgeliefert. Aber was noch erstaunlicher ist, ist die Rechen- und Netzwerkleistung dieser Geräte. Wenn das Tempo des Fortschritts anhält, werden die Kunden in einigen Jahrzehnten die Supercomputer von heute (die von Forschern zur Vorhersage des globalen Wetters oder zur Simulation der Anfänge des Universums verwendet werden) in ihren Taschen haben. Dies wird zu einer explosionsartigen Zunahme von Berührungspunkten und komplexen Interaktionen mit Kunden führen, einschließlich Verhaltensweisen und Werttreibern, die uns heute noch gar nicht bekannt sind. Diese neuen Kundenerlebnisse werden viel Erkundung und Optimierung erfordern. Die einzige Möglichkeit für alle Unternehmen, mit diesen rasanten Entwicklungen Schritt zu halten und zu entscheiden, was funktioniert und was nicht, ist die Durchführung groß angelegter Programme zum Experimentieren.

Zweitens werden Unternehmen bald erkennen, dass ein Business-Analytics-Programm ohne kontrollierte Experimente unvollständig ist. Die herkömmliche Analyse mit Big Data blickt in den Rückspiegel und leidet bei Innovationen an ernsthaften Einschränkungen: Je größer die Neuheit einer Innovation ist, desto unwahrscheinlicher ist es, dass zuverlässige Daten zur Verfügung stehen. (Wären verlässliche Daten verfügbar, hätte bereits jemand die Innovation auf den Markt gebracht und sie wäre nicht neu!)

Die dritte und vielleicht wichtigste Entwicklung, die massive Experimentierkapazitäten erfordern wird, ist der Aufstieg der künstlichen Intelligenz (KI), genauer gesagt des maschinellen Lernens und der künstlichen neuronalen Netze. Ausgefeilte Algorithmen und von der Biologie inspirierte neuronale Netze können mit großen Datenmengen trainiert werden, um Muster mit einem hohen Automatisierungsgrad zu erkennen (z.B. Identifizierung, Clustering und Priorisierung von Benutzerproblemen). Auch wenn die meisten theoretischen Durchbrüche bereits vor Jahrzehnten erzielt wurden, erleben wir nun endlich eine Explosion von Anwendungen, die die Zukunft der Unternehmen verändern werden. Stellen Sie sich Folgendes vor: Was wäre, wenn KI-basierte Methoden Ihre Daten (Informationen zum Kundensupport, Marktforschung usw.) analysieren und Tausende von evidenzbasierten Hypothesen erstellen könnten? Stellen Sie sich nun vor, dass diese Algorithmen auch Experimente entwerfen, durchführen und analysieren könnten, ohne dass das Management eingreifen müsste. Groß angelegte Programme zum Experimentieren, die ein geschlossenes System verwenden, können im Hintergrund laufen und Handlungsempfehlungen geben, wenn Sie morgens zur Arbeit kommen. Und Sie können sich darauf verlassen, dass Ihre Maßnahmen zu Ergebnissen führen werden, weil sie wissenschaftlich auf Ursache und Wirkung getestet wurden.