Erzielen Sie mehr Erfolge: Metriken zum Experimentieren für den Programmerfolg

Wie wir in unserem ersten Beitrag in dieser Serie erwähnt haben, haben viele Unternehmen erkannt, dass die Optimierung ihrer digitalen Produkte und Erlebnisse nicht länger ein verhandelbarer Aspekt ihrer Digitalstrategie ist. Das Strategie- und Werteteam von Optimizely erhält häufig Fragen zur Operationalisierung eines Testprogramms und zur Auswahl eines Executive Sponsors, aber für diejenigen, die neu im Experimentieren sind, ist die wichtigste Unbekannte vielleicht, wie man den ROI einer Experimentierplattform und eines Optimierungsprogramms rechtfertigt und veranschaulicht. Es gibt viele Methoden, um den ROI Ihres Programms zu quantifizieren, aber es gibt zwei grundlegende Gruppen von Metriken, auf die Sie sich konzentrieren können, um Ihre Argumente zu untermauern: die Schlüsselmetriken Ihres Unternehmens und die Metriken Ihres Programms.

Die Hauptziele Ihres Unternehmens

Wenn Sie in Ihrem Unternehmen ein Optimierungsprogramm entwickeln, ist es wichtig, dass Sie die Testbemühungen Ihres Programms auf die wichtigsten Ziele Ihres Unternehmens abstimmen. Indem Sie Ihr Experimentieren auf die Beeinflussung von Schlüsselmetriken ausrichten, stellen Sie sicher, dass Ihr Programm einen direkten und zurechenbaren Einfluss auf die wichtigsten KPIs Ihres Unternehmens hat - das wird Ihnen bei späteren ROI-Gesprächen sehr helfen. In der folgenden Abbildung finden Sie einen Zielbaum, der veranschaulicht, wie sich ein übergeordnetes Unternehmensziel (Umsatz) auf die Ziele von Experimenten auswirkt, die Sie mit Ihren Tests beeinflussen können. Wenn Sie mit Zielbäumen nicht vertraut sind, finden Sie in der Wissensdatenbank von Optimizely eine hervorragende Erklärung sowie branchenspezifische Zielbaumvorlagen, die Ihnen den Einstieg erleichtern.

Zielbäume sind vielseitig einsetzbar: Sie helfen Ihnen dabei, die wertvollsten Kennzahlen für Ihr Unternehmen zu ermitteln und Ihre Optimierungsbemühungen auf die Bereiche zu konzentrieren, in denen Erfolge mehr Sichtbarkeit und Zugkraft erzeugen. Zielbäume sind auch ein hervorragender Gesprächsanlass, um Diskussionen und interne Abstimmungen anzuregen. Dies ist keine einmalige Übung - es ist wirklich wichtig, diese Ziele gemeinsam mit Ihrem Executive Sponsor und den wichtigsten Führungskräften festzulegen und zu überprüfen, vor allem, wenn sich Richtungen und Initiativen ändern. Ein kurzes Beispiel: In den letzten zwei Jahren sind zahlreiche OTT- und SVOD-Streaming-Anbieter auf den Markt gekommen, die sich zunächst auf Kennzahlen zur Kundenakquise konzentrierten, wie z. B. die Zahl der Anmeldungen für kostenlose Testversionen, die Conversion Rate für kostenlose Testversionen und die Gesamtzahl der Abonnenten. Da jedoch die COVID-Beschränkungen gelockert werden und die Nutzer ihre Ausgaben für Unterhaltung neu bewerten, könnten dieselben Marken ihren Fokus auf Kennzahlen zum Customer Engagement und zur Kundenbindung verlagern, wie z.B. die Gesamtzahl der angesehenen Minuten, die Anzahl der Streaming-Starts und die monatlichen aktiven Logins - dies könnten die wichtigsten Geschäftskennzahlen für ihre Führungskräfte, Stakeholder und Aktionäre werden.

Sobald Sie sich über Ihre Unternehmensziele und die wichtigsten Kennzahlen, die Sie beeinflussen wollen, im Klaren sind, sollten Sie sich darauf konzentrieren, schlüssige, erfolgreiche Experimente durchzuführen. Dies führt uns zu den nächsten Kennzahlen, die Sie messen und über die Sie regelmäßig berichten sollten: die Kennzahlen Ihres Experimentierprogramms.

Die Metriken Ihres Experimentier-Programms

Viele von uns haben Apple Watches oder Fitbits, mit denen wir unser tägliches Verhalten verfolgen können - zurückgelegte Schritte, verbrannte Kalorien, geschlafene Stunden usw. In vielerlei Hinsicht sind die Metriken Ihres Experimentierprogramms das Fitbit Ihres Programms - sie zeigen den Zustand Ihres Programms, sein Wachstum und wo Sie sich verbessern können. Zunächst gehen wir die primären Metriken durch, die sich direkt auf die Erzielung von mehr Gewinnen auswirken, und dann tauchen wir tiefer in die zusätzlichen Metriken ein, die Ihnen helfen können, einen ganzheitlichen Überblick über den Zustand Ihres Programms zu gewinnen.

Drei wichtige Metriken

Velocity - die Anzahl der Tests, die Sie pro Monat, Quartal oder Jahr durchführen

Velocity ist wahrscheinlich die gängigste Metrik für den "Gesundheitscheck", da sie das Wachstum Ihres Programms leicht aufzeigt und Ihnen oft hilft, zusätzliche Ressourcen zu beantragen. Als Richtwert gilt, dass die Geschwindigkeit der Optimizely-Kunden von 2019 bis 2020 im Durchschnitt um etwa 7 % gestiegen ist (einschließlich der Nutzung aller Teile unserer Produktreihe). Sie sollten also ein jährliches Wachstum der Anzahl Ihrer Tests von mindestens +10-20 % anstreben. Viele unserer Kunden streben eine Verdoppelung der Anzahl ihrer Tests (+100 %) im Vergleich zum Vorjahr an, aber dieses Wachstumsniveau hängt von den Ressourcen und der Reife Ihres Programms ab. Ein Hinweis: Einige Programme beziehen Tests und Testideen in der Entwicklung in die Berechnung der Testgeschwindigkeit mit ein. Sie sollten also in Ihren Berichten angeben, ob Sie auch diese Tests oder nur die gestarteten Tests berücksichtigen. Wenn Sie Schwierigkeiten haben, die Geschwindigkeit zu erhöhen, nutzen viele Optimizely-Kunden unser Angebot an On-Demand-Services, um ihre monatliche Testanzahl zu erhöhen.

Abschlussrate: Der Prozentsatz der Experimente, die ein statistisch signifikantes Ergebnis für die primäre Metrik erzielt haben, unabhängig davon, ob es sich um einen Gewinn oder einen Verlust handelt.

Sie können Ihre Geschwindigkeit erhöhen, so viel Sie wollen, aber wenn Sie keine aussagekräftigen Ergebnisse erhalten, zeigen Ihnen diese Tests nichts, was Sie umsetzen können. Sie können aus den Verlusten genauso viel lernen wie aus den Gewinnen, und in der Tat sparen Ihnen die Verluste manchmal viel Geld, indem sie die Einführung einer Funktion verhindern, die Ihre Metriken in den Keller getrieben hätte. Im Durchschnitt haben die Kunden von Optimizely eine Erfolgsquote von etwa 35-40%, d.h. 4 von 10 Tests sind erfolgreich. Wenn Sie unter 33% liegen, sollten Sie vielleicht überprüfen, wie Sie Ihre Tests einrichten, oder bei Ihren Variationen größere Risiken eingehen, denn ein Test kann kein Gewinn sein, wenn er nicht schlüssig ist!

Gewinnrate - der Prozentsatz der Experimente, die ein statistisch signifikantes Ergebnis und eine Verbesserung der primären Metrik erzielt haben.

Diese Kennzahl ist wichtig, denn auch wenn Sie aus allen aussagekräftigen Tests lernen, sind die Gewinne bei den Einnahmen diejenigen, die sich leicht auf eine zukünftige ROI-Diskussion zurückführen lassen. Die Kunden von Optimizely haben im Durchschnitt eine Gewinnrate von etwa 20 % für alle Experimente, aber nur 10 % für Experimente, die an den Umsatz gebunden sind. Das erklärt auch, warum Sie mehr Tests durchführen müssen, damit sie schlüssig sind - es ist eine zyklische Sache!

Weitere Metriken, die wichtig sind

Dies sind zwar die drei Kennzahlen, die von Experimentierern am häufigsten genannt werden, aber es gibt noch weitere Kennzahlen, die bei der Identifizierung von Chancen oder der Diagnose potenzieller Probleme in Ihrem Programm unglaublich hilfreich sein können.

• Entwicklungszeit - wie lange dauert es, bis die Tests erstellt und gestartet sind?
  Wenn Sie Schwierigkeiten haben, Ihre Geschwindigkeit zu erhöhen, kann ein Blick auf die Entwicklungszeit Ihnen dabei helfen, herauszufinden, wo Sie in Ihrem Testzyklus aufgehalten werden und wo Sie möglicherweise mehr Ressourcen benötigen.
• Zeit bis zur Produktion - durchschnittliche Tage bis zur Einführung einer erfolgreichen Variante
  Erfolge sind großartig, aber sie sind nur dann echte Erfolge, wenn sie auf Ihrer Site in Produktion sind. Wenn Sie Schwierigkeiten haben, diese Wins in Ihre Roadmap aufzunehmen, oder wenn Sie regelmäßig erfolgreiche Varianten zu 100 % über Ihre Testplattform laufen lassen müssen, sollten Sie vielleicht Ihre Produkt- oder IT-Teams in Ihre monatlichen Besprechungen einbeziehen und ihnen mitteilen, welche Tests Sie durchführen werden. Vielleicht kann Ihr Exec-Sponsor die Räder ein wenig schmieren? Eine andere Möglichkeit: Suchen Sie nach einer Möglichkeit, dies schneller und ohne IT-Ressourcen zu tun, z.B. indem Sie die Änderungen selbst in Ihrem CMS vornehmen.
• Variationen - wie viele Variationen führen wir im Durchschnitt pro Test durch?
  Früher nannten viele von uns diese Praxis "A/B-Testing", und oft war es auch genau das: A gegen B. Heute gibt es Untersuchungen und Beweise dafür, dass Tests mit mehr Variationen (insbesondere 4 oder mehr) in viel höherem Maße erfolgreich sind, ebenso wie Tests mit mehr Codezeilen. Opfern Sie also nicht die Komplexität, nur um Tests durchzuführen - es ist wirklich eine Kunst und eine Wissenschaft, Ihre Geschwindigkeit zu erhöhen und gleichzeitig komplexe, gut durchdachte und mutige Experimente durchzuführen.

Jetzt, da Sie wissen, welche Akteure Sie auf dem Platz brauchen und welche Kennzahlen Sie beeinflussen müssen, werden wir in unserem nächsten Blogbeitrag einige wichtige Elemente für die Operationalisierung Ihres Programms behandeln. Wenn Sie eines der Themen weiter vertiefen möchten, finden Sie unten Links!

Sind Sie an weiteren Inhalten über Zielbäume und Metriken interessiert?

In der Knowledge Base von Optimizely finden Sie großartige Artikel über Zielbäume sowie über primäre und sekundäre Metriken. Alek Toumert gibt einen guten Überblick über Output- und Input-Metriken, und Jon Noronha erklärt, wie er bei Microsoft Metriken ausgewählt hat. Und wenn Sie Schwierigkeiten haben, Ihre North Star Metric zu definieren, finden Sie in diesem Blogbeitrag oder in diesem Artikel weitere Anleitungen zu diesem Thema.

Interessieren Sie sich für weitere Artikel über Programmmetriken?

In der Knowledge Base finden Sie eine Menge großartiger Inhalte zum Thema Handeln auf der Grundlage von Experiment-Ergebnissen, statistischer Signifikanz und Konfidenzintervallen. Alek spricht über Revenue as a Primary Metric und Jon Noronha hat einen weiteren großartigen Blogbeitrag über die Skalierung von Geschwindigkeit und Qualität geschrieben . Vielleicht wird in diesen Artikeln auch die Programmreife erwähnt - finden Sie den Reifegrad Ihres Programms heraus, indem Sie an unserem Reifegradmodell-Quiz teilnehmen.