Schluss mit den Silos! Wie Sie Teams zusammenbringen, um ein erfolgreiches Experimentieren aufzubauen

Als Experimentieren Manager wird es viele Momente geben, in denen der Ausdruck "Katzen hüten" ein wenig zu nahe geht. Experimentieren ist eine neue Art von Prozessen und analytischer Strenge, die Konsistenz erfordern, und wir wissen, dass Konsistenz nicht über Nacht entsteht. Lassen Sie sich nicht entmutigen! Das sind normale Wachstumsschmerzen und die Art von Momenten, in denen Ihre Beharrlichkeit die wichtigste Variable ist. Der Grund dafür, dass es diese Momente immer wieder gibt, liegt darin, dass das Experimentieren von der großen Mehrheit der Teilnehmer verlangt, ihre Arbeitsweise zu ändern. Anstatt eine einzige Änderung an einer Homepagekomponente vorzunehmen, muss ein Entwickler nun zwei Builds durchführen. Anstelle eines einzigen Analysepunkts müssen die Leute ein zweites System und eine zweite Methodik erlernen. Mit einigen einfachen Taktiken können Sie sicher sein, dass Sie weniger Zeit mit Herdenbildung und mehr Zeit mit Testen verbringen.

Wir haben bei unseren Kunden die Erfahrung gemacht, dass mehr Experimente (und effektivere Experimente) durchgeführt werden, je mehr Leute daran beteiligt sind!

Wie soll ich all diese Leute managen?!

Einer der positiven Nebeneffekte des Experimentierens besteht darin, dass es die Zusammenarbeit zwischen den einzelnen Teams verbessern kann. Es gibt viele Rollen, die sich am Experimentieren beteiligen können, um dessen Wert zu steigern, und Sie sollten als Programmmanager immer bestrebt sein, mehr Leute einzubinden. Wenn mehr Leute an Ihrem Programm beteiligt sind, führen Sie mehr Experimente durch, lösen komplexere Probleme und führen Experimente effizienter durch. Mit mehr Leuten bedeutet das auch mehr Slack-Nachrichten, die aussehen wie "Wie weit sind Sie damit?" Diese Nachrichten werden manchmal nötig sein, aber Sie sollten immer diese drei Mechanismen haben, um alle zu verwalten, die dabei helfen, ein Experiment von der Idee bis zum Start zu bringen.

• Ein Ort für die Überprüfung: Ich bin kein Fan von Meetings. Ich habe mich dafür eingesetzt, dass es bei Optimizely keine 1-on-1s gibt (ohne Erfolg). Ich muss jedoch zugeben, dass ein Treffen zum Experimentieren unabdingbar ist, um ein effektives Programm zu betreiben. Bei Optimizely haben wir unsere wöchentliche Experiment Review, bei der jeder, der eine Hypothese hat, zusammenkommt und sie mit dem Rest des Teams teilt. Ich bin ein Fan des zweiwöchentlichen Rhythmus, aber ich habe auch Kunden, die wöchentliche oder monatliche Treffen veranstalten. Die Tagesordnung für Ihre Besprechung muss weder langwierig noch zeitaufwendig sein. Bitten Sie einfach Ihre Teamkollegen, sich bereit zu halten, um Ihnen mitzuteilen, was sie vorhaben und was die Ergebnisse laufender oder kürzlich abgeschlossener Experimente sind. Streuen Sie ein paar Ihrer Suggestivfragen ein, wie z.B. "Welche Daten belegen das Kundenproblem?" oder "Warum haben Sie sich für diese Kennzahl entschieden?", und lassen Sie auch den Rest des Teams zu Wort kommen. Ihr Ziel als Programmmanager ist es, teamübergreifendes Feedback zu ermöglichen und zu fördern.

• Ein Ort für Gespräche: Sobald Sie den "Raum" (Zoom) nach der Besprechung verlassen, sollten die Aktionspunkte klar sein. Wissen Sie, wer einige dieser Aktionspunkte vergessen hat? Oder wer hat einen neuen Punkt zur Klärung der primären Frage zur Metrik? Ich. Ich brauche einen Ort, an dem ich meinen Analysten fragen kann, warum diese Kennzahl eigentlich ein besserer Indikator für den Erfolg eines Experiments ist. Dies ist eine weitere Managementpraxis, über die Sie nicht zu viel nachdenken müssen. Vieles, woran ich mit meinen Kunden arbeite, ist eine Diskussion über die Frage "Wo machen Sie diese Dinge jetzt?". Wenn Sie Communities of Practice auf Slack (Optimizely hat sogar eine Slack-Integration!) oder Microsoft Teams verwalten, dann tun Sie das Gleiche mit Ihren Praktiken des Experimentierens. Wenn Sie Ihr Backlog in der Programmverwaltung von Optimizely verwalten, können Sie die Kommentarfunktion ganz einfach nutzen, um an offenen Punkten zusammenzuarbeiten. Vor allem bei der Erstellung neuer Prozesse ist es hilfreich, auf bereits Bestehendes zurückzugreifen, um den Änderungsaufwand zu minimieren. Bei Optimizely haben wir zwei Kanäle. Einen, um die Mitarbeiter über den Fortschritt von Experimenten auf dem Laufenden zu halten (#experiment-feed) und einen, um die Diskussion über bevorstehende oder vergangene Experimente zu ermöglichen (#experiment-review). Achten Sie als Programm-Manager darauf, dass Ihre Updates konstant und konsistent bleiben!

• Ein Platz für die Ausführung: Sie haben also Ihre Hypothese aus der Besprechung. Sie haben die letzten Details ausgefeilt. Wie bringen Sie nun Ihre Entwickler dazu, bei der Umsetzung zu helfen? Nun, wenn Ihr Entwicklungsteam mit Jira arbeitet (Optimizely hat auch eine Integration für Jira), dann sollten wir ihnen helfen, indem wir ebenfalls mit Jira arbeiten. Keiner lernt gerne ein neues Projektmanagement-Tool! Sobald unsere Hypothesen für den zuständigen Ingenieur fertig sind, erstellen wir ein Issue in seinem eigenen Jira-Board, das mit dem Programmmanagement verlinkt ist und weitere Details darüber enthält, was wir tun und warum. Bei Optimizely verwenden wir sowohl das Programm-Management als auch Jira, da das Programm-Management alle Informationen über die Konfiguration des Experiments enthält, wie z.B. Hypothesen, Metriken, Visualisierungen, während sich Jira auf das konzentriert, was von unserem Ingenieurteam erstellt werden muss. All diese Aktionen, die in diesen Bereichen stattfinden, lassen sich noch schneller skalieren, wenn Sie Ihren Teammitgliedern eine einheitliche Dokumentation an die Hand geben. Diese Konsistenz stellt sicher, dass die Durchführung von Experimenten den Standards entspricht, die Sie als Programmmanager festgelegt haben!

Wie kann ich Daten nutzen, um zu verstehen, wo meine Zeit am dringendsten benötigt wird?

Der am meisten übersehene Teil der Durchführung eines Experimentierprogramms sind die Daten. Nein, nicht die Daten darüber, wie viele Conversions oder Leads Sie generiert haben. Ich spreche von den Daten, die entstehen, wenn Sie ein Experiment starten, und davon, wie diese Daten die Art von Experimenten beeinflussen, die Sie in Zukunft durchführen, wenn Sie mehr über Ihre Kunden erfahren. Denken Sie darüber nach, wie viel Sie über dieses Experiment wissen:

• Wie lange es lief
• Auf welche Seiten oder Zielgruppen es ausgerichtet war
• Wie viele Variationen Sie verwendet haben
• Welche Art von Änderung(en) Sie vorgenommen haben
• An welchen Kennzahlen wurde es gemessen
• Welche Metrik(en) statistisch signifikant war(en)
• Welche Phase des Experiments am längsten gedauert hat, um es zu starten

Sie sollten diese Datenpunkte für alle Ihre Experimente verwenden, um zu verstehen, welche Methoden Ihrem Programm helfen und welche nicht. Dies sind die Kennzahlen, die ich jedem Kunden empfehle, vom ersten Tag an zu verfolgen, um sich für diese Art von Analyse zu rüsten.

Wenn Sie wüssten, dass Sie mit gezielteren Experimenten Ihre Gewinnrate erhöhen können, würden Sie vermutlich mehr gezielte Experimente durchführen. Wenn Sie wüssten, dass die Durchführung von Experimenten durch die Qualitätssicherung 50% Ihrer Durchlaufzeit ausmacht, würden Sie Ihre QS-Schritte evaluieren und sich für deren Rationalisierung einsetzen. Analysieren Sie die Geschäftsabläufe Ihres Programms!

Was machen reife Programme anders?

Wenn mir diese Frage gestellt wird, spreche ich darüber, wie die Programme, die Hunderte von Experimenten pro Jahr durchführen, die Daten über sich selbst nutzen, um herauszufinden, was sie besser machen sollten (jetzt wissen Sie, warum dieser spezielle Teil einen eigenen Abschnitt erhalten hat). Aber es gibt auch noch andere Dinge, auf die Sie sich konzentrieren sollten! Diese sind vielleicht einfacher zu erreichen als eine ganze Reihe von Kennzahlen, die Sie verfolgen können, vor allem, wenn Sie noch am Anfang Ihrer Reise stehen und nur ein paar Experimente pro Monat durchführen. Dies sind andere Schwerpunktbereiche für reife Programme, die Sie heute in Ihr eigenes Programm einbauen könnten:

• Unterstützung durch die Geschäftsleitung - Dies geschieht nicht über Nacht, es sei denn, Sie haben Glück. Normalerweise braucht es dazu eine "beweise es oder verliere es" Geschichte. Ein starkes Programm nutzt Daten, um die Auswirkungen auf das Geschäft zu messen und eine Führungskraft an ihr Programm zu binden. Diese Führungskraft hilft bei der Bereitstellung von Ressourcen, der Festlegung einer Charta und der Überwindung anderer Hindernisse auf dem Weg dorthin.
• Richtlinien für Experimente - Ich habe bereits in einem früheren Blog darüber geschrieben, aber eine Herausforderung bei der Skalierung der Anzahl Ihrer Experimente ist, dass viele Menschen den Erfolg von Experimenten unterschiedlich bewerten. Wenn Sie einen Konsens darüber schaffen, wie Sie die Ergebnisse von Experimenten für alle Ihre Metriken analysieren, verkürzt sich die Zeit bis zur Entscheidungsfindung. Eine gute Richtlinie für den Anfang ist, wie Sie Entscheidungen zwischen Ihrer primären und sekundären Kennzahl treffen. Wenn Sie eine statistisch signifikante Steigerung Ihrer Klickrate haben, ist das dann gut genug, wenn die Conversion Rate statistisch nicht signifikant ist? Die Festlegung dieser Richtlinien hilft Ihren Teams, schneller zu handeln.
• Schulungsprogramm - Der obige Punkt ist ein einzelnes Merkmal der Skalierungsherausforderung "Jeder macht die Dinge anders." Um das meiste aus dem Experimentieren herauszuholen, müssen Sie in Ihrem Programm einige einheitliche Praktiken anwenden. Nicht nur, wie Sie Analysen durchführen, sondern auch, wie Sie eine Hypothese aufstellen. Wie nutzen Sie Ihre Daten, um diese aufzustellen? Wie nutzen Sie die Daten Dritter für Ihr Targeting? Diese und so viele andere Fragen können in einem Schulungsprogramm beantwortet werden. Tolle Programme reichen von ein paar Sitzungen bis hin zu einem zweiwöchigen "Kurs", in dem Ihren Mitarbeitern alles über das Experimentieren vermittelt wird. Wenn Sie können, würde ich dies zum Bestandteil der Einarbeitung machen. Mit der Academy von Optimizely ist der Einstieg in dieses Thema ganz einfach! Achten Sie darauf, all diese Praktiken zu dokumentieren, damit sie im gesamten Unternehmen leicht weitergegeben werden können, auch wenn sie nicht Teil des Lehrplans Ihres Schulungsprogramms sind - Ihr zukünftiges Ich wird es Ihnen danken.
• OKRs - Sobald das Experimentieren zu einem Schwerpunkt in Ihrem Unternehmen geworden ist, sollten Sie sich gegenseitig daran messen. Unser eigener Programmmanager hat darüber geschrieben, wie wichtig dies ist, um unsere Product Manager zu ermutigen, aktiver am Experimentieren teilzunehmen. Dieser Aspekt Ihres Programms kann gut mit der Messung auf Programmebene kombiniert werden. Wenn Sie Ihr Programm anhand der Anzahl der gestarteten Experimente und der Anzahl der durchgeführten Variationen messen, können Sie jede Person auch anhand dieser Praktiken messen! Stellen Sie sicher, dass Sie sich Zeit nehmen, um sich gegenseitig auszutauschen, damit Sie beurteilen können, welche OKR-Maßnahmen den Gesamterfolg des Programms wirklich beeinflussen.

Was sind also die Schlussfolgerungen?

Ich habe Ihnen viel darüber erzählt, wie Sie Silos auflösen und ein kollaboratives Programm erstellen können. Aber worauf können Sie sich morgen (oder nächste Woche!) wirklich konzentrieren?

• Stellen Sie sicher, dass Sie einen Programmmanager und Schlüsselrollen in allen Teams besetzen. Kein Programm zum Experimentieren hat Erfolg ohne jemanden, der mindestens 50% seiner Rolle dem Programm widmet. Es gibt zu viele Katzen zu hüten. Stellen Sie den Teams Ihr Workflow-RACI zur Verfügung, damit sie wissen, wie sie ein Experiment von Anfang bis Ende durchführen können. Beginnen Sie damit, den ROI des Programms zu messen, wenn es Lücken in den Ressourcen gibt, um die Sie kämpfen müssen.
• Bringen Sie die Menschen auf die Art und Weise zusammen, wie sie jetzt zusammenkommen. Sie müssen das Rad nicht neu erfinden oder, wie in diesem Fall, neue Prozesse einführen. Wenn Sie Slack und JIRA bereits als Workflow-Tools nutzen, verwenden Sie diese. Sie werden auch dieses Meeting brauchen!
• Messen Sie Ihr Programm auf Ineffizienzen, damit Sie wissen, wo Sie als Programmmanager Zeit investieren müssen. Im ersten Monat oder sogar im ersten Jahr müssen Sie noch nichts unternehmen. Aber irgendwann werden Ihnen diese Daten helfen, eine Frage zu beantworten, mit der Sie nicht gerechnet haben.