Was kommt als Nächstes? Schritte zur Priorisierung Ihres Backlogs für Experimente

In meiner Erfahrung mit Unternehmen, die ihre Testprogramme von Grund auf neu aufbauen, sowie bei der Optimierung reiferer Programme habe ich immer wieder die Vorteile einer strengen Priorisierung gesehen. Die Priorisierung hilft nicht nur dabei, eine Vielzahl von Ideen in einen umsetzbaren Plan umzuwandeln, sondern sie macht das gesamte Unternehmen klüger, indem sie das Testteam zwingt, gründlich über die Faktoren nachzudenken, die eine Optimierungspraxis erfolgreich machen.

Auf der Grundlage meiner Erfahrungen in der Zusammenarbeit mit Optimizely-Kunden möchte ich Ihnen drei wichtige Schritte vorstellen, die Sie befolgen sollten, um die Priorisierung in Ihre Optimierungsstrategie zu integrieren.

Schritt 1: Erstellen Sie eine Hypothesenbibliothek

Bevor Sie Prioritäten setzen können, welches Experiment als nächstes durchgeführt werden soll, benötigen Sie Hypothesen - Vorhersagen, die Sie vor der Durchführung eines Experiments erstellen. Brainstorming-Sitzungen sind eine gute Möglichkeit, viele Hypothesen zu erstellen.

Ein Hinweis zu großartigen Brainstorming-Sitzungen: Sie sind von Natur aus freilaufende, gestikulierende und Whiteboard-intensive Aktivitäten. Sie sind multidisziplinär. Sie sind phantasievoll. Wenn Sie ein Brainstorming verlassen, sollten Sie das Gefühl haben, dass Sie mehr Ideen für Hypothesen haben, als Sie im ganzen Jahr umsetzen können! Je mehr Ideen, desto besser. (Ein ausführlicher Blog-Beitrag darüber, wie Sie ein großartiges Brainstorming für Testideen leiten, folgt in Kürze).

Sobald Sie Ideen haben, sollten Sie diese an einem Ort zusammenfassen, um Prioritäten setzen zu können. Nennen Sie dies Ihr Repository, Backlog, Ihre Bibliothek - es ist der Ort, an dem Ihre Ideen für Experimente gesammelt werden.

Die Tools, die meine Kunden für ihre Backlogs verwenden, sind:

• Trello
  • Vorteile: Sehr einfache, gemeinsam nutzbare, visuelle Methode zur Verwaltung von Tests in verschiedenen Entwicklungsstadien.
  • Nachteile: Ich bin mit Trello weniger vertraut, aber von dem, was ich gesehen habe, scheint es natürlich weniger robust zu sein und könnte besser für die 'pro-Test'-Dokumentation geeignet sein als für die Dokumentation auf Programmebene.
• JIRA
  • Vorteile: Robustes, konfigurierbares System, das direkt mit dem Entwicklungsteam verbunden ist. Hervorragend geeignet für die Verwaltung von Testeinsendungen, verfügt über einige integrierte Diagramme.
  • Nachteile: Nicht sehr benutzerfreundlich, kann für Nicht-Entwickler zusätzliche Reibungsverluste mit sich bringen. Außerdem kann es sein, dass Sie mit der Warteschlange kämpfen müssen, wenn Ihr Entwicklungsteam Tests als Tickets annimmt, die mit anderen Arbeiten konkurrieren.
• Asana
  • Vorteile: Hervorragend geeignet für die Verwaltung von Aufgaben und Unteraufgaben, soziale Zuweisungsfunktionen.
  • Nachteile: Eignet sich am besten als soziales Aufgabenmanagement-Tool zusätzlich zu Ihrer eigentlichen Roadmap (so wie ich Basecamp und Trello kennengelernt habe) und ist nicht für anspruchsvolle Formeln oder Diagramme gedacht.

• Dokumente (gDoc, Word, usw.)
  • Vorteile: Sehr einfach, flexibel. Schnell zu erstellen.
  • Nachteile: Keine dynamischen Funktionen, nicht gut für die Aufgabenverwaltung; gut für die individuelle Testplanung.
• Tabellenkalkulation (Google, Microsoft)
  • Vorteile:; äußerst flexibel, dynamische Funktionen, integrierte Diagramme; die de facto Wahl für die meisten Fachleute.
  • Nachteile: Erfordert möglicherweise mehr Überlegung und Aufwand bei der Einrichtung, erfordert Wartung und Kontrollen für die gemeinsame Nutzung; Desktop-basierte Versionen lassen sich nicht einfach gemeinsam nutzen.
• Basecamp
  • Vorteile: Einfach, sozial. Boards sind gut geeignet für eine große Anzahl von Elementen. Ich liebe die Benutzerfreundlichkeit.
  • Nachteile: Wie Trello kann Basecamp für einzelne Tests gut sein, aber es fehlt die Tiefe der Diagramm- oder Berechnungsfunktionen für anspruchsvollere Systeme.

• ...oder ein großartiges Projektmanagement-Tool, von dem ich vielleicht noch nichts gehört habe. Was benutzt Ihr Team?

Die erste Person, die in den Kommentaren eine benutzerdefinierte Anwendung zur Verwaltung von Tests vorstellt, gewinnt ein Optimizely T-Shirt!

Sobald Sie Ideen für Experimente in Ihrem Backlog haben, stellt sich die Frage: Wie priorisieren Sie, welche Sie in Angriff nehmen und welche Sie auf den Tisch legen? Wir brauchen einige Kriterien.

Schritt 2: Legen Sie Kriterien für die Priorisierung fest

Dies ist der eigentliche Kern des Priorisierungsprozesses. Hier stecken Sie eine Fahne in den Sand und sagen: "Dies sind die Faktoren, die unserer Meinung nach diesen Test zu einem wertvollen Zeitvertreib machen - besser als die anderen Tests, die wir geduldig an der Seitenlinie stehen lassen."

Die grundlegendste Theorie der Priorisierung ist der Versuch, Kriterien festzulegen, die den Return on Investment (ROI) eines Tests widerspiegeln.

Der ROI ist, ganz einfach ausgedrückt, das Verhältnis zwischen den Kosten für etwas (die Investition) und den erwarteten Einnahmen/Konversionen/generierten Leads/Downloads/Videoaufrufen/aufgerufenen Seiten/Artikeln (der Ertrag) dieses Etwas.

Berechnen Sie den ROI für Tests, indem Sie diese Fragen durchdenken:

1. Schätzen Sie den Aufwand (die Kosten) für den Test. Sobald Sie die grundlegenden Schritte hinter sich gebracht haben, um zu lernen, wie Ihr Testtool funktioniert und welche Funktionen Ihr Team hat, können Sie ein grundlegendes Gefühl für den Aufwand bekommen, der mit der Durchführung einer Sache verbunden ist. Berücksichtigen Sie diese Kriterien:
   • Anzahl der Stunden für den Entwurf und die Entwicklung von Tests. Sie können die relativen Kosten für die Zeit der verschiedenen Teammitglieder recht genau einschätzen.
   • Umfang der Tests, die Ihr Produktionsteam bewältigen kann (sollte). Wie entwerfen wir angesichts der Bandbreite unsere Tests, um so viele Tests wie möglich durchzuführen? Ein höheres Testvolumen führt im Allgemeinen zu einem größeren Gesamterfolg.
   • Abwägen zwischen dem Auswerfen eines breiten Netzes von einfachen Tests, bei denen die Früchte am tiefsten hängen, und komplizierteren Tests, die möglicherweise grundlegendere Auswirkungen auf das Erlebnis der Site haben. Beides ist wichtig. Optimalerweise führen Sie eine gleitende Skalierung von Experimenten durch, die von einer hohen Anzahl einfacher Tests bis zu einer geringeren Anzahl komplizierter Tests reicht.
2. Schätzen Sie die Auswirkungen (den Wert), die der Test haben wird. Dies ist viel schwieriger zu bestimmen, vor allem für Teams, die noch keine Erfahrung mit Tests haben. Berücksichtigen Sie diese Kriterien:
   • Wird bei diesem Test ein bekanntes U/X-Optimierungskonzeptangewandt , z.B. die Beseitigung von Ablenkungen im Checkout? Das ist ein gutes Zeichen!
   • Spricht dieser Test einen KPI an? Geben Sie Tests den Vorrang, die so konzipiert sind, dass sie sich direkt auf Ihr Endergebnis auswirken.
   • Findet dieser Test in einem Ihrer kritischen Abläufe statt? Während eine umfassende Experience-Optimierung jeden Aspekt des Kundenerlebnisses berücksichtigt, sind nicht alle Seiten oder App-Ansichten gleich. Tests auf den am stärksten frequentierten Seiten und den wichtigsten Conversion-Strömen sind von Natur aus wirkungsvoller.
   • Erforscht dieser Test die Messaging-Strategie? Das Experimentieren mit Texten und Botschaften ist sehr wertvoll, weil Sie es auf andere Bereiche Ihres Marketings anwenden können.
   • Ändert der Test mehr als ein Element auf einer Seite? Oder konzentriert sich der Test auf ein einziges Element, wie eine Schaltfläche oder eine Überschrift? Tests mit einzelnen Elementen sind natürlich weniger wirkungsvoll und können mehr Traffic erfordern. Das heißt nicht, dass diese Tests nicht durchgeführt werden sollten, sie sollten nur richtig abgewogen werden.
   • Wie stark unterscheiden sich unsere Variationen vom Original? Wenn wir die Farben von Schaltflächen im Vergleich zu einer blauen Kontrollfarbe testen, testen wir dann mehr Blautöne oder versuchen wir es mit Neongelb? Der Grad des Unterschieds bestimmt oft den Grad des Effekts, den Sie sehen können.

Wie einige der großartigen Testprofis in unserer Community bereits erörtert haben, gibt es auch kompliziertere Ansätze zur Festlegung von Kriterien für die Testpriorisierung.

Denken Sie daran... Wenn Sie Kriterien festlegen, sollten Sie sich darüber im Klaren sein, dass es Dinge gibt, die Sie nie mit Sicherheit wissen werden (schließlich handelt es sich um Experimentieren). Viele Dinge werden erst dann klar, wenn Ihr Team beginnt, ein kollektives Testgedächtnis aufzubauen - ein weiteres großartiges Ergebnis der Verwendung eines zentralen Test-Repository-Tools! Ihre Ergebnisse sollten aufgezeichnet und gespeichert werden, damit Sie daraus lernen können! Probieren Sie es aus und optimieren Sie Ihren Ansatz wie Ihre Site, mit Hilfe von Daten und Iteration.

Wenn Sie Anfänger oder neu im Testen sind, empfehle ich Ihnen, Tests mit geringem Aufwand gegenüber hochwertigen Tests den Vorrang zu geben. Einfachere Tests - wie das Austauschen eines Bildes oder das Ändern einer Call-to-Action (CTA)- helfen Ihnen, den Prozess zu erlernen und den wahrgenommenen Wert von Tests im weiteren Verlauf besser einzuschätzen.

Und schließlich gibt es immer noch andere Überlegungen, wie z.B.:

• Aktualität. Bestimmte Tests müssen eine Medienkampagne oder eine Neugestaltung der Website unterstützen. Nehmen Sie Rücksicht auf die übrigen Anforderungen des Unternehmens an Ihre Sites und Apps.
• Was Ihr Chef Ihnen sagt: Abgesehen von allen HIPPO-Witzen sind Chefs dazu da, die übergeordnete Strategie Ihres Unternehmens zu vermitteln. Wenn Ihr Chef sagt, dass Sie einen relativen Schwerpunkt auf mobile Webtests legen müssen, und Sie dies noch nicht in Betracht gezogen haben, ist es wahrscheinlich eine gute Idee, einige mobile Tests in der Warteschlange höher zu priorisieren. (Abgesehen davon wird es Ihnen sicherlich leichter fallen, die Zustimmung des Managements zu gewinnen, wenn Sie erst einmal ein gutes Priorisierungsschema erstellt und sozialisiert haben - wer würde es nicht begrüßen, wenn sein Team mit intelligenten, bewährten Ansätzen an den Tisch käme!)

Schritt 3: Planen, verpflichten und ausführen

Sobald Sie Ihre Tests nach einem ungefähren ROI eingestuft haben, müssen Sie sie nur noch planen, erstellen und durchführen. Sie müssen die Zustimmung Ihrer Kunden einholen, Dokumentationen und Messpläne für die einzelnen Experimente erstellen und GANTT-Diagramme oder andere großartige Tools verwenden, um Ihre Priorisierung in einen tatsächlichen Projektplan zu übertragen.

Achten Sie darauf, dass Sie den Kriterien, die Sie zuvor festgelegt haben, treu bleiben. Beziehen Sie sich auf Ihre Logik, wenn Sie die Ergebnisse analysieren und darüber berichten. Wenn Sie Ihre Teststrategie mit einem soliden Priorisierungsrahmen ausstatten, werden Sie eine größere Wirkung der von Ihnen ausgewählten Tests feststellen. Sie werden schlauer bei der Iteration sein. Und Sie werden in der Lage sein, die Tests abzulehnen, die Ihre Zeit nicht wert sind.