Wie Sie A/B-Tests effektiver durchführen können: Eine Optichat-Rekapitulation

Anstelle von einmaligen Ideen müssen wir uns mit skalierbaren Strategien für das Brainstorming und die Durchführung effektiver A/B-Tests mit soliden Hypothesen ausstatten. Hiten Shah, Gründer von CrazyEgg, Co-Founder von KISSMetrics, Kurator von SaaS Weekly und Autor von hitenism.com nahm an #optichat teil, um über Taktiken für die Durchführung effektiver A/B-Tests zu diskutieren.

Hier finden Sie eine Zusammenfassung der Fragen, Antworten von Hiten und der #optichat-Community.

Was sind die Merkmale einer guten Idee für A/B-Tests?

Von Hiten:

A1: Gute A/B-Tests sind gut recherchiert, haben eine klare Hypothese und werden vorher und nachher dokumentiert. #optichat

- Hiten Shah (@hnshah) Dezember 1, 2015

• Achten Sie beim A/B-Testing darauf, dass Sie die Experimente vorher und nachher dokumentieren. So können Sie schneller experimentieren und wachsen.
• Eine A/B-Testing-Hypothese ist eine fundierte Vermutung, die auf Daten aus dem Nutzerverhalten, der Forschung und früheren Experimenten beruht.
• Wenn Sie A/B-Tests durchführen, stellen Sie sicher, dass Sie sich auf die richtigen Dinge konzentrieren.

Von der Community:

• Wenn Sie sich fragen, "was wir als nächstes testen sollen", haben Sie keine Ahnung, was Sie tun. Machen Sie Conversion-Forschung! -@peeplaja
• Forschungsbasierte Hypothese. Jeder Test sollte eine Frage beantworten. -@MikeStLaurentWF
• Legen Sie den Grundstein für ein paar gründlich recherchierte A/B-Tests. Tests ziehen Tests nach sich, so dass die Strategie oft zum Dominoeffekt wird -@KMRivard

Hilfreiche Artikel:

• Wie Sie mit Hilfe von Daten auf ConversionXLmehr erfolgreiche Tests entwickeln können

Alle Antworten auf Frage 1 finden Sie hier.

Warum ist es wichtig, Zeit in die Erforschung von A/B-Tests zu investieren?

Von Hiten:

• Sie werden Ihr langfristiges Wachstum stark einschränken, wenn Sie bei der Entwicklung von Ideen für A/B-Tests keine Forschung betreiben.
• Forschung hilft Ihnen, sich auf die Entwicklung besserer Experimente zu konzentrieren, die mit größerer Wahrscheinlichkeit Ihren Trichter verbessern und die Reibung zwischen den Nutzern verringern.

A2: Forschung ermöglicht es Ihnen, aus einer langen Liste potenzieller Tests eine kürzere Liste mit hochwirksamen Tests zu erstellen #optichat

- Samantha Sawyer (@SamanthaSawyer) Dezember 1, 2015

Aus der Community:

• Es ist wichtig, Ihre A/B-Tests zu untersuchen, denn das erhöht die Erfolgschancen. Zu viel Misserfolg tötet die Unterstützung der Organisation. -@seanellis
• Ich führe ein Protokoll über alle Tests - was wir getestet haben, was wir gelernt haben, wie lange die Tests liefen, warum sie unserer Meinung nach funktionierten/nicht funktionierten, usw. -@Beymour
• Forschung hilft mir dabei, das Rad nicht neu zu erfinden und mich auf Experimente zu konzentrieren, die die Nadel bewegen werden. -@bl_bennett12
• Forschung hilft Ihnen, das globale Maximum zu finden und das lokale Maximum zu überwinden. -@JenPwns
• Forschung bringt Ihr Optimierungsprogramm weg von der Meinung und hin zum Einfühlungsvermögen. -@avramescu

Alle Antworten auf Frage 2 finden Sie hier.

Was sind die wichtigsten Datenquellen, die Sie bei der Forschung zu A/B-Tests verwenden?

Von Hiten:

A3: Für die A/B-Testing-Forschung gibt es 3 Hauptquellen für Daten: 1. Qualitativ 2. Quantitativ 3. Ihre bisherige Erfahrung mit Experimenten #optichat

- Hiten Shah (@hnshah) Dezember 1, 2015

• Quantitative Daten stammen meist aus Marketingkanälen, Trichtern, Retentionskohorten und Produktnutzungsdaten
• Qualitative Daten können aus Umfragen, Interviews, Nutzerforschung und anderen Methoden stammen, um zu verstehen, warum Nutzer tun, was sie tun.
• Wenn Sie durch A/B-Testing Wachstum erzielen möchten, müssen Sie das Wissen aus den Köpfen der Mitarbeiter holen und es dokumentieren.

Aus der Community:

A3: ohne Zweifel @usertesting für Kundeneinblicke, @CrazyEgg für Heatmaps und @Optimizely für #abtesting #optichat

- Leah O'Callaghan (@laocal) Dezember 1, 2015

• Wir erhalten viele Ideen für Tests, wenn wir mit den Nicht-Web-/Technikern in unserem Büro sprechen. Was sind ihre UX-Schmerzpunkte? -@lmaaa
• Stimme des Kunden, Analytik, Heuristik, Eye Tracking, Click Tracking, Verweildauer auf der Site, usw. -@FormosaChris
• Branchenstandards - Blog-Ideen, branchenübliche Conversion Rates, Sites der Konkurrenz - können Ihre Datenquellen ebenfalls abrunden -@herartofseeds
• Vergessen Sie auch nicht, dass die Ergebnisse von A/B-Tests Einfluss darauf haben können und SOLLEN, was Sie als nächstes testen -@BryantGarvin

Wozu sind Heatmaps gut, außer dass sie schön sind?

Von Hiten:

• Heatmaps helfen Ihnen, Ihre Website zu verbessern, indem sie Sie darüber informieren, welche Seitenelemente Sie beim A/B-Testing hinzufügen, entfernen oder verschieben können.
• Heatmaps helfen beim A/B-Testing, weil sie Ihnen genau zeigen, wo die Besucher klicken und wo nicht.
• Heatmaps können ein sehr nützliches Tool sein, um zu verstehen, was die Besucher auf Ihrer Website tun

Aus der Community:

A4: Heatmaps sind ideal für mobiles responsives Design. Jede Plattform hat andere Funktionen und Designanforderungen. #optichat

- Laura J Cryst (@LJCryst) Dezember 1, 2015

• Wenn Sie Heatmaps für Ihre Recherche verwenden, denken Sie daran, nicht nur Ihre Desktop Heatmap zu betrachten, sondern auch Mobile und Tablet -@idowebid
• Heatmaps zeigen die Lücke zwischen dem, was Sie entworfen haben, und dem, was die Nutzer tun. -@MRSallee
• Auf welche Elemente Ihrer Seite achten die Benutzer? Leiten Sie sie auf ihrer Reise oder verirren sie sich? -@milwaukeePPC
• Behandeln Sie Heatmaps wie eine Analysequelle. Sie können jede Seite als einen Schritt im Trichter betrachten, um Reibungspunkte und Engpässe zu identifizieren. -@avramescu

Alle Antworten auf Frage 4 finden Sie hier.

Welche Möglichkeiten gibt es, Prioritäten zu setzen und Ihre Testideen zu verfolgen?

Von Hiten:

A5: Flexible Workflow-Tools werden von Unternehmen häufig verwendet, um Tests zu verfolgen: @trello @basecamp @asana @quip und sogar @slackhq. #optichat

- Hiten Shah (@hnshah) Dezember 1, 2015

• Was auch immer Sie tun, wenn Sie einfach anfangen, Ihre Experimente zu dokumentieren, wird die Priorisierung viel einfacher
• Dieses Growth Canvas Tool wurde speziell für die Priorisierung und Nachverfolgung von A/B-Tests entwickelt.

Aus der Community:

A5: Für https://t.co/9fUA7AHRxP verwenden wir ICE score - Impact, Confidence and Ease mit einer Skalierung von 1-10 #optichat pic.twitter.com/TL1mMzI8Ke

- Sean Ellis (@SeanEllis) Dezember 1, 2015

• Wir verwenden in unserem Büro immer Mindmaps. Zuerst machen Sie ein Brainstorming, dann setzen Sie Prioritäten und gruppieren verwandte Ideen. -@egaal
• In meinem Leben gibt es eine Menge Excel... -@SamanthaSawyer
• Wir verwenden in unserem Büro immer Mind Maps. Zuerst machen Sie ein Brainstorming, dann setzen Sie Prioritäten und gruppieren verwandte Ideen. -@avramescu
• Ich mag @EffectiveExperi als Tool für die Priorisierung und Nachverfolgung von Testideen und die Archivierung der Ergebnisse sehr. -@granttilus
• Die Leute von @monkeychatter arbeiten an einem tollen Projektmanagement-Tool für A/B-Tests -@takeshiyoung

Hilfreiche Artikel:

• Testergebnisse archivieren: Wie effektive Organisationen es tun auf ConversionXL

• Priorisierung von Conversion Rate-Tests mit PIE auf dem WiderFunnel Blog

Alle Antworten auf Frage 5 finden Sie hier.

Wie denken Sie über die Gewinnrate? Ist dies eine Kennzahl, die A/B-Testing-Teams versuchen sollten, zu verbessern?

Von Hiten:

A6: Wenn Sie eine sehr hohe Erfolgsquote haben (4+ Tests von 10), sollten Sie mutigere / riskantere Tests in Erwägung ziehen. #optichat

- Hiten Shah (@hnshah) Dezember 1, 2015

• Wenn Sie eine sehr niedrige Gewinnrate haben (1 Test von 10 Gewinnern), sollten Sie Ihre Experimente mit mehr Forschung untermauern
• Ob ein Test gewinnt oder verliert, stellen Sie sicher, dass Sie daraus lernen und weiter testen. So erreichen Sie auf lange Sicht eine höhere Erfolgsquote.

Aus der Community:

A6: Ja! Sie brauchen 3 Messgrößen: 1) Anzahl der durchgeführten Tests (pro Jahr) 2) % der erfolgreichen Tests 3) Uplift pro erfolgreichem Experiment #optichat

- Peep Laja (@peeplaja) Dezember 1, 2015

A6: Ein paar frühe Erfolge können helfen, die Akzeptanz der Organisation zu erhöhen, aber es ist wichtig, die langfristigen Kennzahlen im Auge zu behalten. #optichat

- Yeesheen (@heartofseeds) December 1, 2015

• Seien Sie vorsichtig, wenn Sie Anreize für A/B-Testing-Gewinnraten bieten. Wir neigen dazu, Metriken zu vergessen, die auch nicht untergehen sollten -@davidjbland
• NEIN! Es geht um Erkenntnisse. Sie nehmen das, was Sie gelernt haben, ändern Ihren Ansatz und legen wieder los. Wachstum gibt es nicht an Tag 1! -@AswinKumar
• Verlierer können Sie auch davor bewahren, kostspielige Wege zu beschreiten. "Sind Sie nicht froh, dass Sie das zuerst getestet haben?" -@avramescu
• Es ist schwer, eine hohe Gewinnquote aufrechtzuerhalten, aber mein Team gewinnt bei unseren Tests im Durchschnitt etwa 50%. #optichat Vielleicht sind wir zu konservativ! -@seanellis

Alle Antworten auf Frage 6 finden Sie hier.

Welches A/B-Testing-Klischee würden Sie entlarven?

Von Hiten:

• Beim Testen geht es nicht nur um all die Taktiken, die Sie gelesen haben. Sie müssen sie tatsächlich selbst testen!
• All die Taktiken, über die Sie gelesen haben, bringen Ihnen kein Wachstum ohne ein System, mit dem Sie experimentieren und von Ihren eigenen Benutzern lernen können.

Aus der Community:

@Optimizely A7: Kopieren Sie nicht immer Amazon. Wenn es bei jemand anderem funktioniert, heißt das noch lange nicht, dass es auch bei Ihnen funktioniert! #optichat

- Michael St Laurent (@MikeStLaurentWF) Dezember 1, 2015

• Testen um des Testens willen. Nur weil Sie etwas ein- oder ausschalten können, heißt das noch lange nicht, dass Sie auch Ergebnisse erzielen. -@altos
• "Ich habe nicht genug Zeit zum Testen." #Ausreden -@lmaaa
• Der große orangefarbene Knopf ist immer ein Gewinner -@ohdubz
• Entlarven Sie "Jeder sollte testen und immer testen". Nur wenn Sie das Volumen haben -@CherryManrao

Alle Antworten auf Frage 7 finden Sie hier.

Wie können Sie Ihr Unternehmen davon überzeugen, im Jahr 2016 mehr zu experimentieren?

Von Hiten:

A8: Wenn Sie nicht experimentieren, laufen Sie Gefahr, dass ein Konkurrent schneller lernt als Sie! #optichat

- Hiten Shah (@hnshah) Dezember 1, 2015

• In einer Welt voller Konkurrenz liegt Ihr größter Vorteil darin, dass Sie Ihre Kunden besser verstehen als alle anderen
• Schauen Sie sich in Ihrem Unternehmen um. Wenn Ihre Mitarbeiter Entscheidungen treffen, die ihnen wie Vermutungen vorkommen, ist es an der Zeit, mit Experimenten zu beginnen.
• Durch kontinuierliches Testen lernen Sie, wie Sie die Probleme Ihrer Kunden lösen können, wenn sie auftauchen, statt wie die Konkurrenz Lösungen zu entwickeln

Aus der Community:

A8: Fangen Sie an, Wörter wie Hypothese & Hypothese im täglichen Sprachgebrauch im Büro zu verwenden, um die Leute daran zu gewöhnen #optichat

- Cara Harshman (@CaraHarshman) Dezember 1, 2015

• Sagen Sie den Leuten immer wieder, dass "es nur ein Experiment ist" und nicht eine Entscheidung für das eine oder andere -@caraharshman
• Wenn Sie nicht testen, verlassen Sie sich auf Ihr Bauchgefühl -@bhas
• Dokumentieren Sie einen strengen Prozess, beginnen Sie mit kleinen Erfolgen, bauen Sie eine Kultur der Testideen auf -@JoshRodriguez
• Beantworten Sie jeden einzelnen Kommentar mit "Das sollten Sie testen" Niemand kennt die Auswirkungen von irgendetwas ohne Tests -@MikeStLaurentWF
• Ich beginne gerne mit einer Liste von Dingen, die behoben werden müssen - mit unterstützenden @usertesting Beweisen. Das bringt Schwung in die Sache -@seanellis

Alle Antworten auf Frage 8 finden Sie hier.