A/B-Testing für Websites mit geringem Traffic

Um statistisch signifikante Ergebnisse für A/B-Tests zu erhalten, ist eine Menge Traffic erforderlich. Websites mit hohem Traffic wie Google und Facebook sollten A/B-Tests durchführen, aber Websites mit geringem Traffic sollten sich nicht die Mühe machen. Wenn Sie ein Startup oder ein B2B-Unternehmen sind, sollten Sie sich lieber auf qualitatives Feedback und Intuition verlassen.

So lautet zumindest das Argument. Ich möchte jedoch eine andere Sichtweise anbieten. Ich bin der Meinung, dass Websites mit geringem Traffic A/B-Tests durchführen sollten, und zwar nicht nur, weil dies enorme kulturelle Vorteile mit sich bringt (z. B. die Demokratisierung der Entscheidungsfindung), sondern auch, weil A/B-Testing bei Sites mit geringem Traffic durchaus funktioniert.

Zunächst eine Geschichte: Im Jahr 2013 erwog Optimizely eine Änderung seiner Preisgestaltung. Im Rahmen unserer Recherchen führten wir Umfragen mit potenziellen und tatsächlichen Kunden durch, machten 1:1-Interviews und führten sogar Fokusgruppen durch. Wir haben das alles aufgezeichnet und ich habe mir das gesamte Material angesehen. In einer der Fokusgruppen händigt der Moderator den Teilnehmern eine Kopie unserer alten Preisseite aus. Einer der Teilnehmer sieht sich den Ausdruck an und sagt wütend: "Ich hasse das. Jedes Mal, wenn ich 'Kontakt zum Vertrieb' sehe, denke ich, dass ich über den Tisch gezogen werde, und deshalb werde ich nie auf diese Schaltfläche klicken."

Die Fokusgruppe brachte zwar keine nützlichen Informationen zur Preisgestaltung hervor, aber sie führte zu einer Testidee. Was würde passieren, wenn wir die Schaltfläche "Vertrieb kontaktieren" auf unserer Preisseite in "Demo vereinbaren" ändern würden? Da unser Vertriebsprozess damals so funktionierte, dass unser Vertriebsteam Ihnen beim ersten Anruf eine Demo vorstellte, war die Änderung der Sprache nicht unehrlich. Hier sind die Ergebnisse:

Klicks auf 'Vertrieb kontaktieren' vs. 'Demo vereinbaren' Ergebnisse

Wie Sie sehen können, konnten wir durch diese einfache Änderung der Sprache eine Verbesserung der Conversions um mehr als 300% feststellen (Personen, die Demos mit unserem Vertriebsteam vereinbart haben). Die Seite, auf der wir diesen Test durchführten, wurde im Durchschnitt 636 Mal pro Tag besucht und wir erhielten innerhalb einer Woche statistisch signifikante Ergebnisse.

Auch dieser Test ist kein Ausreißer. Hier sind die Ergebnisse eines anderen Tests, den wir vor kurzem mit unserem modalen Dialog zur Kontoerstellung durchgeführt haben. Als wir den Test durchführten, wurde das modale Dialogfeld etwa 133 Mal pro Tag besucht. Bei diesem Test haben wir die Felder Passwort eingeben und Passwort bestätigen entfernt und stattdessen die automatische Vergabe von Passwörtern gewählt, die die Benutzer zurücksetzen mussten, wenn sie Optimizely erneut aufsuchten:

Erfolgreich erstellte Konten

Trotz des geringen Traffics erzielten wir innerhalb einer Woche statistisch signifikante Ergebnisse, mit einer beobachteten Verbesserung von mehr als 18% für eines unserer wichtigsten Top-of-the-Trichter-Ziele.

Diese Ergebnisse sind nicht spezifisch für Optimizely, das Unternehmen oder die Optimizely Digital Experience Platform. Hier ist ein Test, den ich 2010 bei MuleSoft mit Google Website Optimizer durchgeführt habe, einem A/B-Testing-Produkt, das inzwischen durch Google Optimize ersetzt wurde. MuleSoft (eine Integrationsplattform) hatte zu dieser Zeit ein hohes Besucheraufkommen, aber die Seite, auf der dieser Test lief, wurde nur etwa 75 Mal pro Tag besucht. Beim A/B-Testing entfernte ich die Formularfelder für die Auswahl eines Bundeslandes und eines Landes und ersetzte sie durch GeoIP-Daten. In weniger als zwei Wochen erzielten wir statistisch signifikante Ergebnisse und beobachteten eine Verbesserung von mehr als 40%:

Ergebnisse eines A/B-Tests bei MuleSoft (nachgedruckt mit Genehmigung von MuleSoft)

Diese Tests haben die Nadel für die wichtigsten Geschäftskennzahlen bewegt: Demo-Anfragen, neue Konten, neue Leads. Es liegt auf der Hand, dass Startups und B2B-Unternehmen aussagekräftige und statistisch signifikante Ergebnisse auf Seiten mit geringem Traffic erzielen können. Der Schlüssel liegt darin, Dinge zu testen, die eine große Auswirkung haben. Testen Sie, bevor Sie verfeinern. Probieren Sie einen großen Unterschied aus, bevor Sie eine schrittweise Verbesserung vornehmen. Wählen Sie aussagekräftige Ziele und verkomplizieren Sie den Test nicht.

Es gibt eine Geschichte, in der Marissa Mayer 41 Blautöne für die Hyperlinks bei Google testet, um herauszufinden, welcher die höchste CTR hat. Es stimmt zwar, dass Websites mit geringem Traffic keine solchen Tests durchführen können, bei denen der Traffic auf viele Variationen aufgeteilt wird und der minimal nachweisbare Effekt winzig ist, aber es stimmt nicht, dass Websites mit geringem Traffic durch A/B-Testing keine echten Gewinne erzielen können. Sie können es - wie Sie an diesen Beispielen sehen können, funktioniert A/B-Testing auch bei Sites mit geringem Traffic!