Kyle Rush über Optimizely, Testen und Obama [Teil Eins]

Wie war Ihr Verhältnis zu A/B-Testing? Haben Sie vor Ihrer Teilnahme an der Obama-Kampagne bereits Tests durchgeführt?

Vor der Kampagne habe ich bei Blue State Digital gearbeitet, wo ich mit A/B-Testing vertraut wurde. Ich hatte dort ein paar Tests mit Kunden durchgeführt, was für mich sehr interessant war. Ich glaube, das hat mein Interesse an A/B-Tests geweckt. Als ich zu der Kampagne kam, hatten wir so viel Traffic, dass man im Grunde alles testen konnte, was man wollte, wie auch immer man es machen wollte.

Wie war das digitale Team der Kampagne strukturiert? Wie viele Mitarbeiter waren tatsächlich täglich mit den Tests beschäftigt?

Insgesamt bestand das digitale Team aus etwa 165 Personen. Ich war Teil des 20-köpfigen Frontend-Engineering-Teams. Es gab ein Analyseteam, ein E-Mail-Team, ein Blog-Team, ein Videoteam und ein Optimierungsteam, das sich aus Mitgliedern der einzelnen digitalen Teams zusammensetzte. Wir setzten A/B-Testing bei fast allen Inhalten des Teams ein. Das Frontend-Engineering-Team kümmerte sich im Grunde genommen um die Implementierung der meisten A/B-Tests, weil dafür einige Kenntnisse in JavaScript erforderlich waren. Das Tolle an Optimizely ist, dass es so einfach zu bedienen ist, dass auch die nicht-technischen Mitarbeiter des Analyseteams es nutzen konnten. Nach ein paar Stunden, in denen wir ihnen etwas über JavaScript beigebracht hatten, konnten sie ihre eigenen Copy-Tests in Optimizely schreiben. Das war für uns sehr wichtig, denn so konnten wir uns auf größere Tests konzentrieren.

Wie haben die Erkenntnisse und Ergebnisse der Tests, die Dan Siroker bei der Obama-Kampagne 2008 durchgeführt hat, Ihre Arbeit im Jahr 2012 beeinflusst?

Rush begrüßt den President.

Ich denke, die wichtigste Lektion, die wir aus 2008 gelernt haben, war, wie wichtig A/B-Testing ist und wie intensiv wir das Programm betreiben müssen. Ich interessiere mich sehr für Obama und die digitale Welt, deshalb verfolge ich den Wahlkampf seit 2008. Ich erinnere mich noch genau an den Blogbeitrag von Siroker über die Homepage-Tests und die enormen Summen, die dadurch aufgebracht wurden. Wenn wir diese Informationen aus dem Jahr 2008 nicht gehabt hätten, hätten wir möglicherweise nicht gewusst, wie wichtig A/B-Tests sind.

Wir wissen, dass Sie etwa 500 A/B-Tests auf der Website der Kampagne durchgeführt haben. Wie umfangreich waren diese Tests auf der gesamten Site?

Es gab eigentlich keine längere Zeitspanne, in der wir nicht einen A/B-Test auf einer Seite durchgeführt haben. Etwa in der Mitte der Kampagne mussten wir unseren Vorgesetzten einige strategische Ziele für A/B-Tests vorlegen. A/A-Testing-Tools sind so demütigend, dass es sehr schwierig ist, etwas zu sagen wie: "Unser Ziel ist es, die Conversions bis zu diesem Datum um 50% zu steigern." Sie wissen es einfach nicht. Eines unserer strategischen Ziele war es daher, immer irgendwo auf der Site einen A/B-Test laufen zu lassen. Wir haben das später sogar in Unterabschnitte aufgeteilt.

Immer testen, so heißt es doch.

Ja, das stimmt. Es gibt wirklich keinen Grund, dies nicht zu tun. Einer der besten Tage mit hohem Besucheraufkommen war der Tag, an dem die Entscheidung des Obersten Gerichtshofs zu Obamacare fiel. Keiner von uns hatte je einen solchen Ansturm erlebt. Da wir immer eine Reihe von Tests für die Spendenseiten vorbereitet hatten, waren an diesem Tag fünf A/B-Tests einsatzbereit, als wir ins Büro kamen. Wir brauchten nur noch das Experiment in Optimizely zu starten und schon konnte es losgehen. Sobald die Entscheidung gefallen war, gab es einen regelrechten Ansturm von Besuchern. Normalerweise bräuchten wir mindestens ein paar Tage, um so viele A/B-Tests durchzugehen, um statistisch signifikante Ergebnisse zu erhalten, aber an diesem Tag geschah es in wenigen Minuten. Wir haben unsere gesamte Warteschlange durchgeblasen. Wir liefen zu einem der Entwickler, der an diesem Tag A/B-Tests durchführte, und fingen an, uns spontan Tests auszudenken - was immer uns einfiel, wir würden es testen. Und so änderten wir die Hintergrundfarbe des Spendenformulars in etwa 80 verschiedenen Varianten, was letztendlich keinen Unterschied machte. Ich bin sehr froh, dass wir schon früh erkannt haben, dass es sich nicht lohnt, die Hintergrundfarbe zu ändern.

Was sind die Erfolgsmethoden beim A/B-Testing, die Sie weitergeben würden?

Ich würde sagen, dass Sie den ROI (Return on Investment) nutzen sollten, um Ihre Tests zu priorisieren. Das ist eines der wichtigsten Dinge, die ich in meiner Karriere gelernt habe. Treffen Sie Entscheidungen über Ihre Tests auf der Grundlage Ihrer bisherigen Ergebnisse und dessen, was Sie von anderen im Internet erfahren haben. Bei der Kampagne hätten wir schon sehr früh damit beginnen können, das Design unserer Seiten stark zu verändern, aber das hat nicht den höchsten ROI gebracht. Wir haben herausgefunden, dass Sie das erst tun sollten, wenn Ihre Seite bereits super-optimiert ist.

Nummer zwei: Führen Sie immer einen A/B-Test durch. Wenn Sie es mit Ihren A/B-Tests wirklich ernst meinen, dann gibt es keinen Grund, warum Sie das nicht tun sollten. Es kann vorkommen, dass eine Variante in die Hose geht und die Conversion Rate senkt, aber Sie müssen bereit sein, dieses Risiko einzugehen.

Als drittes würde ich sagen, bleiben Sie bei soliden Hypothesen. Viele Leute, die sich zum ersten Mal mit A/B-Testing beschäftigen, wollen einfach alles ausprobieren, auch wenn es nicht von Vorteil ist. Es gab mehrere Fälle, in denen wir gebeten wurden, Dinge zu testen, die uns auf lange Sicht nichts sagen würden. Es war also sehr wichtig, einen wissenschaftlichen Ansatz zu verfolgen. Wir stellen eine Hypothese auf, die ganz klar definiert ist, und dann überlegen wir, wie uns die Hypothese helfen kann. Ich glaube, das macht die Ideen der Leute ein bisschen besser. Manchmal müssen Sie den Leuten allerdings erklären, was Wissenschaft ist und ihnen helfen zu verstehen, wie eine Hypothese funktioniert.

Eine Empfehlung von mir ist natürlich Optimizely. Ich weiß nicht, ob das eine Erfolgsmethode ist, aber Optimizely ist so gut darin, Ihren ROI zu verbessern, weil es so einfach zu bedienen ist. Ich weiß, dass ich mich wie ein Optimizely-Fanboy anhöre, aber wenn Sie als Entwickler mittendrin sind und einfach nur ein funktionierendes Tool brauchen, ist Optimizely genau das Richtige für Sie. Wir hätten viel Zeit damit verbringen können, unsere Architektur zu ändern, um sie an andere Tools und Bedürfnisse anzupassen, aber Optimizely hat es uns sehr leicht gemacht.