Test

Am 21. Oktober 2010 besuchte Präsident Obama Palo Alto, um auf die gute alte Art und Weise Geld zu sammeln: bei einem Spenden-Dinner für 30.400 Dollar pro Teller. Diese altbewährte Methode der Geldbeschaffung ist eine großartige Möglichkeit, Geld zu sammeln, wenn Sie den Präsidenten der Vereinigten Staaten dazu bringen können, zum Abendessen zu erscheinen.

Aber wie können Sie Geld sammeln, wenn niemand von Ihnen gehört hat und Sie nur eine Website haben?

Damals, 2007, als Obama für die Nominierung kandidierte und in den Umfragen zweistellig zurücklag, war das so ziemlich alles, was wir hatten.

Das Experiment

Als Director Analytics für die Obama-Kampagne 2008 war es meine Aufgabe, Daten zu nutzen, um der Kampagne zu helfen, bessere Entscheidungen zu treffen. Wir begannen im Dezember 2007 mit einem einfachen Experiment.

Dieses Experiment lehrte uns, dass jeder Besucher unserer Website eine Chance ist und dass wir durch Website-Optimierung und A/B-Testing zig Millionen Dollar einnehmen können, wenn wir diese Chance nutzen.

Bei diesem Experiment wurden zwei Teile unserer Splash Page getestet: der Bereich "Medien" am oberen Rand und der Call-to-Action "Button".

Wir haben vier Schaltflächen und sechs verschiedene Medien (drei Bilder und drei Videos) ausprobiert. Wir haben Google Website Optimizer (jetzt Google Optimize) verwendet und dies als vollfaktoriellen multivariaten Test durchgeführt. Das ist nur eine schicke Umschreibung dafür, dass wir alle Kombinationen von Schaltflächen und Medien gleichzeitig gegeneinander getestet haben.

Da wir über vier Schaltflächen und sechs verschiedene Medien verfügten, hatten wir insgesamt 24 (4 x 6) Kombinationen zu testen. Jedem Besucher der Splash-Seite wurde nach dem Zufallsprinzip eine dieser Kombinationen angezeigt, und wir verfolgten, ob er sich anmeldete oder nicht.

Bevor Sie nach unten scrollen und sich die Ergebnisse ansehen: Welche Schaltfläche und welches Medium hatte Ihrer Meinung nach die höchste Anmeldequote?

Button-Variationen

Ergebnisse

Die Kennzahl, mit der wir den Erfolg gemessen haben, war die Anmeldequote: die Anzahl der Personen, die sich angemeldet haben, geteilt durch die Anzahl der Personen, die diese bestimmte Variante gesehen haben. Da während des Experiments insgesamt 310.382 Besucher auf die Splash-Seite kamen, bedeutete dies, dass jede Variante von etwa 13.000 Personen gesehen wurde.

Hier sehen Sie die verschiedenen Anmeldequoten, die wir für jeden Abschnitt beobachtet haben:

Hier sehen Sie die Anmeldequoten für die Kombinationen der verschiedenen Abschnitte:

Der Gewinner

Die beste Kombination aus Schaltfläche und Medien war "Kombination 11", die aus der Schaltfläche "Mehr erfahren" und dem Bild "Familie" bestand:

Bevor wir das Experiment durchführten, favorisierten die Mitarbeiter der Kampagne "Sams Video" (das letzte in der oben gezeigten Diashow). Hätten wir dieses Experiment nicht durchgeführt, hätten wir sehr wahrscheinlich dieses Video auf der Startseite verwendet. Das wäre ein großer Fehler gewesen, denn es stellte sich heraus, dass alle Videos schlechter abschnitten als alle Bilder.

Die siegreiche Variante hatte eine Anmeldequote von 11,6%. Die Originalseite hatte eine Anmeldequote von 8,26 %. Das ist eine Verbesserung der Anmeldequote um 40,6 %. Was bedeutet eine Verbesserung um 40,6 %?

Nun, wenn Sie davon ausgehen, dass diese Verbesserung über den Rest der Kampagne hinweg in etwa gleich geblieben ist, dann können wir die Gesamtzahlen am Ende der Kampagne betrachten und feststellen, welchen Unterschied dieses eine Experiment gemacht hat. Etwa 10 Millionen Menschen haben sich während der Kampagne auf der Splash Page angemeldet. Hätten wir dieses Experiment nicht durchgeführt und wären bei der ursprünglichen Seite geblieben, läge die Zahl eher bei 7.120.000 Anmeldungen. Das ist ein Unterschied von 2.880.000 E-Mail-Adressen.

Wenn wir denjenigen, die sich auf unserer Splash-Seite angemeldet haben, eine E-Mail schicken und sie bitten, sich freiwillig zu melden, werden in der Regel 10 % von ihnen zu Freiwilligen. Das bedeutet, dass zusätzliche 2.880.000 E-Mail-Adressen in 288.000 weitere Freiwillige umgewandelt wurden.

Jede E-Mail-Adresse, die über unsere Splash-Seite übermittelt wurde, spendete während der Dauer der Kampagne durchschnittlich 21 Dollar. 2.880.000 zusätzliche E-Mail-Adressen in unserer E-Mail-Liste bedeuteten zusätzliche 60 Millionen Dollar an Spenden.

Lektionen gelernt

1. Jeder Besucher Ihrer Website ist eine Chance. Nutzen Sie diese Chance durch Website-Optimierung und A/B-Testing.
2. Angenommene Fragen. Alle Teilnehmer der Kampagne liebten die Videos. Am Ende schnitten alle Videos schlechter ab als alle Bilder. Das hätten wir nie erfahren, wenn wir unsere Annahmen nicht in Frage gestellt hätten.
3. Experimentieren Sie früh und oft. Wir führten dieses Experiment im Dezember 2007 durch und profitierten für den Rest der Kampagne davon. Da sich dieses erste Experiment als so effektiv erwies, haben wir während der gesamten Kampagne Dutzende von Experimenten auf der gesamten Website durchgeführt.

Warum Optimizely?

Wir haben Optimizely entwickelt, weil wir Experimente wie dieses einfacher machen wollten. Tatsächlich ist Optimizely das Produkt, das ich mir wünschte, wir hätten es bei der Kampagne eingesetzt.

Wir konnten nur einen kleinen Teil der Experimente durchführen, die wir während der Kampagne durchführen wollten, weil es zu zeitaufwändig und mühsam war, Experimente mit den damals existierenden Produkten durchzuführen.

Wenn Sie nach einer einfacheren Möglichkeit suchen, Ihre Website zu testen, probieren Sie Optimizely aus und lassen Sie uns wissen, was Sie davon halten.