Nutzung von Interaktionseffekten in A/B-Tests und multivariaten Tests

Im schlimmsten Fall können Interaktionseffekte die Interpretation der Ergebnisse von gleichzeitigen Tests erschweren oder unmöglich machen. Aber Interaktionseffekte müssen nicht beängstigend sein!

In diesem Beitrag für Experimentierer und Analysten werde ich sie untersuchen:

• Interaktionseffekte und wie sie im Kontext des digitalen Experimentierens funktionieren
• Wie multivariate Tests verwendet werden können, um Interaktionseffekte zu finden und ihre Auswirkungen auf die Metriken von Experimenten zu quantifizieren
• Wie positive Interaktionseffekte die Leistung von Experimenten steigern können

Multivariate Tests sind zur Zeit nur für das Experimentieren im Web verfügbar.

Was sind Interaktionseffekte?

Bevor wir zu weit gehen, sollten wir eine gemeinsame Definition festlegen. In der Statistik ist eine Interaktion definiert als "...eine Situation, in der der gleichzeitige Einfluss von zwei Variablen auf eine dritte nicht additiv ist "^1.

Im Kontext des digitalen Experimentierens können wir Interaktionseffekte feststellen, wenn mehrere Experimente auf dieselben Nutzer abzielen. Die Kombination von Experiment-Variationen kann ihr Verhalten auf überraschende Weise verändern, die wir nicht vorhersehen können, wenn wir die Ergebnisse jedes einzelnen Experiments betrachten.

Nehmen wir ein Beispiel für zwei A/B-Tests zu einer einzigen Schaltfläche "Jetzt einkaufen". Ein Test ändert den Text der Schaltfläche und der andere die Farbe der Schaltfläche. Sie konfigurieren diese Tests so, dass sie sich gegenseitig ausschließen. Das bedeutet, dass Benutzer, die an einem Test teilnehmen, nicht vom anderen Targeting betroffen sein können.

Eine Reihe von zwei sich gegenseitig ausschließenden A/B-Tests für die Schaltfläche Jetzt einkaufen.

Nachdem beide Tests Signifikanz erreicht haben, stellen Sie fest, dass Benutzer, die die Textvariante "Entdecken" gesehen haben, 2 % häufiger auf die Schaltfläche geklickt haben, und Benutzer, die die rote Farbvariante gesehen haben, 5 % häufiger auf die Schaltfläche. Sie können davon ausgehen, dass Sie eine Gesamtverbesserung von 7% erzielen, wenn Sie die siegreichen Varianten für beide Experimente einsetzen. Da Sie ein sorgfältiger Experimentierer sind, beschließen Sie, Ihre Vermutung zu überprüfen, indem Sie die Gewinnkombination direkt testen:

Zu Ihrer Überraschung stellen Sie fest, dass die Besucher, die mit der Kombination der Gewinnervarianten konfrontiert werden, 10% häufiger auf die Schaltfläche klicken. Woher kommen die "zusätzlichen" 3%? Die Antwort lautet, dass es sich um einen Interaktionseffekt handelt, bei dem die Kombination aus Text und Farbe besser abschneidet, als es die Addition der Ergebnisse der beiden Gewinner-Varianten vermuten ließe.

Herzlichen Glückwunsch, Sie haben gerade einen positiven Interaktionseffekt entdeckt!

Multivariate Tests

Diese Art von Effekten lässt sich auch bei multivariaten Tests (MVT) beobachten, bei denen eine Reihe von Abschnittsvariationen zu Kombinationen zusammengefügt werden (weitere Einzelheiten finden Sie in unserem praktischen Artikel über Experiment-Typen ). Hier finden Sie eine kurze Einführung in die MVT-Terminologie:

Diejenigen unter Ihnen, die mit MVT vertraut sind, haben sich wahrscheinlich das obige Beispiel angesehen und gedacht: "Hey, warum haben wir nicht gleich ein MVT durchgeführt?" Nun, Sie haben absolut Recht! Ein MVT wäre ein idealer Testaufbau, um die beste Kombination aus Text und Farbe für unsere Schaltfläche Jetzt einkaufen zu ermitteln.

Wenn Sie den obigen Test als MVT durchführen, hätte das einige Vorteile:

1. Sie können den ersten Durchlauf von zwei unabhängigen Tests überspringen und direkt mit dem Testen von Kombinationen beginnen.
2. Sie können sicher sein, dass Sie die beste Kombination von Variablen finden, selbst wenn die unabhängig voneinander getesteten Variablen nicht so gut abschneiden wie zusammen.

Vorteil Nr. 2 besteht auch darin, dass Ihre MVT-Ergebnisse von Anfang an die Auswirkungen von Interaktionseffekten enthalten. Tatsächlich ist die Fähigkeit, Interaktionseffekte zu erkennen, der Hauptgrund, warum sich versierte Experimentierer für die Durchführung von MVT anstelle von mehreren sich überschneidenden A/B-Tests entscheiden!

Auffinden von Interaktionseffekten mit multivariaten Tests

Angenommen, Sie sind bereit, in Ihren MVTs auf die Suche nach positiven Interaktionseffekten zu gehen. Was nun?

Bevor Sie Ihren Test starten, sollten Sie überlegen, ob sich die Abschnitte des MVTs gegenseitig beeinflussen können. Mit anderen Worten, es ist wahrscheinlicher, dass Sie Interaktionseffekte sehen, wenn die Abschnitte eng miteinander verbunden sind (wie im obigen Beispiel mit der Schaltfläche). Sie können eine MVT zwar durchaus verwenden, um die optimale Kombination zweier nicht miteinander verbundener Variablen zu ermitteln (z.B. das Hero Image der Homepage und die Anzahl der auf der Homepage angezeigten Artikel), aber Interaktionseffekte sind viel unwahrscheinlicher.

Nachdem Ihr Test eine Weile gelaufen ist, können Sie Ihre Ergebnisse auf Interaktionseffekte hin untersuchen.

Einführung von Abschnitts-Rollups

Abschnitts-Rollups sind ein neuer Analysemodus, der sich auf den Beitrag bestimmter Abschnittsvariationen zur Gesamtleistung des MVTs konzentriert. Um ein Abschnitts-Rollup zu erstellen, werden die Metriken für alle Kombinationen, die eine bestimmte Abschnittsvariation enthalten, aggregiert, um eine neue Ansicht der Ergebnisse zu erhalten:

Sie können Abschnitts-Rollups als Heuristik für das Vorhandensein von Interaktionseffekten in Ihren MVT-Ergebnissen verwenden. Bei der Betrachtung eines Abschnitts-Rollups stellen Sie sich die Frage: "Ist die Leistung dieser Abschnittsvariation besser als das, was ich erwarten würde, wenn ich sie isoliert testen würde?"

Die gute Nachricht ist, dass Sie bei einem vollfaktoriellen MVT (bei dem alle möglichen Kombinationen getestet werden) jede Abschnittsvariation tatsächlich "isoliert" getestet haben (d.h. in Kombination mit den Kontrollvariationen für alle anderen Abschnitte). Im obigen Beispiel wurde in der Kombination 5 die Variation B für den Abschnitt Kopie mit den Kontrollvariationen für die Abschnitte Schaltflächenfarbe und Textkopie gemischt. Der bei dieser Kombination gemessene Lift stellt die Auswirkung der Anzeige der Abschnittsvariation dar, ohne dass weitere Änderungen am Erlebnis vorgenommen wurden.

Wenn der im Abschnitts-Rollup gemessene Lift viel höher ist als der in der "Isolations"-Kombination gemessene Lift, bedeutet dies, dass die Leistung der anderen Kombinationen durch positive Interaktionseffekte gesteigert wird!

Der Kopierschnitt-Rollup zeigt 13% Auftrieb für Variante B. Das ist viel mehr als die -20% Auftrieb für Kombination 5. Das bedeutet, dass die Kombinationen 6, 7 und 8 (die anderen Kombinationen, die die Variante B für den Kopierbereich verwenden) durch positive Interaktionseffekte verbessert werden!

Diese heuristische Technik wird nicht 100% der Interaktionseffekte aufdecken, da bestimmte Muster der Effektverteilung in der Rollup-Ansicht der Abschnitte "aufgehoben" werden können. Analysten, die nach einer umfassenderen Methode zur Erkennung und Quantifizierung von Interaktionseffekten suchen, könnten eine ANOVA oder ein Varianzanalyse-Modell in Betracht ziehen. Die Ergebnisseite von Optimizely implementiert derzeit keine ANOVA, aber wenn Sie an dieser Technik interessiert sind, können Sie Optimizely-Ereignisdaten exportieren und sie mit dem Statistikpaket Ihrer Wahl analysieren.

Umgang mit negativen Interaktionseffekten

Bis zu diesem Punkt haben wir hauptsächlich über positive Interaktionseffekte gesprochen, aber Interaktionseffekte können sich auch negativ auf die Kombinationsleistung auswirken. Kehren wir zu unserer Schaltfläche "Jetzt einkaufen" zurück. Nehmen wir an, wir möchten nun die optimale Kombination aus Schaltflächenfarbe und Textfarbe ermitteln. Unser MVT-Layout sieht wie folgt aus:

Wir brauchen den Test nicht einmal zu starten, um zu wissen, dass die Kombination mit rotem Text auf einer roten Schaltfläche schlecht abschneiden wird!

Wenn Sie Grund zu der Annahme haben, dass eine bestimmte Kombination unter negativen Interaktionseffekten leidet, können Sie verhindern, dass Besucher mit dieser Kombination konfrontiert werden, indem Sie einen teilfaktoriellen MVT verwenden.

Mit einer partiellen faktoriellen MVT können wir ganz einfach den gesamten Verkehr zu der Rot-auf-Rot-Kombination unterbinden!

Wenn Sie sich wirklich Sorgen über Interaktionseffekte machen und diese gänzlich verhindern wollen, können Sie auch mehrere sich gegenseitig ausschließende A/B-Tests durchführen. Mit dieser Methode können Sie verhindern, dass Benutzer mehreren Tests ausgesetzt werden, die wahrscheinlich miteinander interagieren, oder Sie können die Benutzer sogar darauf beschränken, nur an einem Test zur gleichen Zeit teilzunehmen. Dies verringert zwar das Risiko schlechter Interaktionen, kann aber die statistische Aussagekraft Ihrer Tests stark einschränken, da jeder Test mit anderen um Besucher konkurriert. Außerdem entgeht Ihnen so die Möglichkeit, positive Interaktionseffekte zu entdecken. Erfahren Sie mehr darüber, wie Sie sich gegenseitig ausschließende Tests mit Optimizely durchführen können.

Was das alles für Experimentieren Programme bedeutet

Puh! Wir haben uns eingehend mit Interaktionseffekten beschäftigt und damit, wie sie in A/B-Tests und multivariaten Tests funktionieren. Aber was bedeutet das alles für Ihr Experimentieren? Es gibt ein paar wichtige Punkte, die Sie sich merken sollten:

• Interaktionseffekte können immer dann auftreten, wenn Benutzer mehreren Variablen ausgesetzt sind, unabhängig von der Art des Tests.
• Planen Sie Interaktionseffekte ein (indem Sie entweder MVT durchführen und schlechte Kombinationen deaktivieren oder indem Sie Experimente durchführen, die sich gegenseitig ausschließen) - das ist eine gute Idee!
• Die Entdeckung positiver Interaktionseffekte (ist es zu unternehmerisch, sie als "Synergien" zu bezeichnen?) ist eine der Hauptmotivationen für die Durchführung von MVT.

Haben Sie eine Geschichte über überraschende Wechselwirkungen, die Sie durch Experimentieren entdeckt haben? Wir würden uns freuen, von Ihnen zu hören!

^1. dodge, Y. (2003). The Oxford Dictionary of Statistical Terms. Oxford University Press. ISBN 0-19-920613-9.