Multivariate Tests

Multivariate Tests definiert

Multivariate Tests (MVT) sind eine Technik zum Testen einer Hypothese, bei der mehrere Variablen verändert werden. Ziel des multivariaten Testens ist es, herauszufinden, welche Kombination von Variationen von allen möglichen Kombinationen am besten abschneidet.

Websites und Mobile Apps bestehen aus Kombinationen von veränderbaren Elementen. Bei einem multivariaten Test werden verschiedene Elemente verändert, z. B. ein Bild und eine Überschrift zur gleichen Zeit. Drei Variationen des Bildes und zwei Variationen der Überschrift werden zu sechs Varianten des Inhalts kombiniert, die gleichzeitig getestet werden, um die siegreiche Variante zu finden.

Die Gesamtzahl der Varianten in einem multivariaten Test ist immer gleich:

[Anzahl der Variationen zu Element A] X [Anzahl der Variationen zu Element B] ... = [Gesamtanzahl der Variationen]

Die Durchführung eines multivariaten Tests ähnelt dem A/B-Test, unterscheidet sich aber dadurch, dass beim A/B-Testing nur eine Variable getestet wird. Bei einem A/B-Test wird mindestens eine Variable getestet, um die Auswirkungen einer Änderung an einer Variablen zu ermitteln. Bei einem multivariaten Test werden mehrere Variablen zusammen getestet, um die ideale Kombination zu finden, mit der sich die bei der Erstellung des Tests ausgewählte Hauptkennzahl verbessern lässt.

So stellst du sicher, dass du deine Marketingkampagnen immer für die größtmögliche Anzahl an Konversionen optimierst. Welche Art von Test du verwenden solltest, hängt vom jeweiligen Use-Case ab und sollte von Fall zu Fall geprüft werden. Multivariate Tests können dabei helfen, ein besseres Benutzererlebnis aufzudecken, was A/B-Tests vielleicht nicht können.

Die besten Metriken für multivariate Tests

Wenn du einen multivariaten Test einrichtest, beginnst du ähnlich wie bei einem A/B-Test mit der Festlegung deiner Varianten, einer Zielseite und einer Zielgruppe (optional) und den Kennzahlen, die deiner Meinung nach durch diese Veränderung beeinflusst werden.

Nach unseren Recherchen konzentrieren sich die meisten E-Commerce-Unternehmen auf den Umsatz und B2B-Unternehmen auf die Conversions. Obwohl dies die wertvollsten Conversions sind, kann die Hinzunahme anderer Conversion-Kennzahlen die statistische Aussagekraft erhöhen, da mehr Daten zur Verfügung stehen. Unsere Ergebnisse zeigen, dass Unternehmen, die sich auf diese alternativen Metriken konzentrieren, höhere Renditen und Erfolgsquoten beim Testen haben.

Beispiele für Web-Metriken, die du in mvt-Tests verfolgen kannst, sind:

• Call-to-Action-Klicks - Häufig Buttons oder Banner, gemessen als CTR (Click-Through-Rate)

• Konversionsrate (CVR) - Messung des Traffics / der Formularanmeldungen oder Verkäufe. Die CVR ist die am häufigsten verwendete Kennzahl.

• Engagement-Rate (ER) - Ein Blog kann das Engagement von Website-Besuchern messen / 75% gescrollt

• View-Through-Rate (VTR) - Website-Besucher oder Spielereignisse / 75% oder 90% angeschaut

Wenn du einen multivariaten Test mit diesen Kennzahlen einrichtest, kann das System auf der Grundlage deiner Hauptkennzahl die beste Kombination von Elementen für deine Seite auswählen. Die meisten Tools erlauben es dir, mehr als eine Kennzahl zu verfolgen, aber nur die erste (oder Haupt-)Kennzahl wird zur Erfolgsmessung herangezogen.

Das Hinzufügen alternativer Kennzahlen zu den reinen Conversions kann dir auch bei der Conversion Rate Optimization helfen und dich sogar aus einem lokalen Maximum herausholen. Wenn du z. B. das User Engagement verfolgst, bevor du zu einem Formular kommst, werden mehr Daten in deinen multivariaten Test aufgenommen und das Testtool erhält mehr Daten, mit denen es arbeiten und statistische Signifikanz in deinen Testergebnissen erreichen kann.

Ein Hinweis zur statistischen Signifikanz bei multivariaten Tests

Je nachdem, wie viel Traffic deine Seite hat und wie stark sich die veränderten Elemente auf deine Hauptkennzahl auswirken, kann es eine Weile dauern, bis die statistische Signifikanz erreicht ist.

Das ist wie bei jedem A/B-Test: Je mehr Elemente du hinzufügst (A/B/C/D), desto länger kann es dauern, bis dein Test ein Ergebnis liefert. Bei multivariaten Tests ist dies noch ausgeprägter, weil jedes Element, das verändert wird, mit jedem anderen gemessen werden muss.

Ein Beispiel. Wenn ich ein Bild A und B, eine Überschrift A und B und eine Beschreibung A und B ändere, lautet die Formel wie folgt:

Bild A und B (2 Optionen) Überschrift A und B (2 Optionen) * Beschreibung A und B (2 Optionen) = 8 Kombinationen.

Auch wenn dies ein relativ einfacher Test zu sein scheint, würden 8 Varianten eine lange Zeit in Anspruch nehmen, wie es auch bei einem A/B/C/D/E/F/G/H-Splittest der Fall wäre (auch bekannt als vollfaktorieller Test). Um das zu kompensieren, solltest du dich wie bei einem A/B-Test auf Seitenelemente konzentrieren, die auf Seiten mit hohem Traffic sofort sichtbar sind.

Eine weitere Möglichkeit, deine Ergebnisse bei multivariaten Tests zu verbessern, besteht darin, die Gesamtzahl der Variablen zu reduzieren. Wenn deine Tests nicht rechtzeitig aussagekräftig sind:

• Verwende weniger verschiedene Versionen von Elementen

• Verwende verschiedene Elemente, die sich stärker auf die Metrik auswirken

• Konzentriere dich auf Seiten mit hohem Besucheraufkommen - dazu später mehr

• Nutze frühere Testdaten, um die wahrscheinlichen Auswirkungen auf die Konversionsraten zu bestimmen.

• Gestalte Elemente neu, um Änderungen deutlicher zu machen. Kräftigere Tests führen in der Regel zu größeren Testergebnissen

Je nachdem, welche Änderungen du vornimmst und welche Auswirkungen du auf deine Hauptkennzahl erwartest, brauchst du mindestens so viel Traffic, dass du eine statistische Signifikanz erreichst. Ausgehend von der Menge des Traffics und dem minimal nachweisbaren Effekt kannst du den genauen geschätzten Traffic mit unserem Stichprobengrößenrechner berechnen. Die ausgegebene Stichprobengröße ist in diesem Fall der benötigte Traffic.

Vorteile von multivariaten Tests

Der Einsatz von multivariaten Tests zur Conversion Rate Optimization (CRO) kann hilfreich sein, wenn mehrere verschiedene Elemente auf derselben Seite gleichzeitig geändert werden können, um ein einziges Conversion-Ziel zu verbessern: Anmeldungen, Klicks, Formularausfüllungen oder Social Shares. Bei richtiger Durchführung kann ein multivariater Test die Durchführung mehrerer aufeinanderfolgender A/B-Tests auf derselben Seite mit demselben Ziel überflüssig machen und dabei helfen, das Optimum aus verschiedenen Kombinationen zu finden. Die Tests werden gleichzeitig mit einer größeren Anzahl von Variationen in kürzerer Zeit durchgeführt.

Multivariate Tests können zusammen mit anderen Testmethoden dazu beitragen, dass die Änderungen, die du an deiner App oder Website vornimmst, die größtmöglichen positiven Auswirkungen auf deine Conversion-Metriken haben, ohne dass du jede einzelne Variante testen musst.

Häufige Dinge, die getestet werden können und sich besonders für multivariate Tests eignen, sind

• Buttonfarben - Verbesserung der Click-Through-Rate (CTR)

• Text des CTA-Buttons - verbessert ebenfalls die Click-Through-Rates (CTR)

• Unterschiedliche Designs von Call-to-Action-Buttons - wie Banner oder Buttons, die die CTR oder Conversion Rate (CVR) verbessern

• Seitenlayout - Engagement Rate (ER)

• Interaktive und mediale Elemente - Engagement-Rate (ER) oder View-Through-Rate (VTR)

Wie sich multivariate Tests von einem vollfaktoriellen Test unterscheiden

In der Statistik ist ein vollfaktorieller Test eine Variante des multivariaten Tests. Er unterscheidet sich von einem typischen multivariaten Test dadurch, dass bei einem vollfaktoriellen Test, wie der Name schon sagt, alle Optionen vollständig berücksichtigt werden. Bei einem multivariaten Test versuchen wir in den meisten A/B-Testing-Tools wie Optimizely Web Experimentation schneller die beste Kombination zu finden, bevor wir eine Schlussfolgerung ziehen.

Nehmen wir ein Beispiel. Ein vollfaktorieller Test kann die gleichen 8 einzelnen Elemente und Änderungen auf deiner Seite berücksichtigen. Allerdings wird der Traffic gleichmäßig auf sie verteilt. Das bedeutet, dass jede dieser Optionen den gleichen Traffic und die gleichen Daten erhält, um statistische Signifikanz zu erreichen:

AAA, AAB, ABA, ABB, BAA, BAB, BBA und BBB werden alle gleichermaßen getestet, um ein möglichst reines Ergebnis zu erzielen. Alles bekam eine faire Chance, um das beste Ergebnis zu erzielen.

Bei teilfaktoriellen Tests, der typischeren Art von multivariaten Tests, werden, wenn eine positive Veränderung früh erkannt wird, nur bestimmte Kombinationen getestet, die mit höherer Wahrscheinlichkeit ein besseres Ergebnis erzielen. Wenn das System z. B. feststellt, dass die Testvarianten mit Variante B deutlich besser abschneiden als die mit A, ist es nicht nötig, Variante A weiter zu testen.

Um auf das Beispiel von vorhin zurückzukommen, müsste ich dann nur noch BAA, BAB, BBA und BBB testen, was die Anzahl der Varianten, die ich testen muss, drastisch reduziert und die statistische Signifikanz schneller erreicht.

Die Nachteile von multivariaten Tests

Die größte Herausforderung bei der Durchführung multivariater Tests ist die Menge der Besucher, die erforderlich ist, um aussagekräftige Ergebnisse zu erzielen. Da es sich um vollfaktorielle Tests handelt, kann sich die Anzahl der Variationen in einem Test schnell summieren. Das Ergebnis eines multivariaten Tests ist, dass der zugewiesene Traffic für jede Variante geringer ist. Beim A/B-Testing wird der Traffic für ein Experiment in zwei Hälften geteilt, wobei 50 Prozent des Traffics auf jede Variante entfallen. Bei einem multivariaten Test wird der Traffic in Viertel, Sechstel, Achtel oder noch kleinere Segmente aufgeteilt, wobei die Variationen einen viel kleineren Anteil am Traffic erhalten als bei einem einfachen A/B-Test.

Bevor du einen multivariaten Test durchführst, rechne aus, wie viele Besucher/innen du für jede Variante brauchst, um ein statistisch signifikantes Ergebnis zu erzielen. Wenn der Traffic auf der Seite, die du testen möchtest, gering ist, solltest du einen A/B-Test anstelle eines multivariaten Tests in Betracht ziehen.

Eine weitere Herausforderung bei multivariaten Tests ist, wenn eine oder mehrere der getesteten Variablen keinen messbaren Einfluss auf das Conversion-Ziel haben. Wenn z. B. die Variationen eines Bildes auf einer Landing Page keinen Einfluss auf das Konversionsziel haben, die Änderung einer Überschrift aber schon, wäre der Test als A/B-Test effektiver gewesen als ein multivariater Test.

Wie bei jeder Art von Test ist es wichtig zu wissen, dass das Nutzerverhalten auf verschiedenen Seiten unterschiedlich sein kann und dass es sich lohnen kann, multivariate Tests auf einer anderen Seite mit denselben spezifischen Elementen durchzuführen, um die Testergebnisse zu überprüfen. Mit dieser Methode kannst du sicherstellen, dass du mit den Testdaten die richtigen Entscheidungen triffst, um ein optimales Benutzererlebnis zu gewährleisten.

Beispiele für multivariate Tests

Gängige Beispiele für multivariate Tests sind:

• Gemeinsames Testen von Text und visuellen Elementen auf einer Webseite

• Text und Farbe eines CTA-Buttons gemeinsam testen

• Gemeinsames Testen der Anzahl der Formularfelder und des CTA-Textes

Multivariate Tests als Methode zur Website-Optimierung sind eine leistungsstarke Methode, um Besucher- und Nutzerdaten zu sammeln, die detaillierte Einblicke in das komplexe Kundenverhalten geben. Die bei multivariaten Tests aufgedeckten Daten beseitigen Zweifel und Unsicherheiten bei der Website-Optimierung. Kontinuierliches Testen, die Implementierung erfolgreicher Varianten und die Nutzung der Testergebnisse können zu erheblichen Konversionssteigerungen führen.