Multivariate Tests

Inhalt

Multivariate Tests definiert

Multivariate Tests (MVT) sind eine Technik zum Testen einer Hypothese, bei der mehrere Variablen verändert werden. Ziel des multivariaten Testens ist es, herauszufinden, welche Kombination von Variationen von allen möglichen Kombinationen am besten abschneidet.

Websites und Mobile Apps bestehen aus Kombinationen von veränderbaren Elementen. Bei einem multivariaten Test werden verschiedene Elemente verändert, z. B. ein Bild und eine Überschrift zur gleichen Zeit. Drei Variationen des Bildes und zwei Variationen der Überschrift werden zu sechs Varianten des Inhalts kombiniert, die gleichzeitig getestet werden, um die siegreiche Variante zu finden.

Hauptmerkmale von multivariaten Tests

Testet mehrere Seitenelemente gleichzeitig
Erfordert größere Stichprobengrößen als A/B-Tests
Ermöglicht Einblicke in die Interaktion der Elemente
Am besten geeignet für die Optimierung kritischer Seiten ohne vollständige Neugestaltung
Nützlich für das Verständnis komplexer Nutzerverhaltensweisen

Die Gesamtzahl der Varianten in einem multivariaten Test ist immer gleich:

[Anzahl der Variationen zu Element A] X [Anzahl der Variationen zu Element B] ... = [Gesamtanzahl der Variationen]

Multivariate test combinations

Bewältigung der Herausforderungen bei multivariaten Tests

Wenn Sie multivariate Tests durchführen und versuchen, die Conversions zu steigern, können Sie auf einige Herausforderungen stoßen. Hier erfahren Sie, wie Sie diese bewältigen können:

Unschlüssige Ergebnisse
Wenn Ihr Test keine eindeutigen Gewinner hervorbringt, versuchen Sie, die Anzahl der Variablen zu reduzieren oder die Testdauer zu verlängern.
Langsame Datenerfassung oder geringer Traffic
Konzentrieren Sie sich auf Seiten mit hohem Besucheraufkommen oder vereinfachen Sie den Test, indem Sie die Anzahl der Varianten verringern.
Widersprüchliche Ergebnisse
Erwägen Sie, den Test zu wiederholen oder Ihre Daten für eine genauere Analyse zu segmentieren.
Technische Pannen
Stellen Sie sicher, dass Ihre Testvarianten ordnungsgemäß implementiert und browserübergreifend kompatibel sind.

Multivariate Tests verglichen mit A/B-Testing

Um multivariate Tests besser zu verstehen, sollten wir sie mit A/B-Tests vergleichen:

Aspekt	A/B-Testing	Multivariate Tests
Getestete Variablen	Eine nach der anderen	Mehrere gleichzeitig
Komplexität	Einfache A-Version versus B-Version	Komplexer
Größe der Stichprobe	Kleiner	Größer
Dauer des Tests	Kürzer	Länger
Bester Anwendungsfall	Testen eines einzelnen Elements	Optimierung mehrerer Elemente auf einer Seite

Die Durchführung eines multivariaten Tests ähnelt dem A/B-Split-Testing, unterscheidet sich jedoch insofern, als beim A/B-Testing nur eine Variable getestet wird. Bei einem A/B-Test wird mindestens eine Variable getestet, um die Auswirkung einer Änderung an einer Variable zu ermitteln. Bei einem multivariaten Test werden mehrere Variablen zusammen getestet, um die ideale Kombination herauszufinden, die zur Verbesserung der primären Kennzahl beiträgt, die bei der Erstellung des Tests ausgewählt wurde.

So können Sie zum Beispiel auf einer Homepage oder einer Webseite viel mehr Elemente testen. Daher ist es unglaublich wichtig, dass Sie Ihre Hypothese sorgfältig formulieren. Je mehr Elemente Sie testen, desto größer ist die erforderliche Stichprobengröße für die Durchführung des Tests. Für multivariate Tests benötigen Sie also mehr Besucher oder die Tests brauchen länger, um statistische Signifikanz zu erreichen.

Welche Art von Test Sie verwenden sollten, hängt vom jeweiligen Anwendungsfall ab und sollte von Fall zu Fall beurteilt werden. Optimieren Sie Ihre Marketingkampagnen immer für die maximal möglichen Conversions. Der Einsatz von multivariaten Tests kann dazu beitragen, ein besseres Erlebnis für die Nutzer zu ermitteln, wozu A/B-Tests möglicherweise nicht in der Lage sind.

Erfahren Sie mehr über Multivariate Tests verglichen mit A/B-Tests.

Die besten Metriken für multivariate Tests

Wenn du einen multivariaten Test einrichtest, beginnst du ähnlich wie bei einem A/B-Test mit der Festlegung deiner Varianten, einer Zielseite und einer Zielgruppe (optional) und den Kennzahlen, die deiner Meinung nach durch diese Veränderung beeinflusst werden.

Nach unseren Recherchen konzentrieren sich die meisten E-Commerce-Unternehmen auf den Umsatz und B2B-Unternehmen auf die Conversions. Obwohl dies die wertvollsten Conversions sind, kann die Hinzunahme anderer Conversion-Kennzahlen die statistische Aussagekraft erhöhen, da mehr Daten zur Verfügung stehen. Unsere Ergebnisse zeigen, dass Unternehmen, die sich auf diese alternativen Metriken konzentrieren, höhere Renditen und Erfolgsquoten beim Testen haben.

Beispiele für Web-Metriken, die du in mvt-Tests verfolgen kannst, sind:

Call-to-Action-Klicks - Häufig Buttons oder Banner, gemessen als CTR (Click-Through-Rate)
Konversionsrate (CVR) - Messung des Traffics / der Formularanmeldungen oder Verkäufe. Die CVR ist die am häufigsten verwendete Kennzahl.
Engagement-Rate (ER) - Ein Blog kann das Engagement von Website-Besuchern messen / 75% gescrollt
View-Through-Rate (VTR) - Website-Besucher oder Spielereignisse / 75% oder 90% angeschaut

Wenn du einen multivariaten Test mit diesen Kennzahlen einrichtest, kann das System auf der Grundlage deiner Hauptkennzahl die beste Kombination von Elementen für deine Seite auswählen. Die meisten Tools erlauben es dir, mehr als eine Kennzahl zu verfolgen, aber nur die erste (oder Haupt-)Kennzahl wird zur Erfolgsmessung herangezogen.

Das Hinzufügen alternativer Kennzahlen zu den reinen Conversions kann dir auch bei der Conversion Rate Optimization helfen und dich sogar aus einem lokalen Maximum herausholen. Wenn du z. B. das User Engagement verfolgst, bevor du zu einem Formular kommst, werden mehr Daten in deinen multivariaten Test aufgenommen und das Testtool erhält mehr Daten, mit denen es arbeiten und statistische Signifikanz in deinen Testergebnissen erreichen kann.

Ein Hinweis zur statistischen Signifikanz bei multivariaten Tests

Je nachdem, wie viel Traffic deine Seite hat und wie stark sich die veränderten Elemente auf deine Hauptkennzahl auswirken, kann es eine Weile dauern, bis die statistische Signifikanz erreicht ist.

Das ist wie bei jedem A/B-Test: Je mehr Elemente du hinzufügst (A/B/C/D), desto länger kann es dauern, bis dein Test ein Ergebnis liefert. Bei multivariaten Tests ist dies noch ausgeprägter, weil jedes Element, das verändert wird, mit jedem anderen gemessen werden muss.

Ein Beispiel. Wenn ich ein Bild A und B, eine Überschrift A und B und eine Beschreibung A und B ändere, lautet die Formel wie folgt:

Bild A und B (2 Optionen) Überschrift A und B (2 Optionen) * Beschreibung A und B (2 Optionen) = 8 Kombinationen.

Auch wenn dies ein relativ einfacher Test zu sein scheint, würden 8 Varianten eine lange Zeit in Anspruch nehmen, wie es auch bei einem A/B/C/D/E/F/G/H-Splittest der Fall wäre (auch bekannt als vollfaktorieller Test). Um das zu kompensieren, solltest du dich wie bei einem A/B-Test auf Seitenelemente konzentrieren, die auf Seiten mit hohem Traffic sofort sichtbar sind.

Eine weitere Möglichkeit, deine Ergebnisse bei multivariaten Tests zu verbessern, besteht darin, die Gesamtzahl der Variablen zu reduzieren. Wenn deine Tests nicht rechtzeitig aussagekräftig sind:

Verwende weniger verschiedene Versionen von Elementen
Verwende verschiedene Elemente, die sich stärker auf die Metrik auswirken
Konzentriere dich auf Seiten mit hohem Besucheraufkommen - dazu später mehr
Nutze frühere Testdaten, um die wahrscheinlichen Auswirkungen auf die Konversionsraten zu bestimmen.
Gestalte Elemente neu, um Änderungen deutlicher zu machen. Kräftigere Tests führen in der Regel zu größeren Testergebnissen

Je nachdem, welche Änderungen du vornimmst und welche Auswirkungen du auf deine Hauptkennzahl erwartest, brauchst du mindestens so viel Traffic, dass du eine statistische Signifikanz erreichst. Ausgehend von der Menge des Traffics und dem minimal nachweisbaren Effekt kannst du den genauen geschätzten Traffic mit unserem Stichprobengrößenrechner berechnen. Die ausgegebene Stichprobengröße ist in diesem Fall der benötigte Traffic.

Vorteile von multivariaten Tests

Der Einsatz von multivariaten Tests zur Conversion Rate Optimization (CRO) kann hilfreich sein, wenn mehrere verschiedene Elemente auf derselben Seite gleichzeitig geändert werden können, um ein einziges Conversion-Ziel zu verbessern: Anmeldungen, Klicks, Formularausfüllungen oder Social Shares. Bei richtiger Durchführung kann ein multivariater Test die Durchführung mehrerer aufeinanderfolgender A/B-Tests auf derselben Seite mit demselben Ziel überflüssig machen und dabei helfen, das Optimum aus verschiedenen Kombinationen zu finden. Die Tests werden gleichzeitig mit einer größeren Anzahl von Variationen in kürzerer Zeit durchgeführt.

Multivariate Tests können zusammen mit anderen Testmethoden dazu beitragen, dass die Änderungen, die du an deiner App oder Website vornimmst, die größtmöglichen positiven Auswirkungen auf deine Conversion-Metriken haben, ohne dass du jede einzelne Variante testen musst.

Häufige Dinge, die getestet werden können und sich besonders für multivariate Tests eignen, sind

Buttonfarben - Verbesserung der Click-Through-Rate (CTR)
Text des CTA-Buttons - verbessert ebenfalls die Click-Through-Rates (CTR)
Unterschiedliche Designs von Call-to-Action-Buttons - wie Banner oder Buttons, die die CTR oder Conversion Rate (CVR) verbessern
Seitenlayout - Engagement Rate (ER)
Interaktive und mediale Elemente - Engagement-Rate (ER) oder View-Through-Rate (VTR)

Wie sich multivariate Tests von einem vollfaktoriellen Test unterscheiden

In der Statistik ist ein vollfaktorieller Test eine Variante des multivariaten Tests. Er unterscheidet sich von einem typischen multivariaten Test dadurch, dass bei einem vollfaktoriellen Test, wie der Name schon sagt, alle Optionen vollständig berücksichtigt werden. Bei einem multivariaten Test versuchen wir in den meisten A/B-Testing-Tools wie Optimizely Web Experimentation schneller die beste Kombination zu finden, bevor wir eine Schlussfolgerung ziehen.

Nehmen wir ein Beispiel. Ein vollfaktorieller Test kann die gleichen 8 einzelnen Elemente und Änderungen auf deiner Seite berücksichtigen. Allerdings wird der Traffic gleichmäßig auf sie verteilt. Das bedeutet, dass jede dieser Optionen den gleichen Traffic und die gleichen Daten erhält, um statistische Signifikanz zu erreichen:

AAA, AAB, ABA, ABB, BAA, BAB, BBA und BBB werden alle gleichermaßen getestet, um ein möglichst reines Ergebnis zu erzielen. Alles bekam eine faire Chance, um das beste Ergebnis zu erzielen.

Bei teilfaktoriellen Tests, der typischeren Art von multivariaten Tests, werden, wenn eine positive Veränderung früh erkannt wird, nur bestimmte Kombinationen getestet, die mit höherer Wahrscheinlichkeit ein besseres Ergebnis erzielen. Wenn das System z. B. feststellt, dass die Testvarianten mit Variante B deutlich besser abschneiden als die mit A, ist es nicht nötig, Variante A weiter zu testen.

Um auf das Beispiel von vorhin zurückzukommen, müsste ich dann nur noch BAA, BAB, BBA und BBB testen, was die Anzahl der Varianten, die ich testen muss, drastisch reduziert und die statistische Signifikanz schneller erreicht.

Die Nachteile von multivariaten Tests

Hier sind einige mögliche Herausforderungen bei der Durchführung von multivariaten Tests:

Erfordert hohen Traffic und Seitenvariation
Die größte Herausforderung bei der Durchführung multivariater Tests ist die Menge der Besucher, die erforderlich ist, um aussagekräftige Ergebnisse zu erzielen. Da es sich um vollfaktorielle Tests handelt, kann sich die Anzahl der Variationen in einem Test schnell summieren. Das Ergebnis eines multivariaten Tests ist, dass der zugewiesene Traffic für jede Variante geringer ist. Beim A/B-Testing wird der Traffic für ein Experiment in zwei Hälften geteilt, wobei 50 Prozent des Traffics auf jede Variante entfallen. Bei einem multivariaten Test wird der Traffic in Viertel, Sechstel, Achtel oder noch kleinere Segmente aufgeteilt, wobei die Variationen einen viel kleineren Anteil am Traffic erhalten als bei einem einfachen A/B-Test.
Statistische Signifikanz
Bevor du einen multivariaten Test durchführst, rechne aus, wie viele Besucher/innen du für jede Variante brauchst, um ein statistisch signifikantes Ergebnis zu erzielen. Wenn der Traffic auf der Seite, die du testen möchtest, gering ist, solltest du einen A/B-Test anstelle eines multivariaten Tests in Betracht ziehen.
Keine messbare Wirkung
Eine weitere Herausforderung bei multivariaten Tests ist, wenn eine oder mehrere der getesteten Variablen keinen messbaren Einfluss auf das Conversion-Ziel haben. Wenn z. B. die Variationen eines Bildes auf einer Landing Page keinen Einfluss auf das Konversionsziel haben, die Änderung einer Überschrift aber schon, wäre der Test als A/B-Test effektiver gewesen als ein multivariater Test.
Verändertes Nutzerverhalten
Wie bei jeder Art von Test ist es wichtig zu wissen, dass das Nutzerverhalten auf verschiedenen Seiten unterschiedlich sein kann und dass es sich lohnen kann, multivariate Tests auf einer anderen Seite mit denselben spezifischen Elementen durchzuführen, um die Testergebnisse zu überprüfen. Mit dieser Methode kannst du sicherstellen, dass du mit den Testdaten die richtigen Entscheidungen triffst, um ein optimales Benutzererlebnis zu gewährleisten.

Beispiele für multivariate Tests

Gängige Beispiele für multivariate Tests sind:

Gemeinsames Testen von Text und visuellen Elementen auf einer Webseite
Text und Farbe eines CTA-Buttons gemeinsam testen
Gemeinsames Testen der Anzahl der Formularfelder und des CTA-Textes

Multivariate Tests als Methode zur Website-Optimierung sind eine leistungsstarke Methode, um Besucher- und Nutzerdaten zu sammeln, die detaillierte Einblicke in das komplexe Kundenverhalten geben. Die bei multivariaten Tests aufgedeckten Daten beseitigen Zweifel und Unsicherheiten bei der Website-Optimierung. Kontinuierliches Testen, die Implementierung erfolgreicher Varianten und die Nutzung der Testergebnisse können zu erheblichen Konversionssteigerungen führen.