Multivariate Tests verglichen mit A/B-Tests

Der Unterschied zwischen einem multivariaten Test und einem A/B-Testing

Was ist der Unterschied zwischen A/B-Testing und multivariaten Tests? Werfen wir einen Blick auf die Methodik, die gängigen Anwendungen, die Vorteile und die Grenzen dieser Testmethoden.

Erklärung von A/B-Testing

A/B-Testing, auch Split-Testing genannt, ist eine Methode der Website-Optimierung, bei der die Conversion Rates von zwei Versionen einer Seite - Version A und Version B - unter Verwendung von Live-Verkehr miteinander verglichen werden. Die Website-Besucher werden in die eine oder andere Version eingeteilt. Indem Sie verfolgen, wie die Besucher mit der angezeigten Seite interagieren - die Videos, die sie sich ansehen, die Schaltflächen, auf die sie klicken, oder ob sie sich für einen Newsletter anmelden oder nicht - können Sie feststellen, welche Version der Seite am effektivsten ist.

Häufige Anwendungen für A/B-Tests

A/B-Testing ist die am wenigsten komplexe Methode zur Bewertung eines Seitendesigns und ist in einer Vielzahl von Situationen nützlich.

Eine der häufigsten Verwendungen von A/B-Testing ist das Testen von zwei sehr unterschiedlichen Designrichtungen gegeneinander. Die aktuelle Version der Homepage eines Unternehmens könnte z.B. Call-to-Actions (CTA) im Text enthalten, während die neue Version den meisten Text weglässt, dafür aber eine neue obere Leiste mit Werbung für das neueste Produkt enthält. Nachdem genügend Besucher auf beide Seiten geleitet wurden, kann die Anzahl der Klicks auf die CTAs der beiden Seiten verglichen werden. Obwohl bei dieser Art von A/B-Testing viele Designelemente geändert werden, wird nur die Auswirkung des Designs als Ganzes auf das Geschäftsziel der jeweiligen Seite verfolgt, nicht aber einzelne Elemente.

A/B-Testing eignet sich auch als Optimierungsoption für Seiten, bei denen nur ein Element zur Debatte steht. Eine Tierhandlung, die einen A/B-Test auf ihrer Site durchführt, könnte beispielsweise feststellen, dass 85 % mehr Benutzer bereit sind, sich für einen Newsletter anzumelden, der von einer Cartoon-Maus hochgehalten wird, als für einen, der aus den Windungen einer Boa Constrictor kommt. Beim A/B-Testing wird häufig eine dritte oder sogar vierte Version der Seite in den Test einbezogen, was manchmal auch als A/B/C/D-Test bezeichnet wird. Das bedeutet natürlich, dass der Verkehr auf der Site in Drittel oder Viertel aufgeteilt werden muss, wobei ein geringerer Prozentsatz der Besucher jede Site besucht.

Vorteile von A/B-Tests

A/B-Testing ist ein einfaches Konzept und Design und dennoch eine leistungsstarke und weit verbreitete Testmethode.

Da die Anzahl der zu verfolgenden Variablen gering gehalten wird, können diese Tests sehr schnell zuverlässige Daten liefern, da sie keine große Menge an Datenverkehr benötigen, um durchgeführt zu werden. Dies ist besonders hilfreich, wenn Ihre Site nur wenige tägliche Besucher hat. Die Aufteilung des Verkehrs in mehr als drei oder vier Segmente würde es schwierig machen, einen Test zu beenden. A/B-Tests sind sogar so schnell und einfach zu interpretieren, dass einige große Sites sie als primäre Testmethode verwenden und Zyklen von Tests nacheinander durchführen, anstatt komplexere multivariate Tests durchzuführen.

A/B-Testing ist auch eine gute Möglichkeit, einem skeptischen Team das Konzept der Optimierung durch Testen näher zu bringen, da es schnell die quantifizierbaren Auswirkungen einer einfachen Designänderung aufzeigen kann.

Einschränkungen von A/B-Testing

A/B-Testing ist ein vielseitiges Instrument, das Ihnen in Verbindung mit einem intelligenten Design der Experimente und der Verpflichtung zu iterativen Test- und Umgestaltungszyklen helfen kann, Ihre Site erheblich zu verbessern. Es ist jedoch wichtig, daran zu denken, dass die Grenzen dieser Art von Tests bereits im Namen enthalten sind. A/B-Tests eignen sich am besten, um die Auswirkungen von zwei bis vier Variablen auf die Interaktionen mit der Seite zu messen. Tests mit mehr Variablen benötigen mehr Zeit, und A/B-Testing liefert keine Informationen über die Interaktion zwischen Variablen auf einer einzelnen Seite.

Wenn Sie Informationen darüber benötigen, wie viele verschiedene Elemente miteinander interagieren, sind multivariate Tests der optimale Ansatz.

Erläuterung von multivariaten Tests

Multivariate Tests verwenden denselben Kernmechanismus wie A/B-Tests, vergleichen jedoch eine größere Anzahl von Variablen und liefern mehr Informationen darüber, wie diese Variablen miteinander interagieren. Wie bei einem A/B-Testing wird der Traffic auf einer Seite auf verschiedene Versionen des Designs aufgeteilt. Der Zweck eines multivariaten Tests besteht also darin, die Effektivität jeder Designkombination im Hinblick auf das letztendliche Ziel zu messen.

Sobald eine Site genügend Besucher hat, um den Test durchzuführen, werden die Daten der einzelnen Varianten miteinander verglichen, um nicht nur das erfolgreichste Design zu ermitteln, sondern auch um herauszufinden, welche Elemente den größten positiven oder negativen Einfluss auf die Interaktion der Besucher haben.

Häufige Anwendungen für multivariate Tests

Das am häufigsten zitierte Beispiel für multivariate Tests ist eine Seite, auf der mehrere Elemente zur Debatte stehen - zum Beispiel eine Seite, die ein Anmeldeformular, eine Art einprägsamen Kopfzeilentext und eine Fußzeile enthält. Um einen multivariaten Test auf dieser Seite durchzuführen, könnten Sie, anstatt ein radikal unterschiedliches Design wie beim A/B-Testing zu erstellen, zwei unterschiedlich lange Anmeldeformulare, drei verschiedene Überschriften und zwei Fußzeilen erstellen. Anschließend würden Sie die Besucher auf alle möglichen Kombinationen dieser Elemente trichtern. Dies wird auch als vollfaktorielles Testen bezeichnet und ist einer der Gründe, warum multivariate Tests oft nur für Sites empfohlen werden, die ein hohes tägliches Besucheraufkommen haben - je mehr Variationen getestet werden müssen, desto länger dauert es, um aussagekräftige Daten aus dem Test zu erhalten.

Nachdem der Test durchgeführt wurde, werden die Variablen auf jeder Seitenvariante miteinander und mit ihrer Leistung im Kontext anderer Versionen des Tests verglichen. Daraus ergibt sich ein klares Bild davon, welche Seite am besten abschneidet und welche Elemente am meisten für diese Leistung verantwortlich sind. Es kann sich zum Beispiel herausstellen, dass die Änderung einer Fußzeile nur einen geringen Einfluss auf die Leistung der Seite hat, während die Änderung der Länge des Anmeldeformulars einen großen Einfluss hat.

Vorteile von multivariaten Tests

Mit multivariaten Tests können Sie Ihre Bemühungen zur Neugestaltung der Seite gezielt auf die Elemente ausrichten, die den größten Einfluss haben. Dies ist z. B. bei der Gestaltung von Landing Page-Kampagnen besonders nützlich, da die Daten über die Wirkung des Designs eines bestimmten Elements auf künftige Kampagnen angewendet werden können, selbst wenn sich der Kontext des Elements geändert hat.

Beschränkungen von multivariaten Tests

Die größte Einschränkung bei multivariaten Tests ist die Menge des Datenverkehrs, die zur Durchführung des Tests erforderlich ist. Da alle Experimente vollständig faktoriell sind, können zu viele sich ändernde Elemente auf einmal schnell zu einer sehr großen Anzahl von möglichen Kombinationen führen, die getestet werden müssen. Selbst bei einer Site mit relativ hohem Traffic kann es schwierig sein, einen Test mit mehr als 25 Kombinationen in einem vertretbaren Zeitraum abzuschließen.

Wenn Sie multivariate Tests verwenden, müssen Sie auch bedenken, wie sie sich in Ihren gesamten Test- und Umgestaltungszyklus einfügen. Selbst wenn Sie über die Auswirkungen eines bestimmten Elements Bescheid wissen, sollten Sie zusätzliche A/B-Testing-Zyklen durchführen, um andere, radikal andere Ideen zu testen. Manchmal lohnt es sich auch nicht, einen kompletten multivariaten Test durchzuführen, wenn mehrere gut durchdachte A/B-Tests ausreichen, um die gewünschte Wirkung zu erzielen.

Die Quintessenz zum Vergleich von Testformaten

Lassen Sie sich nicht von den Unterschieden zwischen A/B-Testing und multivariaten Tests dazu verleiten, sie als Gegensätze zu betrachten. Betrachten Sie sie stattdessen als zwei leistungsstarke Optimierungsmethoden, die sich gegenseitig ergänzen. Entscheiden Sie sich für die eine oder die andere, oder nutzen Sie beide zusammen, um das Beste aus Ihrer Site herauszuholen.