Statistische Significantz

Was ist statistische Signifikanz?

Diestatistische Signifikanz (auch statistische Bedeutung) ist ein Maß dafür, wie ungewöhnlich deine Versuchsergebnisse wären, wenn es tatsächlich keinen Leistungsunterschied zwischen deiner Variante und der Basisliniegäbe und die Diskrepanz beim Auftrieb nur auf den Zufall zurückzuführen wäre.

Was bedeutet statistische Signifikanz wirklich?

Online-Webbesitzer, Vermarkter und Werbetreibende wollen in letzter Zeit sicherstellen, dass ihre A/B-Test-Experimente (z. B. A/B-Testing der Konversionsrate, Änderung von Anzeigentexten, Optimierung von E-Mail-Betreffzeilen) statistische Signifikanz erhalten, bevor sie voreilige Schlüsse ziehen.

Wenn wirauf der Optimizely-Ergebnisseite ein Signifikanzniveau von 90 % oder mehr sehen, ist das eine statistische Überraschung: Etwas sehr Ungewöhnliches ist passiert, wenn es tatsächlich keinen Unterschied zwischen einer Variation und der Basislinie gibt. Wenn dein Experiment jedoch die von dir gewählte Signifikanzschwelle nicht erreicht oder überschreitet, solltest du beachten, dass das Ergebnis nicht darauf hindeutet, dass es wenig bis gar keine Hinweise auf einen Behandlungseffekt in dem Experiment gibt.

Testen deiner Hypothese

Die statistische Signifikanz wird in der Praxis vor allem bei Hypothesentests verwendet. Du möchtest zum Beispiel wissen, ob die Änderung der Farbe eines Buttons auf deiner Website von rot zu grün dazu führt, dass mehr Leute darauf klicken. Wenn dein Button derzeit rot ist, nennt man das deine "Nullhypothese", die die Form deiner Versuchsgrundlage hat. Wenn dudeinen Button grün färbst, ist das deine "Alternativhypothese " .

Um den beobachteten Unterschied in einem statistischen Signifikanztest zu bestimmen, musst du auf zwei Ergebnisse achten: den p-Wert und das Konfidenzintervall.

Der p-Wert kann als die Wahrscheinlichkeit definiert werden, dass die Beweise für einen Leistungsunterschied zwischen deiner Variante und der Ausgangshypothese gleich stark oder stärker sind, wobei davon ausgegangen wird, dass es tatsächlich keinen Unterschied zwischen den beiden Varianten gibt und jeder beobachtete Leistungsanstieg ausschließlich auf einen zufälligen Zufall zurückzuführen ist. P-Werte sagen nichts darüber aus, wie groß oder klein dein Effekt ist oder wie wichtig das Ergebnis sein könnte .

Das Konfidenzintervall ist ein geschätzter Wertebereich, der wahrscheinlich, aber nicht garantiert, den unbekannten, aber exakten Wert enthält, der deine Zielpopulation zusammenfasst, wenn ein Experiment mehrmals wiederholt wurde. Ein Intervall besteht aus einer Punktschätzung (einem einzelnen Wert, der aus dem statistischen Modell deiner Wahl abgeleitet wird) und einer Fehlerspanne um diese Punktschätzung. Die Erfolgsmethode(n); bewährte Methode(n) ist es, Konfidenzintervalle als Ergänzung zu den Ergebnissen der statistischen Signifikanz anzugeben, da sie Aufschluss über die beobachtete Effektgröße deines Experiments geben können.

Warum ist statistische Signifikanz für Unternehmen wichtig?

Deine Messwerte und Zahlen können von Tag zu Tag stark schwanken. Die statistische Analyse bietet eine solide mathematische Grundlage, um Geschäftsentscheidungen zu treffen und falsch positive Ergebnisse auszuschließen. Ein statistisch signifikantes Ergebnis hängt von zwei Schlüsselvariablen ab: Stichprobengröße und Effektgröße.

Die Stichprobengröße gibt an, wie groß die Stichprobe für dein Experiment ist. Je größer die Stichprobe ist, desto sicherer kannst du dich auf das Ergebnis des Experiments verlassen (vorausgesetzt, es handelt sich um eine Zufallsstichprobe). Wenn du Tests auf einer Website durchführst, gilt: Je mehr Besucher deine Website hat, desto eher hast du einen ausreichend großen Datensatz, um festzustellen, ob es statistisch signifikante Ergebnisse gibt. Wenn deine Stichprobengröße zu gering ist, kann es zu Fehlern kommen.
DieEffektgröße gibt an, wie groß der Unterschied zwischen den Ergebnissen der beiden Stichproben ist, und gibt Aufschluss über die praktische Bedeutung deiner Ergebnisse .

Abgesehen von diesen beiden Faktoren ist es wichtig, sich an die Wichtigkeit von Zufallsstichproben zu erinnern. Wenn die Besucher einer Website gleichmäßig auf zwei Seiten aufgeteilt werden, die Stichprobe aber nicht zufällig ist, kann es aufgrund von Unterschieden im Verhalten der Stichprobenpopulation zu Fehlern kommen.

Wenn z. B. 100 Personen eine Website besuchen und allen Männern eine Version einer Seite und allen Frauen eine andere Version gezeigt wird, ist ein Vergleich zwischen den beiden Seiten nicht möglich, selbst wenn die Besucherzahlen 50:50 aufgeteilt sind, weil die unterschiedlichen demografischen Merkmale zu Abweichungen in den Daten führen können. Um festzustellen, ob das Ergebnis des Experiments statistisch signifikant ist, wird eine echte Zufallsstichprobe benötigt.

In der Pharmaindustrie nutzen Forscher statistische Testergebnisse aus klinischen Studien, um neue Medikamente zu bewerten. DieErgebnisse von Signifikanztests geben Aufschluss über die Wirksamkeit eines Medikaments, was die Finanzierung durch Investoren vorantreiben und ein Produkt zum Erfolg führen kann.

Mit Stats Engineimmer gültige Ergebnisseerhalten

Um gültige Ergebnisse aus Experimenten zu erhalten, die mit klassischer Statistik durchgeführt werden, sind strenge Richtlinien erforderlich: Lege im Voraus einen minimalen nachweisbaren Effekt und die Stichprobengröße fest, schaue nicht auf die Ergebnisse und teste nicht zu viele Ziele oder Variationen gleichzeitig. Diese Richtlinien können mühsam sein und, wenn sie nicht sorgfältig befolgt werden, zu stark verzerrten und zweifelhaften Ergebnissen führen.

Zum Glück kannst du die statistische Signifikanz deiner Experimente ganz einfach mit Stats Engine, dem fortschrittlichen Statistikmodell von Optimizely,bestimmen . Die Stats Engine kombiniert sequentielle Tests und die Kontrolle der Falschentdeckungsrate, damit du unabhängig von der Stichprobengröße schneller zuverlässige Ergebnisse erhältst. Die Stats Engine wird in Echtzeit aktualisiert und berechnet immer gültige Schlussfolgerungen, damit du die richtigen Entscheidungen für dein Unternehmen treffen und Fallstricke auf dem Weg dorthin vermeiden kannst.

Um diese häufigen Probleme zu lösen, wurde Stats Engine entwickelt, um mehr in kürzerer Zeit zu testen. Stats Engine hilft dir, statistisch fundierte Entscheidungen in Echtzeit zu treffen, passt die Werte bei Bedarf an und liefert schnell und präzise zuverlässige Ergebnisse.

Beginne noch heute, deine Tests mit Optimizely durchzuführen, und sei dir deiner Entscheidungen sicher.