Benutzer der Funktion Experimentieren: Beschleunigen Sie die Geschwindigkeit Ihrer Experimente mit Rules Engine

Der größte Unterschied zwischen unserer alten Full-Stack-Experimentierlösung und der Feature-Experimentierlösung besteht darin, dass alle Experimente, gezielten Lieferungen und Multi-Armed Bandits (MABs) auf Feature-Flags basieren. Durch die Abschaffung der alten A/B-Tests zugunsten der Rules Engine und der A/B-Testregeln sind alle A/B-Tests im Wesentlichen Feature-Tests (aus der alten Lösung), und erfolgreiche Variationen können ohne Beteiligung der Entwickler ausgerollt werden .

Heute können alle Feature Experimentation-Kunden Flags mit bis zu einer A/B-Test-Regel und einer Targeted-Delivery-Regel erstellen. Mit dieser Funktion wird die Begrenzung auf bis zu zwei Regeln pro Flag aufgehoben. Das bedeutet, dass Kunden mit einer einzigen Flagge mehrere A/B-Tests, MABs und Targeted Deliveries gleichzeitig durchführen können.

Dies ist ein entscheidender Faktor für die Geschwindigkeit von Experimenten: Wenn Feature-Experimentier-Kunden den empfohlenen Arbeitsablauf befolgen (siehe unten), können sie die Beteiligung von Ingenieuren minimieren und es nicht-technischen Mitarbeitern ermöglichen, viele Experimente und gezielte Auslieferungen durchzuführen , ohne wertvolle technische Ressourcen zu verwenden, nachdem das Flag implementiert und getestet wurde.

Diese Funktion hat das Potenzial, allein die Experimentiergeschwindigkeit eines Kunden zu verdoppeln oder zu verdreifachen. Darüber hinaus eröffnet sie eine neue Kategorie von Anwendungsfällen für die Branche: die Personalisierung von Funktionen, d. h. die Möglichkeit, einzelne Funktionen an eine oder mehrere Zielgruppen gleichzeitig anzupassen.

Personalisieren Sie Ihre Funktionen

Mit mehreren Experimenten und Auslieferungen pro Flag können Feature-Experimentation-Kunden dem empfohlenen Workflow (siehe unten) folgen, um nahtlos Experimente durchzuführen, wertvolle Erkenntnisse zu gewinnen und erfolgreiche Varianten auszurollen - und das alles, ohne einen Entwickler zu benötigen, nachdem das Flag implementiert und getestet wurde.

Feature-Experimentation-Benutzer können mehr als ein Experiment und eine gezielte Auslieferung zur gleichen Zeit durchführen. Diese Fähigkeit ermöglicht es Ihnen, Features in großem Umfang zu personalisieren, indem Sie die Freigabe mehrerer Versionen eines Features für verschiedene Zielgruppen zur gleichen Zeit ermöglichen, wobei alle das gleiche Flag verwenden.

Wie die Rules Engine funktioniert

DieRules Engine ist eine einzigartige Funktion von Feature Experimentation und ermöglicht es Benutzern, eine Reihe von A/B-Tests, MABs und gezielten Auslieferungen mit einem einzigen Flag zu erstellen .

Sie funktioniert, indem jede Regel nacheinander ausgewertet wird. Die Auswertungslogik ist zwar komplex, wurde aber absichtlich entwickelt, um den Wert des Web-Traffics zu maximieren, indem Nutzer algorithmisch in das erste Experiment oder die erste Targeted Delivery eingeordnet werden, für die sie sich qualifizieren, anstatt sie bei der ersten Gelegenheit zu disqualifizieren.

Reihenfolge der Operationen

Wenn eine Entscheidung für einen Nutzer für ein bestimmtes Kennzeichen getroffen werden muss:

Empfohlener Arbeitsablauf

Benutzer von Feature-Experimenten können den größten Nutzen aus Rules Engine und Multiple Experiments and Deliveries per Flag ziehen, wenn sie diesem Workflow für alle Features (und Flags) folgen :

1. Ein nicht-technischer Benutzer oder Entwickler erstellt ein Flag in der Feature Experimentation UI mit Variablen für jeden Teil des Features, mit dem jemand in Zukunft experimentieren möchte. Dies kann als Feature- oder Flag-Spezifikation oder -Spezifikation betrachtet werden.
2. Die Spezifikation und der entsprechende Codeschnipsel aus der Feature Experimentation UI können in eine Jira-Story (oder ein Workflow-Tool) eingefügt werden, die ein Entwickler implementieren kann.
3. Ein Entwickler implementiert das Flag gemäß der Flag-Spezifikation, mit einer vernünftigen Fehlerbehandlung (sollte es ein Problem mit dem Flag geben) und Unit-Tests für das Flag selbst, einschließlich aller seiner Variablen. Die Entwickler sollten ihre Funktionen mit mehreren Werten für jede Flag-Variable testen, einschließlich leerer oder ungültiger Werte.
4. Sobald der Entwickler sicher ist, dass das Flag wie erwartet funktioniert, kann er den Code mit deaktiviertem Flag bereitstellen. Dies wird manchmal als Dark Release bezeichnet.
5. Es ist keine weitere Beteiligung des Entwicklers erforderlich. Nicht-technische Benutzer können nun Regeln in den Bereich Rules Engine des Flags einfügen, einschließlich A/B-Tests, MABs und/oder Targeted Deliveries. Sie können die Flagge und die Regeln einschalten und nach Herzenslust experimentieren, ohne sich mit dem Entwicklungsteam abstimmen zu müssen.
6. Wenn A/B-Tests durchgeführt und erfolgreiche Varianten identifiziert werden, können Kunden die A/B-Test-Regeln anhalten oder entfernen und Targeted-Delivery-Regeln hinzufügen, um erfolgreiche Varianten auszurollen - und das alles, ohne einen Entwickler zu benötigen.

F&A

F: Ist Rules Engine für Full Stack (Legacy) Projekte verfügbar?

A: Nein. Dies ist nur in Feature Experimentation verfügbar. Es gibt ein kostenloses 1-Klick-Migrations-Tool, das Sie bei der Migration von unserem alten Full Stack zu Feature Experimentation unterstützt.

F: Sind mehrere Experimente und Lieferungen pro Flag für Full Stack-Projekte (Legacy) verfügbar?

A: Nein. Diese Funktion erfordert die Rules Engine und die Rules Engine ist nur in Feature Experimentation verfügbar.

F: Warum gibt es eine unterschiedliche Reihenfolge für die Auswertung von Experimenten und gezielten Lieferungen in Rules Engine?

A: Die Regeln für Experimente (A/B-Test & MAB) werden nicht auf die gleiche Weise ausgewertet wie die Regeln für gezielte Lieferungen. In beiden Fällen wird die nächste Regel ausgewertet, wenn der Benutzer nicht den Kriterien der Zielgruppe entspricht. Bei Experimenten wird die nächste Regel ausgewertet, wenn der Nutzer nicht in die Traffic-Zuordnung des Experiments fällt. Bei der gezielten Zustellung springt die Regelmaschine zur letzten Regel (Dann, für alle anderen...), wenn der Benutzer der Zielgruppe der Regel entspricht, aber nicht in die Verkehrszuweisung eingeordnet ist, anstatt die nächste Regel zu bewerten.