Benutzer von Feature Experimentieren: Beschleunigen Sie Ihr Experimentieren mit Rules Engine

Der größte Unterschied zwischen unserer Legacy-Lösung für das Full Stack Experimentieren und Feature Experimentation besteht darin, dass alle Experimente, Targeting-Lieferungen und Mehrarmigen Banditen (MABs) auf Feature Flags basieren. Durch die Abschaffung der alten A/B-Tests zugunsten der Rules Engine und der A/B-Test-Regeln sind alle A/B-Tests im Wesentlichen Feature-Tests (aus der alten Lösung), und erfolgreiche Variationen können ohne die Beteiligung von Entwicklern ausgerollt werden .

Heute können alle Kunden von Feature Experimentation Flags mit bis zu einer A/B-Testing-Regel und einer Targeted Delivery-Regel erstellen. Mit dieser Funktion heben wir die Begrenzung auf bis zu zwei Regeln pro Flag auf. Das bedeutet, dass Kunden mit einer einzigen Flagge mehrere A/B-Tests, MABs und Targeting-Zustellungen gleichzeitig durchführen können.

Dies erhöht die Geschwindigkeit des Experimentierens: Wenn Kunden von Feature Experimentation den empfohlenen Arbeitsablauf befolgen (siehe unten), können sie die Beteiligung von Ingenieuren minimieren und nicht-technischen Mitarbeitern ermöglichen, viele Experimente und Targeting-Deliveries durchzuführen , ohne wertvolle technische Ressourcen zu verwenden, nachdem das Flag implementiert und getestet wurde.

Diese Funktion hat das Potenzial, allein die Geschwindigkeit des Experimentierens eines Kunden zu verdoppeln oder zu verdreifachen. Außerdem eröffnet sie der Branche eine neue Kategorie von Anwendungsfällen: die Personalisierung von Funktionen oder die Möglichkeit, einzelne Funktionen auf ein oder mehrere Zielgruppen gleichzeitig zuzuschneiden.

Personalisieren Sie Ihre Funktionen

Mit mehreren Experimenten und Auslieferungen pro Flag können Kunden von Feature Experimentation dem empfohlenen Workflow (siehe unten) folgen, um nahtlos Experimente durchzuführen, wertvolle Erkenntnisse zu gewinnen und erfolgreiche Varianten auszurollen - und das alles, ohne einen Entwickler zu benötigen, nachdem das Flag implementiert und getestet wurde.

Benutzer von Feature Experimentation können mehr als ein Experiment und ein Targeting zur gleichen Zeit durchführen. Mit dieser Funktion können Sie Funktionen in großem Umfang personalisieren, indem Sie mehrere Versionen einer Funktion zur gleichen Zeit für verschiedene Zielgruppen freigeben, die alle das gleiche Flag verwenden.

Wie die Rules Engine funktioniert

Die Rules Engine ist eine einzigartige Funktion von Feature Experimentation und ermöglicht es Benutzern, eine Reihe von A/B-Tests, MABs und Targeted Deliveries für ein einziges Flag zu erstellen.

Sie funktioniert, indem jede Regel nacheinander ausgewertet wird. Die Auswertungslogik ist zwar komplex, aber sie wurde absichtlich entwickelt, um den Wert des Web-Traffics zu maximieren, indem Benutzer algorithmisch in das erste Experiment oder Targeting einbezogen werden, für das sie sich qualifizieren, anstatt sie bei der ersten Gelegenheit zu disqualifizieren.

Reihenfolge der Operationen

Wenn eine Entscheidung für einen Benutzer für eine bestimmte Markierung getroffen werden muss:

Empfohlener Arbeitsablauf

Benutzer von Feature Experimentation können den größten Nutzen aus der Rules Engine und mehreren Experimenten und Lieferungen pro Flag ziehen, wenn sie diesen Arbeitsablauf für alle Features (und Flags) befolgen :

1. Ein nicht-technischer Benutzer oder Entwickler erstellt eine Flagge in der Feature Experimentation UI mit Variablen für jeden Teil des Features, mit dem jemand in Zukunft experimentieren möchte. Dies kann als Feature- oder Flag-Spezifikation oder -Spezifikation betrachtet werden.
2. Die Flag-Spezifikation und der entsprechende Codeschnipsel aus der Feature Experimentation UI können in eine Jira-Story (oder ein Workflow-Tool) eingefügt werden, die ein Entwickler implementieren kann.
3. Ein Entwickler implementiert das Flag entsprechend der Flaggenspezifikation, mit einer vernünftigen Fehlerbehandlung (sollte es ein Problem mit der Flagge geben) und Unit-Tests für die Flagge selbst, einschließlich aller ihrer Variablen. Entwickler sollten ihre Features mit mehreren Werten für jede Flag-Variable testen, einschließlich leerer oder ungültiger Werte.
4. Sobald der Entwickler sicher ist, dass das Flag wie erwartet funktioniert, kann er den Code mit deaktiviertem Flag bereitstellen. Dies wird manchmal als Dark Release bezeichnet.
5. Es ist keine weitere Beteiligung des Entwicklers erforderlich. Nicht-technische Benutzer können jetzt Regeln zum Bereich Rules Engine der Flagge hinzufügen, einschließlich A/B-Tests, MABs und/oder Targeting Deliveries. Sie können die Flagge und die Regeln einschalten und nach Herzenslust experimentieren, ohne sich mit dem Entwicklungsteam abstimmen zu müssen.
6. Wenn A/B-Tests durchgeführt und erfolgreiche Varianten identifiziert werden, können Kunden die A/B-Testing-Regeln anhalten oder entfernen und Targeting-Regeln hinzufügen, um erfolgreiche Varianten auszuliefern, ohne dass sie einen Entwickler benötigen.

F&A

F: Ist Rules Engine für Full Stack (Legacy) Projekte verfügbar?

A: Nein. Diese Funktion ist nur in Feature Experimentation verfügbar. Es gibt ein kostenloses 1-Klick-Migrations-Tool, das Sie bei der Migration von unserem alten Full Stack zu Feature Experimentation unterstützt.

F: Sind mehrere Experimente und Auslieferungen pro Flag für Full Stack (Legacy) Projekte verfügbar?

A: Nein. Diese Funktion erfordert die Rules Engine und die Rules Engine ist nur in Feature Experimentation verfügbar.

F: Warum gibt es eine unterschiedliche Reihenfolge für die Auswertung von Experimenten und Targeting in Rules Engine?

A: Die Regeln für Experimente (A/B-Test & MAB) werden nicht auf dieselbe Weise ausgewertet wie die Regeln für Targeting-Lieferungen. In beiden Fällen wird die nächste Regel ausgewertet, wenn der Benutzer nicht den Kriterien der Zielgruppe entspricht. Bei Experimenten wird die nächste Experiment-Regel ausgewertet, wenn der Nutzer nicht in die Traffic-Zuweisung des Experiments aufgenommen wird. Bei der Targeting-Zustellung springt die Regelmaschine zur letzten Regel (Dann, für alle anderen...), wenn der Benutzer der Zielgruppe der Regel entspricht, aber nicht in die Verkehrszuweisung eingeordnet ist, anstatt die nächste Regel zu bewerten.