Bauen vs. Kaufen: Die Wahl der richtigen Lösung zum Experimentieren

Ingenieure und Product Manager sind in der Lage, jede neue Produktfunktion in einer kontrollierten Umgebung A/B-Tests durchzuführen, um die Auswirkungen auf wichtige Funktionen wie Engagement, Produktnutzung und Umsatz zu ermitteln, bevor die Funktion für alle eingeführt wird.

Diese Unternehmen haben alle komplexe interne Softwareplattformen aufgebaut, um ihr Experimentieren bei der Produktentwicklung zu unterstützen. Wenn Sie die gleiche Praxis der Validierung digitaler Produktentscheidungen anhand von Daten anwenden möchten, werden Sie wahrscheinlich überlegen, wie Sie eine Plattform zum Experimentieren für Ihr Produkt- und Entwicklungsteam implementieren können.

Je nach den besonderen Anforderungen und Bedürfnissen Ihres Unternehmens können Sie verschiedene Wege einschlagen:

• Erstellen Sie Ihr eigenes Server Side Testing-Framework für A/B-Testing im Haus
• Integrieren Sie eine Open-Source-Lösung
• Investieren Sie in eine kommerzielle Plattform zum Experimentieren wie Optimizely Full Stack

Wenn Sie Ihre Optionen abwägen, können Ihnen die folgenden vier Bereiche helfen, sich zu informieren und zu entscheiden, welche Lösung am sinnvollsten ist.

1. Statistische Strenge: Haben Sie Vertrauen in das System und die Ergebnisse, die es liefert?

Richtig umgesetzt, kann Experimentieren Teams dabei helfen, schnell herauszufinden, welche Funktionen und Änderungen den Geschäftswert steigern werden und welche nicht. Die besten Teams nehmen das Scheitern in Kauf und versuchen, so schnell wie möglich zu scheitern, damit sie zu Ideen übergehen können, die funktionieren. Um schneller zu scheitern und schnell zu lernen, müssen Ihre Teams darauf vertrauen, dass die Tests korrekt durchgeführt werden und die Ergebnisse genau sind.

Viele Unternehmen unterschätzen jedoch die Schwierigkeit, Daten zuverlässig zu erfassen und ihre Analysepipelines über einen längeren Zeitraum zu pflegen. Wenn Ereignisse nicht korrekt nachverfolgt werden oder analytische Integratoren nicht mehr funktionieren, führt dies zu Verzögerungen und einer geringeren Geschwindigkeit beim Experimentieren.

In vielen Unternehmen liegt die Verantwortung für die Festlegung einer Stichprobengröße und die Analyse der Ergebnisse in der Regel bei einem Analytik- oder Data Science-Team. Einige Analyseteams, die für die Analyse jedes Tests zuständig sind, stellen fest, dass sie schnell zum Engpass werden, wenn das Experimentieren über mehrere Teams skaliert.

Wenn Sie eine Plattform für Ihr Unternehmen evaluieren, stellen Sie sicher, dass Ihr Analystenteam einbezogen wird, um festzustellen, welche Lösung es ihm am leichtesten macht, schnell auf Daten zuzugreifen und die Ergebnisse an die Beteiligten weiterzugeben.

2. Benutzerfreundlichkeit: Ist das System einfach für Entwickler und zugänglich für Geschäftsanwender?

Die besten Teams der Welt führen jedes Jahr Tausende von Experimenten durch, um die Möglichkeiten zum Lernen zu maximieren. Die Benutzerfreundlichkeit sowohl für technische als auch für nicht-technische Benutzer kann den Unterschied zwischen einigen Experimenten im Jahr und Hunderten oder sogar Tausenden von Experimenten ausmachen.

In den meisten Produktteams werden die Entwickler die Tests direkt in Ihrer Codebasis implementieren, so dass sie häufig die erste Entscheidung darüber treffen, mit welcher Lösung sie beginnen. Viele Open-Source-Tools oder selbst entwickelte Systeme arbeiten anfangs vollständig innerhalb des Codes. Das bedeutet, dass für jede neue Änderung am Experiment ein Deployment erforderlich ist und dass es für Produktmanager oder Analysten schwierig ist, zu verstehen, was bei laufenden Experimenten passiert, ohne Daten aus einer Datenbank zu ziehen und Berichte von Hand zu analysieren.

Bei der Entscheidung, ob ein System für Geschäftsanwender zugänglich ist, sollten Sie darauf achten, ob es Tools für die Fernkonfiguration und ein leicht verständliches UI-Design enthält. Diese Funktionen helfen den Teams, die Geschwindigkeit des Experimentierens zu erhöhen, indem sie die Experimente von der Bereitstellung entkoppeln und unternehmensweit für Transparenz beim Experimentieren sorgen.

Wenn es um die Produktivität der Entwickler geht, konzentrieren Sie sich auf Funktionen der Lösung wie eine solide Dokumentation und die Unterstützung mehrerer Sprachen, die es dem Entwicklungsteam ermöglichen, weniger Zeit damit zu verbringen, herauszufinden, wie man Tests durchführt, und mehr Zeit mit der Arbeit an kundenorientierten Funktionen zu verbringen. Eine robuste Lösung umfasst auch APIs, mit denen sich bestimmte Aufgaben automatisieren oder tiefer in die Arbeitsabläufe des Entwicklungsteams integrieren lassen.

3. Gesamtbetriebskosten: Wie wird das System im Laufe der Zeit entwickelt und gewartet?

Eine Eigenentwicklung oder die Übernahme eines Open-Source-Frameworks ist in der Regel mit einer relativ geringen Anfangsinvestition verbunden. Im Laufe der Zeit werden jedoch zusätzliche Funktionen und Anpassungen erforderlich, da immer mehr client- und serverseitige Teams die Plattform nutzen und der Wartungsaufwand die Ingenieure vom eigentlichen Produkt ablenkt.

Um unvorhergesehene Wartungskosten zu vermeiden, stellen Sie sicher, dass Sie nicht nur die anfänglichen Anforderungen Ihres Teams an die Funktionen kennen, sondern auch Zeit für Fehlerbehebungen einplanen und die komplexeren Funktionen berücksichtigen, die Sie im Laufe der Zeit benötigen könnten. Müssen Sie Experimente durchführen, die sich gegenseitig ausschließen, oder erweiterte Targeting-Funktionen verwenden? Bestimmen Sie, wie individuell diese erweiterten Funktionen sein werden, und schätzen Sie die für ihre Erstellung und Pflege erforderlichen Ressourcen ein. Wenn Sie Ihre organisatorische Bandbreite für die Entwicklung und Wartung vorhersehen, können Sie über die anfängliche Entwicklung hinaus planen, sich für den Kauf oder den Bau entscheiden und sicherstellen, dass wichtige Funktionen verfügbar sind, wenn Ihr Team sie am meisten braucht.

4. Menschen und Prozesse: Wer wird die Kultur des Experimentierens in Ihrem Unternehmen verbreiten?

Erfolgreiches Experimentieren hat ebenso viel mit Kultur wie mit Technik zu tun. Die besten Teams investieren in Menschen und Prozesse, um sicherzustellen, dass der kulturelle Wandel Fuß fasst und datengestützte Entscheidungsfindung zur Norm wird.

Unabhängig davon, ob Sie sich entscheiden, eine eigene Plattform zum Experimentieren aufzubauen oder in eine kommerzielle Lösung zu investieren, ist es entscheidend, die richtigen Mitarbeiter und Prozesse zu haben. Wenn Sie die Mitarbeiter in Ihrem Unternehmen bestimmen, die für die Definition von Schlüsselkennzahlen und die Förderung einer Experimentierkultur im gesamten Unternehmen verantwortlich sind, können Sie sicherstellen, dass Sie das Beste aus der von Ihnen gewählten Lösung herausholen.