4 Fragen, die Visa geholfen haben, eine Grundlage für das Experimentieren zu schaffen

Wir stellen Ihnen vier Fragen, anhand derer Ramkumar und sein Team die richtige Mischung aus Produkten, Mitarbeitern und Prozessen für den Aufbau des aktuellen Experimentier-Teams von Visa ermittelt haben.

1. Aufbauen oder kaufen?
2. Wer wird für die Experimente verantwortlich sein?
3. Welches ist der effizienteste Prozess für das Experimentieren?
4. Wie legt man KPIs fest, um den Erfolg zu verfolgen?

1. Aufbauen oder kaufen?

Ramkumar erzählte, dass Visa zunächst entscheiden musste, ob sie ihre Lösung bauen oder kaufen sollten - eine oft mühsame Entscheidung, vor der viele Unternehmen stehen, wenn sie mit dem Testen beginnen.

"Die Standardentscheidung, die wir immer wieder von anderen hörten, lautete: Lasst uns etwas selbst bauen, denn kein Experimentieren der Welt kann alle unsere Probleme lösen."

• Ramkumar Ravichandran, Visa

Ramkumars Team war zunächst nicht bereit, selbst etwas zu entwickeln. Er hatte in früheren Experimentier-Teams intern Lösungen entwickelt, mit denen er nicht nur die wirkungsvollsten Experimente durchführen, sondern auch komplexe Tests(multivariate, serverseitige, Multifaktor-, multiple A/B-Tests oder mehrseitige Tests) durchführen und Integrationen für Metriken und Analysen anpassen konnte.

"Es geht darum, benutzerdefinierte Metriken zu definieren und eine optimierte Integration mit dem Analyse- und Customer Experience Management-Tool zu haben und all das in unseren Data Lake zurückfließen zu lassen, damit wir rückwirkende Analysen durchführen können. Es geht darum, all dies in Skalierung und mit Leistung über alle Arten von Umgebungen hinweg zu tun."

Ein weiterer Grund, warum es für Visa verlockend war, intern zu entwickeln, war, dass das Unternehmen über ein großes und talentiertes Team von Ingenieuren verfügte. Trotz dieses großartigen Ingenieurteams wäre eine interne Entwicklung jedoch zu teuer gewesen. Ramkumar sagte, dass sein Team zu viel Zeit aufwenden müsste, um die Lösung nicht nur zu entwickeln, sondern sie auch während des gesamten Lebenszyklus des Produkts zu pflegen. Diese Investition war angesichts anderer strategischer Prioritäten für die Ingenieure nicht sinnvoll.

"Die zeitliche und finanzielle Belastung, die eine Eigenentwicklung mit sich bringt, hat uns dazu bewogen, den Branchenführer zu wählen, der schnell integrieren kann - und zwar noch heute. Optimizely ist eine Plattform, auf der auch Nicht-Programmierer interagieren können... und mit den neueren Trends in der Branche Schritt halten können."

Nach der Entscheidung, Optimizely als Partner zu wählen, anstatt eine interne Lösung zu entwickeln, mussten sich Ramkumar und seine Mitarbeiter zusammensetzen, um die Mitglieder ihres Teams, ihren neuen Prozess und die KPIs des Teams zu definieren.

2. Wer ist für die Experimente verantwortlich?

Nach der Partnerschaft mit Optimizely stellte Visa ein Team zusammen, das für das Experimentieren zuständig war. Ramkumar erzählte uns von zwei wichtigen Fragen, die er sich beim Aufbau des Teams stellte:

• Wer verwaltet das Programm zum Experimentieren?
• Wer ist für welche Teile des Prozesses zuständig?

"Wir haben erkannt, dass es nicht eine Person sein kann, die das alles macht. Es werden nicht ein paar Leute sein, die in Silos sitzen und alles erledigen. Es wird eine riesige Struktur sein, die schnell und dynamisch sein muss und auf die sich ändernden Trends reagieren muss.

Um den richtigen Teamrahmen zu finden, testete Visa verschiedene Teamstrukturen, bevor es die richtige Kombination von Fachleuten für sich entdeckte. Dieser Rahmen kann bei Skalierung des Teams erweitert werden. Das Team von Visa umfasst jetzt:

A/B-Testing-Analyst: Er leitet und verwaltet das Programm. Er leitet das Team von der Ideenfindung bis zur Übergabe eines erfolgreichen Tests an den Product Owner. Diese Person ist ein Experte für Optimizely und kümmert sich um die Einrichtung, den Einsatz und die Analyse der Tests.

Ein Produktpartner: Er bringt die Sichtweise des Produktteams in die Ideenentwicklung und das Testen ein. Er steht in Verbindung mit verschiedenen Product Ownern und fungiert als Bindeglied zum Produktteam.

QA Partner: Er stellt sicher, dass die Tests unter dem Gesichtspunkt der Benutzerfreundlichkeit keine Fehler enthalten.

Technik Partner: berät bei Tests und hilft bei der Einrichtung von fortgeschrittenen Tests, die Programmierkenntnisse erfordern.

Design Partner: liefert dem Team visuelle Vorlagen für einen Test.

Nachdem Ramkumar ein Team für das Experimentieren zusammengestellt hatte, konzentrierte er sich darauf, den effektivsten Prozess für das Experimentieren zu entwickeln.

3. Welchen Prozess wird das Experimentieren-Team befolgen?

Anstatt ein Team um einen vorgegebenen Prozess herum aufzubauen, baute Visa zuerst das Team auf. Auf diese Weise war das Team an der Erstellung des Prozesses beteiligt und lieferte wertvolles Feedback für jeden Prozessschritt.

Visa setzte Kanban-Teams mit seinen QA-, Technik-, Design- und Produktpartnern ein. Kanban ist eine agile Entwicklungsmethode, die dazu dient, die Bandbreite eines Teams auszugleichen und Engpässe zu bewältigen. Sie haben den gesamten Prozess als Team durchdacht - von der Ideenfindung und Einrichtung bis hin zu QA, Bereitstellung und Nachbereitung der Bereitstellung.

"Die Einrichtung eines Kanban-Teams hat uns geholfen, weil sich alle auf das gleiche Ziel konzentrierten: das Experimentieren erfolgreich zu machen und die Wirkung des Produkts zu steigern."

Das Team beginnt mit der Ideenfindung und Priorisierung, dem Brainstorming und der Entscheidung, welche Tests es wert sind, durchgeführt zu werden. Dann geht es an die Einrichtung und Gestaltung des Tests. Anschließend wird der Test aus der Sicht des Benutzers geprüft, bevor er eingesetzt wird. Nach der Bereitstellung kann das Team die Daten analysieren und Änderungen zur Verbesserung vornehmen.

Bild aus dem Webinar von Visa und Optimizely: Die Reise zu einer Experimentierkultur

4. Wie wird das Team KPIs festlegen?

Ramkumar wies darauf hin, wie wichtig es war, frühzeitig KPIs zu definieren, um den Erfolg des Teams zu verfolgen, da das Team sowohl groß als auch für die Verbesserung vieler Funktionen und Komponenten des Visa-Produkts verantwortlich war. Er stellte zwei Fragen, die bei der Definition von KPIs helfen sollten:

• Haben wir irgendwelche Erfolgskriterien?
• Haben wir Metriken oder einen Rahmen, mit dem wir diesen Test als erfolgreich definieren können?

Ramkumars Team schlug einen zweistufigen KPI-Ansatz vor. Die erste Phase war "operativ", d.h. es wurde erfasst, wie erfolgreich die Abläufe und Prozesse des Experiments waren. In der zweiten Phase der KPIs ging es um die Auswirkungen und den ROI der einzelnen Experimente, d.h. die Verfolgung der Auswirkungen auf die allgemeinen Geschäftsziele (z.B. den Jahresumsatz), da das Experimentier-Team von Visa in der Lage sein wollte, nachzuweisen, dass die Experimente einen wesentlichen Beitrag zu den allgemeinen Geschäftszielen von Visa geleistet haben.

Wichtige Erkenntnisse

Wenn Sie das meiste aus dem Experimentieren herausholen wollen, ist es wichtig, dass Sie die richtige Grundlage schaffen.

• Wählen Sie eine Plattform, die die von Ihnen benötigte Komplexität bewältigen kann.
• Definieren Sie die Rollen und die erwarteten Beiträge Ihrer Experimentier-Teammitglieder.
• Entwickeln Sie einen effizienten und effektiven Prozess für das Testen - von der Idee bis zur Bereitstellung und Optimierung.

Visa baut weiterhin auf dem erfolgreichen Fundament des Experimentierens auf, das Ramkumar vor vier Jahren gelegt hat. Für die Zukunft plant das Unternehmen, sein Experimentieren zu skalieren und weiterhin in datenbasierte Entscheidungen zu investieren.