A/B-Testing der internen Site-Suche nach Stockfotos: Exakte Übereinstimmung vs. Unscharfe Übereinstimmung

Boris Masis ist Programmmanager bei Bigstock, einer Tochtergesellschaft von Shutterstock. Ich habe mit ihm über die Testkultur bei Bigstock gesprochen, darüber, wie das Team Testideen priorisiert, und über einen einzigartigen Test, der das Erlebnis für Bigstock dramatisch verbessert hat.

Optimizely: Wie lange machen Sie schon A/B-Tests?

Boris Masis: Wir testen schon seit etwa einem Jahr. Auf der Suche nach einer Testplattform haben wir uns VWO und Optimizely angeschaut. Wir haben mit einer Demo von Optimizely angefangen und uns verliebt. Seitdem spielt das Testen eine wichtige Rolle in unserer Roadmap. Es ist Teil unserer Strategie für die Produkteinführung. Wir haben zum Beispiel gerade zwei ziemlich große Funktionen eingeführt, die wir zuerst getestet haben: neue Checkout-Abläufe und einen brandneuen Suchalgorithmus. Durch das Testen stellen wir sicher, dass die Arbeit einen Mehrwert schafft, und quantifizieren diesen Wert. Natürlich führen wir auch Tests durch, wenn wir uns nicht sicher sind, welchen Weg wir einschlagen sollen.

Optimizely: Wie sieht Ihr Testverfahren aus?

Ein Schnappschuss des A/B-Testing-Prozesses bei Bigstock.

Boris: Wir haben eine weiße Tafel, auf der die Projekte von "Planung" über "in Entwicklung" und "A/B-Testing" bis hin zu "vollständig geliefert" aufgeführt sind. Wir versuchen, jedes große Projekt einem A/B-Testing zu unterziehen, bevor wir es als fertig bezeichnen, um sicherzustellen, dass es tatsächlich hilft.

"Es ist ganz einfach, A/B-Testing zu einem Teil Ihres Entwicklungsablaufs und -prozesses zu machen. Nachdem Sie die ersten Tests durchgeführt haben, ist es ganz natürlich, dass Sie weitermachen wollen. Es liefert sehr greifbare Ergebnisse und hilft Ihnen zu sehen, welche Wirkung Sie erzielen."

Boris Masis, Programm-Manager, Bigstock

Optimizely: Wie haben Sie bei Bigstock eine Testkultur aufgebaut?

Boris: Aus der Sicht der Entwickler wird es sehr gut wahrgenommen und angenommen. Die Mitarbeiter sind begeistert von den Ergebnissen. Wir haben einen Statistik-Fernseher im Büro, auf dem sich die Metriken abwechseln und auf dem normalerweise ein oder zwei Optimizely-Ergebnisse zu sehen sind. Es ist großartig, messbare Ergebnisse zu haben, über die wir sprechen können. Vor ein paar Monaten haben wir die gesamte Bigstock-Gruppe zusammengerufen, um die Aufzeichnung des Webinars über Erfolgsmethoden und Lessons Learned anzusehen. Auch Leute, die nicht an der Site arbeiten, können sich ein Bild davon machen, wie der Prozess abläuft, und ihre Ideen einbringen. Es ist eine kleine Herausforderung, alle einzubinden, aber es ist ziemlich informell. Wenn wir uns bei etwas nicht sicher sind, ist Testen die offensichtliche Antwort.

Fallstudie: Mit Fuzzy-Suchalgorithmus 10% genauere Suchergebnisse

Als Bildagentur sind Bigstock und unsere Muttergesellschaft Shutterstock stets bemüht, die genauesten Suchergebnisse zu liefern. Bei der Suche ist ein gewisses Maß an Zufall im Spiel, und die Nutzer verwenden viele Methoden, um zu dem zu gelangen, was sie suchen. Wir wollten die Leistung eines neuen Suchalgorithmus testen, der die Menschen genau zu dem führt, was sie suchen. Ein Entwickler entwarf einen "Fuzzy-Auto-Suggest"-Algorithmus, der den gewünschten Suchbegriff erriet, wenn das Wort falsch geschrieben war (zum Beispiel ist "Kalender" auf unserer Site häufig falsch geschrieben). Wir haben den Algorithmus mit dem "exakten automatischen Vorschlag" verglichen, der die Ergebnisse auf der Grundlage des exakten Suchbegriffs ausgibt. Wie jedes erfolgreiche Experiment begann auch dieser Test mit einem Ziel.

Ziel

Unser Ziel war es, herauszufinden, ob ein unscharfer Vorschlagsalgorithmus den Nutzern bessere Ergebnisse präsentiert und das allgemeine Erlebnis für die Nutzer verbessert. Wenn der Algorithmus also das Wort präsentiert, das Sie tatsächlich gemeint haben, werden Sie es dann eher auswählen? Wir dienten als Stellvertreter für einen leichtgewichtigen Test, der auch für Shutterstock gelten würde.

Hypothese

Ich wusste nicht, ob es einen Unterschied machen würde oder nicht. Wenn wir ein neues Design erstellen, ist der Gewinner normalerweise ziemlich offensichtlich. Bei diesem Test hatte ich kein intuitives Gespür.

Messung

Wir haben den Erfolg des Tests anhand der Gesamtzahl der ausgewählten Ergebnisse gemessen.

Original (Exaktes automatisches Vorschlagen)

Variation (Fuzzy Auto Suggest)

Ergebnisse

Die Benutzer wählten die Ergebnisse des unscharfen automatischen Vorschlags 9,6 % häufiger aus. Wir konnten durchweg signifikante Verbesserungen feststellen, darunter eine 6,52%ige Steigerung der Anzahl der Bilder, die in den Warenkorb gelegt wurden, und eine 3,2%ige Steigerung der heruntergeladenen Bilder.

Wir haben den Test fünf Tage lang durchgeführt. Normalerweise machen wir das länger, aber dies war ein Experiment mit sehr hohem Traffic und klar getrennten Conversion Rates. Wir haben uns mit Google Analytics auch angeschaut, wie es sich auf den restlichen Auswahlprozess und den Kauf von Bildern ausgewirkt hat. Dort verfolgen wir viele zusätzliche Details zum Nutzerverhalten.

4 wichtige Erkenntnisse aus dem Testing

• Sie müssen testen, denn manchmal ist Ihre Intuition falsch.
• Die Interpretation der Ergebnisse ist schwierig, und je mehr unterstützende Daten Sie haben, desto besser, mit anderen Worten: integrieren Sie Ihre Analyseplattform.
• Es ist ganz einfach, A/B-Testing zu einem Teil Ihres Entwicklungsflusses und -prozesses zu machen. Nachdem Sie die ersten Tests durchgeführt haben, ist es nur natürlich, dass Sie weitermachen wollen. Es liefert sehr greifbare Ergebnisse und hilft Ihnen zu sehen, welche Wirkung Sie erzielen.
• Konzentrieren Sie sich zunächst auf die großen Dinge und führen Sie zunächst Sondierungsarbeiten durch, bevor Sie Optimierungen vornehmen. Probieren Sie zum Beispiel zuerst völlig neue Algorithmen oder Seitenlayouts aus und führen Sie dann kleinere Tests durch, wie z.B. die Optimierung von Schaltflächen.