Veröffentlicht am 04. Juni 2014

Qualitative Fragen, die zu großartigen A/B-Tests führen

Sie haben jeden in Ihrem Unternehmen gefragt. Sie haben sich bei Ihren Konkurrenten umgesehen. Sie sprechen mit Ihren Freunden bei der Happy Hour darüber. Sie versuchen, Ideen für Ihren nächsten großen A/B-Testing-Erfolg zu finden. Qualitatives Feedback ist die nächstbeste Möglichkeit, sich zu informieren. Wenn Sie Ihre Daten nicht qualitativ auswerten, um Ihre Besucher besser zu verstehen, dann verpassen Sie einen der größten Lerneffekte.

Hiten Shah
von Hiten Shah
a group of colorful paper crafts

Unanswered Questions - Brainstorming ConceptSie haben jeden in Ihrem Unternehmen gefragt. Sie haben sich bei Ihren Konkurrenten umgesehen. Sie sprechen mit Ihren Freunden bei der Happy Hour darüber. Sie versuchen, Ideen für Ihren nächsten großen A/B-Testing-Erfolg zu finden.

Qualitatives Feedback ist die nächstbeste Möglichkeit, sich zu informieren. Wenn Sie Ihre Daten nicht qualitativ auswerten, um Ihre Besucher besser zu verstehen, dann verpassen Sie einen der größten Lerneffekte.

Qualitatives Feedback ermöglicht eine gezielte Interpretation der Online-Aktionen einer Person. Entweder tun die Leute etwas, was Sie wollen, und Sie möchten herausfinden, warum sie es tun, oder die Leute tun etwas nicht, was Sie wollen, und Sie möchten herausfinden, warum sie es nicht tun. Das ist der Zweck des qualitativen Feedbacks. Quantitatives Feedback zeigt Ihnen, was die Leute getan oder nicht getan haben, aber es lässt das Warum außer Acht.

Warum ist qualitatives Feedback wichtig für die Optimierung?

Wenn Sie sich qualitatives Feedback ansehen, versuchen Sie in Wirklichkeit herauszufinden, wie Sie erfolgreichere Tests durchführen können - und jeder will erfolgreichere Tests! Bei meinen Gesprächen mit Unternehmen habe ich in letzter Zeit einen Trend festgestellt: Die Leute wissen nicht, wie sie qualitative Informationen in den richtigen Phasen ihres Experimentierens einbeziehen sollen.

In diesem Artikel erfahren Sie, wie Software-as-a-Service (SaaS), E-Commerce- und Medienunternehmen mit Hilfe von E-Mails, On-Site-Umfragen mit Qualaroo und Website Heatmaps mit CrazyEgg qualitatives Feedback sammeln und interpretieren können, um Ideen für A/B-Tests zu entwickeln.

Wenn Sie auf Videos stehen, können Sie sich auch meinen Vortrag zu diesem Thema von der Optimizely Anwenderkonferenz OptiCon ansehen.

Sammeln Sie qualitative Daten aus E-Mails.

Um verwertbares Feedback per E-Mail zu sammeln, stellen Sie Ihren Kunden eine einzige Frage und bitten sie, diese zu beantworten.

E-Mails sind eine der einfachsten Möglichkeiten, Ihrer Nachricht eine freundliche Persönlichkeit zu verleihen. Der Betreff und der Inhalt der Nachricht sind wichtig, damit sich die Empfänger mit Ihrer Frage beschäftigen.

Example of an Intercom email for new users.

Beispiel für eine Intercom E-Mail für neue Benutzer.

Intercom ist ein großartiges Tool, um E-Mails mit Verhaltensfragen zu verschicken, denn Sie können ganz einfach nach neuen oder bestehenden Nutzern segmentieren.

Profi-Tipp: Google Forms (für Umfragen) kann direkt in Ihre E-Mail eingebettet werden.

Hier finden Sie Vorschläge für Fragen, die Sie in Ihren E-Mails stellen können:

E-Commerce Was hat Sie daran gehindert, Ihren Kauf abzuschließen?
SaaS Warum haben Sie sich nach Ihrer Testphase nicht angemeldet?
Medien Über welche Themen sollten wir als nächstes schreiben?

Sammeln Sie qualitative Daten mit Qualaroo.

MitQualaroo können Sie Umfragen erstellen, um direkt auf Ihrer Website qualitatives Feedback zu Ihrem Erlebnis einzuholen.

Ich mag Qualaroo, weil es die Menschen in dem Moment erreicht, in dem sie das tun, zu dem Sie Feedback wünschen. auf der Seite oder wenn sie bereits geklickt haben und zur nächsten Seite gegangen sind und dann gefragt werden, warum sie geklickt haben oder warum sie die letzte Sache getan haben.

Qualaroo-Umfragen können etwa so aussehen:

example_qualaroo_surveys

Die Absicht ist viel höher, wenn Sie ihnen eine Frage in diesem Moment stellen.

Das Feedback, das Sie erhalten, ist kontextbezogen und spezifisch, weil Sie wissen, auf welcher Seite der Kunde war, als er die Frage beantwortet hat, und das Feedback bezieht sich auf diese Seite.

Tipps zur Verwendung von Qualaroo für:

Industrie Ziel Fragen, die Ihnen helfen herauszufinden, warum Kunden nicht konvertieren
E-Commerce Finden Sie heraus, was auf der Seite fehlt, damit der Kunde eine Entscheidung treffen kann. Fehlende Informationen können Größenangaben, Farbangaben oder Informationen über die Kompatibilität mit einem anderen Produkt sein, das ich habe. Fragen Sie: "Fehlen Informationen auf der Seite?" Wenn Sie feststellen, dass Kunden Artikel in den Warenkorb legen, aber nicht auschecken, können Sie sie fragen: "Warum haben Sie den Kauf noch nicht abgeschlossen?"
SaaS Finden Sie demografische Informationen über den Besucher heraus, um den richtigen Inhalt zu zeigen. Fragen Sie die Besucher nach ihrer beruflichen Funktion. Dann fragen Sie sie: "Was hält Sie davon ab, sich anzumelden?" Mit diesen Informationen können Sie anfangen zu verstehen, welche Art von Targeting Sie durchführen können und welche Art von Wörtern Sie auf der Seite basierend auf bestimmten demografischen Daten verwenden sollten.
Medien Finden Sie heraus, wie Sie Inhalte effektiv empfehlen können, um Ihre Seitenaufrufe pro Besucher zu erhöhen. Eines der wertvollsten Dinge, die Sie mit Qualaroo auf Media Sites tun können, ist festzustellen, ob die Leute den aktuellen Artikel wertvoll finden. Dann nutzen Sie diese Informationen, um andere verwandte Artikel zu testen, die sie je nach der Kategorie, die sie ansehen, sehen sollten. Fragen Sie: "Worüber würden Sie gerne als nächstes lesen?"

CrazyEgg ist ein Heatmapping-Tool, mit dem Sie sehen können, wohin die Besucher auf einer Seite ihre Maus bewegen, klicken oder scrollen.

Sammeln Sie qualitative Daten mit CrazyEgg.

Tipps zur Verwendung von CrazyEgg für:

Industrie Ziel Beispielhafte Heatmaps Fallstudien, die Testideen aufdecken.
E-Commerce Erfahren Sie anhand der Interaktionsanalyse mit Crazy Egg, wie Menschen die Suche und Filterung nutzen. In diesem Beispiel geht es um ein Reiseunternehmen, das sich fragte, ob es die richtigen Formularoptionen auf der richtigen Seite anbietet. Diese Heatmap zeigte, dass es viele nicht genutzte Felder gab.image04Auf der Grundlage dieser Heatmap ist das Bild unten ein möglicher Test, den man mit diesem Formular durchführen könnte, um zu messen, ob es mehr Conversions generiert.image12
Verstehen Sie die Bedeutung der Platzierung von Bildern/Badges. Heatmaps können Ihnen dabei helfen, den Wert von Verkaufs-/Angebots-Badges zu beweisen und Aufschluss darüber geben, wo sie auf einem Produktbild platziert werden sollten. Auf der Heatmap unten klicken die Besucher eindeutig häufig auf Angebots-Badges.image09
SaaS Erfahren Sie, wo Sie Call-to-Action-Schaltflächen platzieren sollten, und zwar anhand von Scroll-Maps, die zeigen, wohin die Besucher auf den Seiten scrollen. RJMetrics nutzte eine Scroll-Map, um festzustellen, dass die Schaltfläche "Anmelden" von den meisten Besuchern nicht gesehen wurde. Diese Information inspirierte zu einem Test: Die Schaltfläche wurde nach oben in den weißen Bereich verschoben. Diese Maßnahme führte zu einer 310%igen Steigerung der Conversion.scroll-map
Erfahren Sie, welche Links in der Kopf- und Fußzeile am beliebtesten sind. Mit diesen Informationen können Sie neue Möglichkeiten entdecken, wie Sie Ihre Navigation komplett umgestalten können, um mehr Klicks auf die gewünschten Ziele zu lenken. Die Heatmap unten ist ein Beispiel von KISSmetrics.KISSmetrics-Homepage-Header-Links
Verwenden Sie Confetti, um Besucher zu segmentieren und Klickmuster zu verstehen. Damit können Sie Experimente für einen bestimmten Traffic einrichten. Beispiel für eine Confetti-Map für neue und wiederkehrende Besucher:image06Beispiel für eine Confetti-Map für Besucher, die nach geografischem Standort aufgeschlüsselt sind:image05
Medien Medien-Sites haben in der Regel viele interaktive Elemente, wie z.B. empfohlene Beiträge und Dinge wie die Hello Bar. Crazy Egg kann Ihnen helfen zu verstehen, wie die Besucher mit diesen Elementen interagieren. Mit diesen Informationen können Sie Hypothesen für Experimente aufstellen. Diese Heatmap zeigt die Klicks auf ein empfohlenes Inhaltsmodul in einem Blog:image01Diese Heatmap zeigt den Prozentsatz der Klicks auf Links auf der Site:image07

Qualitative Daten interpretieren.

Bevor wir darüber sprechen, wie man qualitative Daten interpretiert, fragen Sie sich vielleicht, wer dies tun sollte. Wer sollte für die Analyse im Allgemeinen verantwortlich sein?

Die kurze Antwort lautet, dass es eigentlich egal ist, wer es tut, solange die Informationen mit den Leuten geteilt werden, die die Hypothesen für die Experimente aufstellen. Die gemeinsame Nutzung von Daten ist Teil des Aufbaus einer gesunden Testkultur.

Solange jeder die Informationen - insbesondere die qualitativen Informationen - sehen kann, werden Sie bessere Testideen bekommen. Das Sammeln von Feedback ist von entscheidender Bedeutung und die Umsetzung dieses Feedbacks ist das A und O.

So können Sie sicherstellen, dass das Wissen geteilt wird.

Daten aus E-Mails auswerten.

Sobald Sie Ihre E-Mails verschickt haben und erste Antworten erhalten, müssen Sie jede einzelne Antwort durchgehen.

Wenn Sie die E-Mail-Methode Google Forms verwenden, erhalten Sie die Antworten direkt in ein Google-Dokument.

Das Einbetten von Umfragen in E-Mails ist eine meiner Lieblingsmethoden für Umfragen, da der Besucher so weniger Klicks machen muss. Bei Survey Monkey müssen sie auf einen Link in der E-Mail klicken, um zur Umfrage zu gelangen. Bei Umfragen, die in E-Mails eingebettet sind, müssen Sie das nicht tun, die Leute können direkt in der E-Mail antworten. Sie sollten beide Methoden testen, um herauszufinden, welche eine bessere Antwortquote bei Ihrer Zielgruppe erzielt.

Interpretation der Daten von Qualaroo.

Es ist sehr wichtig, dass Sie sich die Mühe (ich würde sagen, die Freude) machen, jede einzelne Antwort zu lesen und zu kategorisieren. Sobald Sie sie kategorisiert haben, wird sehr deutlich, welche Kategorie von Dingen am beliebtesten ist.

Survey Monkey verfügt über eine Tagging-Funktion, mit der Sie Beantwortungen mit Tags versehen können, und Sie können sehen, wie beliebt diese von Ihnen erstellten Tags sind. Wenn Sie die Antworten kategorisieren, um zu verstehen, was die Leute sagen, können Sie Ihre Aufmerksamkeit auf die Experimente konzentrieren.

In diesem Artikel haben die Mitarbeiter von MailChimp ihre Vorgehensweise bei der Analyse von Surveymonkey-Daten beschrieben (siehe: Abschnitt "Vorbereitung von Open Response-Umfragedaten für die Analyse").

Wie man eine Heatmap interpretiert und darauf Testideen aufbaut.

Einige der mit Heatmaps aufgedeckten Erkenntnisse sind in der Analytik verfügbar, aber viele lassen sich nicht auf andere Weise ermitteln. Die Erstellung eines Crazy Egg-Berichts für wichtige Seiten, die viel Traffic erhalten oder wichtig sind, hilft Ihnen dabei, auf visuelle Weise herauszufinden, was auf diesen Seiten vor sich geht. Die Interpretation der Crazy Egg-Berichte hilft Ihnen dabei, herauszufinden, auf welche Dinge Sie sich beim Testen konzentrieren sollten.

Heatmaps helfen Ihnen, die Hot Spots (oder Cold Spots) auf jeder Seite auf einen Blick zu erkennen, damit Sie wissen, was Sie ändern, beibehalten oder löschen sollten. Die folgenden Fragen können Sie mit Heatmaps beantworten:

  • Glauben Besucher, dass sie auf ausgegraute Schaltflächen klicken können?
    • Testen Sie, ob Sie das Aussehen dieser Schaltflächen ändern, sie bei Bedarf entfernen oder sie in Links umwandeln können.
  • Steht viel Platz für langweiliges Zeug zur Verfügung?
    • Testen Sie, ob sich das Entfernen von langweiligen Inhalten auf die Conversions auswirkt.

Scrollmap zeigt Ihnen, wie weit Ihre Nutzer scrollen und wo ihre Aufmerksamkeit nachlässt oder verschwindet.

  • Ist eine lange Verkaufsseite für unsere Besucher geeignet?
    • Die Länge einer Seite kann sich auf die Conversions auswirken. Finden Sie heraus, worauf die Besucher Wert legen, und versuchen Sie, Elemente von einer langen Seite zu entfernen oder Elemente zu einer kürzeren Seite hinzuzufügen.
  • Welchen Inhalt sollten wir Above the Fold lassen?

Overlay wird verwendet, um zu sehen, wie viel Prozent der Besucher auf etwas klicken.

  • Wie viel Prozent der Besucher klickten auf die primäre Schaltfläche im Vergleich zu diesem kleineren Linktext darunter?
    • Wenn Sie den Unterschied bei den Klicks kennen, können Sie den Text oder den Stil eines Elements ändern oder es sogar ganz entfernen.
  • Wie viele Besucher klickten auf Preise in der Navigationsleiste, anstatt auf die Schaltfläche Preise weiter unten auf der Seite?
    • Wenn mehr Leute auf ein Element weiter unten auf der Seite klicken als auf ein Element mit demselben Ziel weiter oben, können Sie testen, ob Sie ein neues Element in der Mitte der Seite hinzufügen.

MitConfetti können Sie tiefer in die Daten eindringen und herausfinden, wer was anklickt. Ordnen Sie Verkehrsquellen und andere Segmentierungen dem Besucherverhalten zu.

  • Was macht unser Traffic, der von Facebook kommt, hier?
    • Wenn eine bestimmte Traffic-Quelle nicht konvertiert oder nicht auf den CTA klickt, können Sie eine Variante nur für diese Quelle testen.
  • Gibt es einen Unterschied zwischen dem, worauf neue Besucher und wiederkehrende Besucher klicken oder wie weit sie auf der Seite kommen?
    • Sie können herausfinden, ob das Targeting von wiederkehrenden Besuchern mit einer Variation nur für sie Ihre Conversions verbessern kann.

Was ist als nächstes zu tun?

Es ist schwierig, ständig erfolgreiche Tests zu entwickeln, die auf Ihrer Meinung oder der Ihres Teams basieren. Der Schlüssel zu mehr erfolgreichen Tests liegt darin, sich von anderen bestätigen zu lassen, was wichtig für die Tests ist. Eine starke Pipeline von Testideen, die auf Beweisen aus qualitativen Daten beruhen, hilft Ihnen, dass Ihnen nie die Dinge ausgehen, die Sie testen wollen.

Fangen Sie an, von den Menschen zu lernen, die sich mit Ihrer Website beschäftigen und bei Ihnen kaufen.

Führen Sie eine der folgenden Maßnahmen durch: Senden Sie eine E-Mail, um herauszufinden, warum Ihre Kunden nicht das tun, was Sie wollen, erstellen Sie eine Umfrage für eine wichtige Seite Ihrer Website oder lassen Sie das Crazy Egg auf Ihrer Website laufen. Wenn Sie alle drei Methoden anwenden, lernen Sie in kürzerer Zeit viel mehr, was zu mehr erfolgreichen Tests, höheren Conversions und schnellerem Wachstum führen wird.