Ein A/B-Testplan für Mode-E-Commerce

Verwandeln Sie die Beobachtung in eine Hypothese

Beginnen Sie mit einem konkreten Reibungspunkt und den Belegen dafür. Eine Sitzungsaufzeichnung kann auf ein zu untersuchendes Problem hinweisen; Es allein stellt nicht fest, wie häufig das Problem auftritt. Kombinieren Sie die Beobachtung mit geeigneten Reisedaten und Produktkontext, bevor Sie eine Variante auswählen.

Schreiben Sie den vorgeschlagenen Mechanismus in einfacher Sprache. Beispiel: Die Platzierung einer genauen Größenanleitung neben dem Auswahlfeld kann berechtigten mobilen Käufern dabei helfen, eine sichere Auswahl zu treffen. Nennen Sie die betroffene Zielgruppe und das Ergebnis, das Sie voraussichtlich ändern werden. Behalten Sie unabhängige Designänderungen außerhalb dieser Variation, damit das Ergebnis interpretierbar bleibt.

Legen Sie vor dem Start Ergebnisse und Leitplanken fest

Der Experimentierleitfaden von Microsoft trennt Gesamtergebnisse, Diagnosemaßnahmen, Leitplanken und Datenqualitätsprüfungen. Die Anleitung vor und während des Experiments unterstreicht außerdem die vertrauenswürdige Zuordnung und das Risiko einer Fehlinterpretation früher Ergebnisse. Diese Grundsätze helfen bei der Strukturierung des Plans. Sie bieten nicht für jedes Geschäft eine einheitliche Stichprobengröße oder -dauer an.

Besprechen Sie bei einem Modetest abgeschlossene Käufe als Ergebnis, die Verwendung der Größenberatung als Diagnose und Retouren als spätere kommerzielle Überprüfung. Vereinbaren Sie, wie Sie die Seitengeschwindigkeit und die Zuweisungsqualität überprüfen. Legen Sie vor dem Start mit dem Eigentümer des Experiments eine Analysemethode, eine Probenanforderung und eine Stoppregel fest.

Quelle: Microsoft Research: Prüfungen vor dem Experiment ↗ · Microsoft Research: Überprüfung laufender Experimente ↗

Bestätigen Sie die Erfahrung, die die Menschen tatsächlich machen werden

Überprüfen Sie die Kontrolle und Variation gängiger Mobilbreiten, einschließlich langer Produkttitel und nicht verfügbarer Größen. Überprüfen Sie die tatsächlichen Allokations-, Exposure- und Kaufereignisse. Stellen Sie sicher, dass ein wiederkehrender Besucher nicht unerwartet die Variante wechselt und dass sich überschneidende Experimente verstanden werden.

Bereiten Sie einen Rollback-Eigentümer und eine Betriebsfehlerregel vor. Das Stoppen einer fehlerhaften Erfahrung zum Schutz der Benutzer unterscheidet sich von der Erklärung eines statistischen Gewinners, da ein frühes Diagramm vielversprechend aussieht. Behalten Sie den Grund für jeden Eingriff bei, damit im Abschlussbericht erläutert werden kann, was sich während des Tests geändert hat.

Sorgen Sie dafür, dass das Ergebnis Unsicherheit und Durchhaltevermögen beinhaltet

Berichten Sie über die Stichprobe, den geschätzten Effekt, die Unsicherheit, die Leitplanken und ob die vereinbarten Entscheidungsbedingungen erfüllt wurden. Ein laufendes Experiment bleibt ein laufendes Experiment. Wenn das Ergebnis nicht schlüssig ist, erläutern Sie, welche nützliche Frage übrig bleibt, anstatt die attraktivste Zahl in eine Erfolgsaussage umzuwandeln.

Fügen Sie die vorgeschlagene nächste Aktion bei: Übernahme, Wiederholung, Stopp oder Kollektion der im ursprünglichen Plan erforderlichen Beweise. Erfassen Sie spätere Ergebnisse dort, wo sie wichtig sind. Der CRO-Agent kann bei der Vorbereitung der Untersuchung und des Vorschlags helfen; Das zuständige Team überprüft die Methode und genehmigt die Umsetzung.

Verwandeln Sie den Leitfaden in eine nützliche Rezension

1. Dokumentieren Sie Beweise, Mechanismus und berechtigtes Publikum.
2. Vereinbaren Sie primäres Ergebnis, Leitplanken und Analysemethode.
3. QA beider Varianten, Zuweisung und Ereigniserfassung.
4. Melden Sie Unsicherheiten und wenden Sie die vereinbarte Entscheidungsregel an.