Een A/B-testplan voor mode-e-commerce

Verander de observatie in een hypothese

Begin met een concreet wrijvingspunt en het bewijsmateriaal dat dit ondersteunt. Een sessie-opname kan wijzen op een probleem dat moet worden onderzocht; het stelt op zichzelf niet vast hoe vaak het probleem voorkomt. Combineer de observatie met geschikte reisgegevens en productcontext voordat je een variant kiest.

Schrijf het voorgestelde mechanisme in duidelijke taal. Als je bijvoorbeeld nauwkeurige maatadvies naast de kiezer plaatst, kunnen in aanmerking komende mobiele kopers met vertrouwen kiezen. Noem de betrokken doelgroep en de uitkomst die je verwacht te veranderen. Houd niet-gerelateerde ontwerpwijzigingen buiten deze variatie, zodat het resultaat interpreteerbaar blijft.

Bepaal resultaten en vangrails vóór de lancering

De experimenteerrichtlijnen van Microsoft scheiden algemene resultaten, diagnostische maatregelen, vangrails en controles van de gegevenskwaliteit. De begeleiding voorafgaand aan het experiment en tijdens het experiment benadrukt ook een betrouwbare opdracht en het risico van het verkeerd interpreteren van vroege resultaten. Deze principes helpen bij het structureren van het plan; ze bieden niet voor elke winkel één universele steekproefgrootte of -duur.

Bespreek bij een modetest afgeronde aankopen als uitkomst, gebruik van maatadvies als diagnose en retourzendingen als latere commerciële controle. Spreek af hoe je de paginasnelheid en de kwaliteit van de opdrachten gaat inspecteren. Geef vóór de lancering een analysemethode, monstervereiste en stopregel op met de eigenaar van het experiment.

Bron: Microsoft Research: controles vóór het experiment ↗ · Microsoft Research: lopende experimenten beoordelen ↗

Valideer de ervaring die mensen daadwerkelijk zullen ontvangen

Controleer de controle en variatie op veelgebruikte mobiele breedtes, inclusief lange producttitels en niet-beschikbare formaten. Controleer de daadwerkelijke toewijzing, blootstelling en aankoopgebeurtenissen. Bevestig dat een terugkerende bezoeker niet onverwachts van variant wisselt en dat overlappende experimenten worden begrepen.

Bereid een rollback-eigenaar en een operationele foutregel voor. Het stoppen van een kapotte ervaring om gebruikers te beschermen verschilt van het uitroepen van een statistische winnaar omdat een vroege grafiek er veelbelovend uitziet. Bewaar de reden voor elke interventie, zodat in het eindrapport kan worden uitgelegd wat er tijdens de test is veranderd.

Zorg ervoor dat het resultaat onzekerheid en opvolging omvat

Rapporteer de steekproef, het geschatte effect, de onzekerheid, de vangrails en of aan de afgesproken beslissingsvoorwaarden is voldaan. Een lopend experiment blijft een lopend experiment. Als het resultaat niet doorslaggevend is, leg dan uit welke nuttige vraag overblijft in plaats van het aantrekkelijkste getal om te zetten in een succesclaim.

Voeg de voorgestelde volgende actie toe: adopteer, herhaal, stop of verzamel het bewijsmateriaal dat vereist is door het oorspronkelijke plan. Registreer latere retourresultaten waar ze ertoe doen. De CRO-agent kan helpen bij het voorbereiden van het onderzoek en het voorstel; het verantwoordelijke team beoordeelt de methode en autoriseert de implementatie.

Maak van de gids een nuttige recensie

1. Documenteer bewijsmateriaal, mechanisme en in aanmerking komend publiek.
2. Maak overeenstemming over de primaire uitkomst, de vangrails en de analysemethode.
3. QA beide varianten, opdracht- en evenementenverzameling.
4. Meld onzekerheid en pas de afgesproken beslisregel toe.