Hur länge kör ni AB-tester?

[danielandersson]

Som rubriken säger, hur länge kör ni dem?

Enligt A/B, Split and Multivariate test duration calculator – Visual Website Optimizer så skulle vi köra nuvarande test (på framsidan som knappt har 1000 besökare per dygn) i ca 111 dagar innan man kan avgöra en vinnare.

Av förståeliga skäl så är vi inte så sugna på detta. Nu efter 3 dagar så har nya versionen ca 20-25% bättre konvertering (och har haft hela tiden) och jag är sugen på att säga ”den här är faan bättre, nu kör vi!”.

[Ekraft]

Jag har lärt mig att en månad är bra att köra så att man sett resultat av nyhetsbrev, kampanjer, vad återkommande besökare tycker, olika veckodagars betydelse och hur man reagerar med en färsk lön på kontot resp med för mycket månad kvar i slutet av lönen etc.

Det är ju inte bara konvertering som är det viktiga, utan också snittorder, snitt-TB, benägenhet att köpa rekommenderade saker/kampanjprodukter, skillnader på olika trafikkällor etc som man vill mäta.

Ser du att det är stora skillnader, som ni verkar ha, kan du ju skruva lite så att 70% får se den nya sidan och 30% den gamla då det är procenten som är den viktiga, inte antalet.

[danielandersson]

@Ekraft 69517 wrote:

Jag har lärt mig att en månad är bra att köra så att man sett resultat av nyhetsbrev, kampanjer, vad återkommande besökare tycker, olika veckodagars betydelse och hur man reagerar med en färsk lön på kontot resp med för mycket månad kvar i slutet av lönen etc.

Det är ju inte bara konvertering som är det viktiga, utan också snittorder, snitt-TB, benägenhet att köpa rekommenderade saker/kampanjprodukter, skillnader på olika trafikkällor etc som man vill mäta.

Ser du att det är stora skillnader, som ni verkar ha, kan du ju skruva lite så att 70% får se den nya sidan och 30% den gamla då det är procenten som är den viktiga, inte antalet.

Man vill ju köra en månad, men.. har så många AB-tester att köra!

I dagsläget mäter vi bara konvertering, men har lagt till snittorder nu också. TB och resterande statistik tror jag inte man kan mäta med Optimizely som vi använder.

Skjuta över mer till den variation det går bra för är ingen dum idé alls, tack!

[Ekraft]

@lunarmys 69520 wrote:

Man vill ju köra en månad, men.. har så många AB-tester att köra!

Om du har 1000 besökare per dag så kan du enligt mig köra flera parallella A/B-tester under 30 dagar. Om du t.ex. testar ny framsida eller header, ny produktsida och ny kassa samtidigt med vardera 2 varianter så har du 8 olika utfall, och med 1000 unika om dagen blir det 3-4.000 besökare per möjlig kombination. Eftersom varje förändring dessutom förekommer i tre olika kombinationer är det i själva verket runt 10.000 besökare som sett varje del du testar.

Det är fler besökare än respondenter som opinionsinstituten intervjuar inför väljarbarometrar, och de brukar inte ha större felmarginal än som mest c:a 2%. För att vara säker på vad du mäter så behöver du dock ha i alla fall 2-3 månaders stabila data utan tester som jämförelsematerial att utgå ifrån.

Sådana masstester är det också lite farligt att bryta ned på trafikkällor och liknande där underlaget är för litet för att ge någon säker tendens.

[zeven]

Tidigare erfarenheter har gjort att jag går mot att i största möjliga mån ha:

– 100 konverteringar per experience
– Confidence på ca ~90%

Om testet når upp till dessa faktorer ser jag det som säkerhetsställt.

[Författare]

Inlägg