Slider vs "varför vi är bäst"-bild

[danielandersson]

90% confidence level tycker den uträknaren.

Visst borde vi kanske köra testen längre, men det är svårt att ha is i magen när det skiljer 10-12%

[Parvelito]

När man mäter medelvärden tar man ofta bort den översta och den nedersta decilen av värdena för att få bort oregelbundna extremvärden. Att ta bort enstaka värden ger en annan skevhet, så det är bättre att bedöma snittvärden utifrån förutbestämda regler.

Det finns en massa tumregler för att uppnå statistiskt säkerställda resultat, och faktum är att inom E-handel så bör man köra väldigt långa tester för att kunna säkerställa saker. De flesta upplever cykler i sin försäljning som påverkas av vilket datum i månaden det är, storhelger, väder och produktnyheter. En ny design som presenteras kan också skapa lite ”oro” vid första besöket, men ge förtroende på sikt. Det kan också vara så att en design är bättre för impulshandlare so har lönen ligger och bränner på kontot, medan en annan design är bättre veckan före lön när man är lite mer noga med sina expenser. Jänkarna håller på sjukt mycket med sådana här tester och förändringar, men de har ofta betydligt större sajter med mycket mer trafik så att de rätt snabbt kan få svar på vad förändringarna betyder i form av dollar och cent.

Det gör att man i alla fall bör notera vilka förändringar man gjort på grundval av korta A/B-tester. Om konvertering/snittorder i ett senare skede börjar gå åt fel håll, kan det ha varit ett för litet underlag för att säga att det ena alternativet verkligen var bättre än det andra. Då får man backa tillbaka och börja om.

Mina fem cent runt detta är att i det första testet ni gjorde så bytte ni ut fräscha produktbilder i en slider mot en stor ”grå blaffa”. Jag är verkligen ingen designexpert, men jag anar att en del kunder med små skärmar kanske inte uppskattade den grå rutan som täckte stora delar av deras skärm.

[mephisto73]

90% C.L. är ganska lite, om du tänker dig att det är en chans på 10 att nollhypotesen är sann, d.v.s. att det inte är någon skillnad mellan A och B.

90% C.L. är gränsen för vad man brukar anse statistiskt signifikant, i den mest generösa tolkningen av begreppet.

[Bjorn]

@Parvelito 63772 wrote:

De flesta upplever cykler i sin försäljning som påverkas av vilket datum i månaden det är, storhelger, väder och produktnyheter. En ny design som presenteras kan också skapa lite ”oro” vid första besöket, men ge förtroende på sikt. Det kan också vara så att en design är bättre för impulshandlare so har lönen ligger och bränner på kontot, medan en annan design är bättre veckan före lön när man är lite mer noga med sina expenser.

Absolut, man bör köra sina olika scenario samtidigt för att undvika påverkan av yttre faktorer, alltså 50/50 på trafiken om man har 2 scenario, så att de får samma typ av trafik.

@mephisto73 63790 wrote:

90% C.L. är gränsen för vad man brukar anse statistiskt signifikant, i den mest generösa tolkningen av begreppet.

Den absolut mest generösa 95% brukar vara minimum oftast.

Vore nice med den trafik som Amazon har, de kör hundratals tester samtidigt som är signifikanta oftast på mindre än en timme

[danielandersson]

Jo, självklart är vi medvetna om att testet inte är perfekt eller kanske tillräckligt långt. Så all data vi presenterat ska tas med en nypa salt.

Vet inte om det behöver förtydligas, men 50% av trafiken såg A och 50% såg B. Det var inte A efter B eller något sånt.

[mephisto73]

@Parvelito 63772 wrote:

När man mäter medelvärden tar man ofta bort den översta och den nedersta decilen av värdena för att få bort oregelbundna extremvärden.

Det bör man bara göra om man kan motivera varför (man tar bort datapunkter ur en population). S.k. outliers kan man förkasta t.ex. för att datan är felaktig (om orsaken är känd) eller inte tillhör populationen, men tar man bort data bara för att de sticker ut så blir analysen felaktig i den meningen att den är manipulerad.

[Författare]

Inlägg