A/B splittest giver ikke et brugbart resultat

By | 31/12/2011
Nyhedsbrev statistisk signifikans

Nyhedsbrev statistisk signifikans

Jeg har en maildatabase på 2000 personer, og vil teste det at betnytte kundens navn i emnelinjen. Derfor laver jeg en spilttest – hvor jeg først sender til 20% af min maildatabase.

Version A uden personnavn i emnelinjen – sendes til 200, der er 60 der åbner dvs. en åbningsrate på 30%

Version B  med personnavn i emnelinjen – sendes til 200, der er 75 der åbner dvs. en åbningsrate på 37,5%.

Har jeg en vinder og kan sende version B til de resterende 1600 i mail-databasen? Der er flere problemer – de knap 38% vs. 30% i åbningsrate er ikke nok – rent statistisk, så kan det være rent tilfældigt at knap 38% åbner version B. Der er et helt hav af online splittest beregnere, som du kan bruge til at afgøre om din splittest har en statistisk signifikant vinder. I ovenstående eksempel ligger resultatet lige på kanten til at være statistisk signifikant, men generelt er tolkning af statistik en vanskelig størrelse. Der er også andet som giver usikkerhed omkring resultatet, åbningsraten er ikke altid det bedste mål for succes – vi skal også kigge på klikraten og konverteringsraten. Pas på med splittest og atter splittest. Ja, vi skal teste, men tal og særligt statistik og procentsatser har en tendens til at vildlede (noget man i marketing kan udnytte groft i så mange andre sammenhænge:). For ikke at blive vildtledt – så forsøger jeg, såvidt det er muligt at sammenholde statistikken med tre ting.

1) Hvem har undersøgt det før mig, og hvilket resultat kom de til?

2) Test det på en “fokusgruppe” – i det mindste bare spørg 2 andre på kontoret.

3) Hvad siger min almindelige sunde fornuft?

Det er også at teste, det er bare en anden form for test.

Kunne du bruge det til noget?

 

Anbefalet læsning
Skal kundens navn så med i emnelinjen på dit nyhedsbrev? Det kan du læse mere om her.

What you really need to know about mathematics of A/B split testing

A/B testing significance calculator (spreadsheet in Excel)

5 thoughts on “A/B splittest giver ikke et brugbart resultat

  1. Christina

    Meget enig.
    Især din pointe omkring åbningsrate vs. klikrate. Mange er tilbøjelige til at fokusere kun på åbningsraten (som iøvrigt er højere hos de fleste end systemet melder om, men det er en anden historie).

    Men .. mange af mine kursister er nybegyndere udi nyhedsbrevsskrivning, og der kan det godt give mening. Det giver dem en fornemmelse af hvad der virker – indtil man selv begynder at have både erfaring og en god mavefornemmelse.

    Kh
    Christina

    Reply
  2. Mads Gorm Larsen Post author

    Jeg mener bestemt man skal split-teste, men det gamle udtryk “stol kun på statistik, som du selv har manipuleret med”, siger noget om hvor nemt statistik kan vildlede os. Derfor tror jeg det er en god idé, også når man kigger webstatistik fra analytics, at man lige sammenholder resultatet med lidt sund fornuft.

    Velkommen på min blog, og tak for kommentaren ;)

    Reply
  3. Elisabeth Tejlmand

    Det svære er at fastslå hvornår tallene er statistisk signifikante. Der er nogle tools på nettet, men som absolut begynder udi statistik, synes jeg stadig det er lidt af en jungle.

    Noget helt andet er så, at et resultat kan vise sig signifikant men alligevel være misvisende, fordi der er skjulte, udefrakommende årsager, som ikke er afdækket.

    Men det er jo ikke noget nyt, såvidt jeg har forstået. Vidensindsamling – om den er kvalitativ eller kvantitativ – har sine faldgruber.

    Just my five cents

    Tak for en god blog iøvrigt!

    Reply
    1. Mads Gorm Larsen

      Hej Elisabeth

      Du har helt ret, markedsanalyse er fyldt med faldgruber. Og mange tak for de pæne ord om min blog:)

      /Mads Gorm

      Reply
  4. Henrik Hansen

    Hej,

    – godt du sætter fokus på datasættet. Strengt taget er der ikke noget galt med split-testen, men der er noget galt når man bruger for små datasæt.

    Det er ikke kun split-testens problem at man overfortolker. Google Analytics er en fin webstatistikkens folkevogn, men den store udbredelse er omvendt proportional med kompetencerne til at læse og vurdere tallene.

    Det positive er selvfølglig at der er kommet mere fokus på tallene – trods alt :) Henrik

    Reply

Skriv et svar

Din e-mailadresse vil ikke blive publiceret.