Du har sikkert hørt det før: “Bare lav en A/B-test – så finder du ud af, hvad der virker.” Og ja, A/B-tests (eller split-tests) kan være et effektivt værktøj i din nyhedsbrevsstrategi.
Men er de altid svaret? Er det virkelig den bedste måde at finde ud af, hvad der virker for din målgruppe – eller kan du ende med at optimere på noget, der ikke betyder noget i det store billede?
I dette blogindlæg får du indsigt i, hvornår det giver mening at bruge A/B-tests i nyhedsbreve, og hvad du skal være særligt opmærksom på for at undgå misvisende resultater. Målet? At hjælpe dig med at lave skarpe, velgennemtænkte tests, der giver dig pålidelige svar – og bedre resultater.
Med en A/B-test sender du to versioner af dit nyhedsbrev til en mindre del af din mailingliste. Versionerne er identiske bortset fra ét element, du vil teste – fx emnelinje eller CTA-knap. Det er vigtigt at holde sig til én ændring ad gangen, så du ved, hvad der gør forskellen over for din målgruppe. Resultatet måles fx ved at sammenligne de to versioners åbninger, klik eller konverteringer. Den bedst performende version sendes til resten af din liste.
Når du analyserer resultaterne af din A/B-test, er det vigtigt at være opmærksom på den betydelige usikkerhed, der knytter sig til e-mail.
Særligt åbningsrater – og i stigende grad også klikrater – bør tolkes med stor varsomhed. Disse målinger er i stigende grad påvirket af faktorer som “falske åbninger”, eksempelvis genereret af mailklienter og sikkerhedsfiltre, samt tiltag som Apple Mail Privacy Protection. Det betyder, at de tal, du ser, ikke nødvendigvis afspejler den faktiske adfærd blandt dine modtagere, og dermed kan de risikere at give et misvisende billede. Derfor bør resultatet af din A/B-test altid analyseres med denne viden i baghovedet.
Vær også bevidst om, at at e-mails ikke nødvendigvis bliver åbnet med det samme. De kan sagtens blive liggende uåbnet i indbakken i flere timer – eller endda dage. Det betyder, at nyhedsbreve gradvist akkumulerer data over tid. Ældre udsendelser vil derfor ofte have højere åbningsrater og klikrater, simpelthen fordi de har haft længere tid til at blive set og åbnet af modtagerne.
1. Kræver et stort datagrundlag
Vores erfaring er, at det kræver en stor mængde modtagere for at sikre, at resultaterne ikke bare er tilfældige. Jo færre modtagere du tester på, desto sværere er det at opnå signifikante resultater.
Hvis du fx kun tester på 50 modtagere, kan små tilfældigheder slå hårdt igennem. En enkelt klik eller ikke-klik kan ændre billedet ret markant.
Tester du derimod på 50.000 modtagere, bliver billedet mere stabilt og du kan stole mere på resultaterne.
2. Forenklede succeskriterier
A/B-tests kan nogle gange få dig til at fokusere for meget på overfladiske resultater i stedet for reel effekt.
Forestil dig, at du tester to udsendelsestidspunkter for dit nyhedsbrev. Version A får en klikrate på 3 %, mens version B får 7 %. Det er fristende at kåre version B som den klare vinder. Men det billede kan være misvisende. Klik er ikke nødvendigvis lig med forretningsmæssig værdi.
Det er muligt, at version A blev udsendt på et tidspunkt, hvor modtagerne havde bedre tid til at engagere sig – og selvom klikraten var lavere, brugte de besøgende i højere grad tid på sitet, udforskede flere sider og genererede flere konverteringer. I det tilfælde har den tilsyneladende “tabende” version måske i virkeligheden skabt mest værdi for din forretning. Derfor bør du ikke kun måle på klik, men også kigge ind i dine analyseværktøjer og se, hvad der sker efter klikket: tid på siden, antal sidevisninger, konverteringer og lignende.
3. Stoler du nok på din egen erfaring?
Du har måske arbejdet med din målgruppe i årevis, talt med dem, lyttet til deres behov og set, hvad der rent faktisk virker i praksis. Det er værdifuld viden, som ikke altid kan indfanges i et regneark. Stol på den viden.
Selvfølgelig er det en god idé at bruge værktøjer som A/B-tests og analysere tal, når det giver mening – de kan bekræfte eller udfordre dine antagelser. Men pas på med at stirre dig blind på statistikker og glemme den menneskelige fornemmelse for, hvad der resonerer.
Forestil dig, at du har 10.000 modtagere på din liste. Du tester to versioner af dit nyhedsbrev på 2 x 1.000 personer og ser, at version A får en klikrate på 4 %, mens version B får 10 %. Det er en tydelig forskel – og det giver dig måske ro i maven til at vælge version B til resten af listen.
Men stop lige op: Hvis du, inden testen, havde spurgt dig selv, hvilken version der ville klare sig bedst – hvad havde du så svaret? I langt de fleste tilfælde vil du nok selv have peget på den rigtige vinder. For du kender din målgruppe og dit indhold. Så spørgsmålet er: Var testen egentlig nødvendig? Var det besværet, tiden og beslutningsusikkerheden værd?
Pointen er ikke, at du skal droppe data – men at du skal turde lægge vægt på den viden, du allerede har. Ofte opstår de bedste resultater, når du balancerer mavefornemmelse med data og tør stole på det, du allerede ved om din målgruppe.
A/B-test kan være et stærkt værktøj til at optimere dine nyhedsbreve, men det er ikke en mirakelkur. Bruges det ukritisk, kan det være spild af ressourcer og føre dig på vildspor med minimale resultater.
Du får mest succes ved at finde den gyldne middelvej. Brug A/B-test, når/hvis det giver mening, og følg samtidig din egen intuition og viden om din målgruppe.
Tag fat i os, hvis du vil lave A/B-test i Peytz Mail.