Elke marketeer is een voorstander van A/B testen. Voor je campagnes geeft het je een beeld van die elementen waar een klant of ontvanger van de mail beter of minder goed op reageert of respondeert. Voordat je gaat starten moet je wel nadenken over de volgende tips. Het zijn tips, dat betekent dat je er van mag afwijken. Zorg er wel voor dat je aan collega’s kunt beargumenteren waarom je welke test aan het doen bent.
Tip 1 – zorg voor onderscheidend voordeel
Als je een test doet waarbij het onderscheid tussen de 2 varianten zo klein is dat je je afvraagt of mensen daar anders op zouden reageren is het niet een goede A/B test. Test dan niet. Voorbeeld:
televisie voor 999 euro en dezelfde televisie voor 979 euro
Daar zit voor de testgroep een te klein verschil in. Beter is:
televisie voor 999 euro en dezelfde televisie voor 499 euro
A/B testen is een wetenschap; weten en leren wat je voor A/.B testen kunt doen is een kunst.
Tip 2 – test geen zaken die eigenlijk niet kunnen
Soms is het niet geheel mogelijk om een test uit te voeren. Ook zinloos. Bijvoorbeeld, het versturen van een nieuwjaarswens doe je 1 keer per jaar. Waarom zou je nu iets testen dat je dan volgend jaar kunt gebruiken, terwijl de situatie dan mogelijk volledig anders is.
Tip 3 – test als een wetenschapper
In een A/B test zijn er 2 varianten. De A variant is de basisvariant, de B variant is de A variant met 1 aanpassing. Dan gaan we meten. Zorg er dus voor dat je iets test dat te vergelijken is. Voorbeeld hoe het niet moet:
- druk op de knop
- koop het boek voor slechts 14.95 euro
Dat is te verschillend. Beter is:
- koop het boek voor slechts 14,95 euro
- koop het boek voor slechts 14,95 euro en ontvang gratis cadeauverpakking
Tip 4 – gebruik voor “voor” en “na” testen
Een test uitsmeren over 2 weken is eigenlijk niet mogelijk. De verschillen die invloed kunnen hebben in de tijd zijn te groot om een goede en objectieve analyse te kunnen maken en een uitspraak te kunnen doen. Zorg dan voor een kleinere tijdspanne.
Tip 5 – observeer de resultaten
Observeer de resultaten en geef de resultaten een duidelijke eenduidige en consistente definitie mee. Wat betekent “open-rate”? Geef een omschrijving en het resultaat.
Tip 6 – neem de tijd die nodig is
Om de email campagne te analyseren hebben we geen week nodig om te wachten op reacties of respons. Echter enkele minuten is mogelijk weer iets te kort. Geef de campagne de tijd die het nodig heeft.
Je kunt wel testen en analyseren wat de tijd is die mensen nodig hebben of gebruiken om te reageren. Dat kan ook in verschillende tijdsblokken (in het begin blokken van 10 minuten, daarna 15 minuten, 30 minuten, uur)
Tip 7 – zorg voor een reality check
Vanuit de statistiek weten we dat wanneer bij een betrouwbaarheid van 95% het aantal respondenten rond de 380 ligt ten opzichte van de Nederlandse bevolking, we iets over die bevolking mogen zeggen (met 95% betrouwbaarheid).
Kijk naar de eigen omvang van de test en de respondenten die er zijn. Gebruik enkele getallen in de analyse maar wordt geen statisticus.
Tip 8 – ken de grenzen van omvang
Je kent de omvang van je eigen bestand. Als dat 20.000 volgers is, dan kun je niet elke dag een test doen op dat bestand. Er is geen wetmatigheid, immers relevantie maakt dat het succes van een email weer groeit.
Tip 9 – gebruik de resultaten
Je moet niet testen om het testen. Dus resultaten uit een test analyseren en gebruiken. Als je vooraf dat niet met jezelf kunt afspreken test dan niet. Als je nu al weet dat je het resultaat niet vertrouwt, pas dan de testgrid aan of test niet. Daarom is de ROI vooraf bepalen ook van belang.
Tip 10 – de resultaten van de test hebben beperkte houdbaarheid
Het resultaat van een test van vandaag geeft geen garantie voor succes over bijvoorbeeld twee maanden. Het gebruik en de ontvangst en daarmee de resultaten van een email campagne zijn geen wetmatigheid maar bewegen mee in de tijd.
Testen is noodzakelijk. Je moet er in elk geval over nagedacht hebben. Het vergroot de kans op succes, en daar zitten we allemaal op te wachten.