Hoe Tele2 gebruik maakte van A/B testen met AMP

Als het gaat om geweldige mobiele ervaringen, is snelheid het belangrijkst - voor zowel de klant als het merk

Het Doel

Na analyse van de resultaten werd duidelijk dat dit de meest succesvolle A/B test was die Tele2 ooit gedaan heeft.
.
Roderick Eeninkwinkel Senior E-commerce Manager @ Tele2

Een A/B test opzetten die de impact meet van snellere laadtijden op de omzet. 

Resultaten

  • +56%

    verhoging in klikfrequentie

De A/B test resulteerde na acht weken in een 56% hogere klikfrequentie, waardoor meer gebruikers sneller naar de eerste stappen van hun aankoop werden geleid. Als gevolg hiervan profiteerde ook de conversieratio van e-commerce, waarbij meer klanten van de snellere AMP-pagina kochten.

De snellere laadtijden waren meteen duidelijk, met de AMP-pagina die 66% sneller laadde dan de niet-AMP-versie. Na slechts enkele weken testen was het duidelijk dat deze snellere laadtijden een positief effect hadden op de conversiepercentages.

Aanpak

Tele2's E-Commerce Manager en de CRO Specialist hebben samen de meest populaire productpagina geïdentificeerd om hun eerste test op uit te voeren. De ontwikkelaars bouwden vervolgens een identieke versie van de productpagina in AMP. Ze hebben een grondige kwaliteitsborging uitgevoerd om te verifiëren dat de twee pagina's er identiek uitzagen en hetzelfde functioneerden - dit is cruciaal voor het opzetten van een eerlijke test die snelheid isoleert als de enige variabele. 

In dit stadium was het ook belangrijk om ervoor te zorgen dat de metingen en analyses correct werden ingesteld, zodat het CRO-team conversies van beide pagina's kon vergelijken. 

iProspect heeft een A/B test voor deze pagina opgezet met Google Ads Drafts & Experiments. Om de impact van de algehele prestaties te testen, creëerden ze een 50-50 traffic verdeling van mobiel zoeken naar AMP en niet-AMP.

Het resultaat was spectaculair. We hebben deze configuratie in Google Ads zonder extra marketingbudget getest. We hadden verwacht dat de AMP-pagina onze betaalde zoekprestaties zou verbeteren, maar de toename in conversieratio was boven ieders verwachtingen.
Lenno de Man Senior Online Marketing Manager @ Tele2

Vervolg

Deze A/B test toont Tele2 en iProspect duidelijk aan hoeveel snelheid de conversiepercentages kan beïnvloeden, en bevestigt dat er  enorme kansen liggen in de telco-industrie om de gebruikerservaring te verbeteren door te versnellen. Nu breiden de marketing- en productteams het experiment uit naar alle verkeersbronnen en investeren ze in verdere snelheidsverbeteringen.