Van egy főcímed a termékoldaladon. Úgy gondolod, egy másik főcím jobban konvertálhatna. Találgathatsz. Vagy megmutathatod a látogatóid felének a régi, a másik felének az új főcímet, megmérheted mindkettő konverziós arányát, és hagyhatod, hogy az adatok döntsék el, melyik a jobb. Ez az A/B tesztelés analitika.
Az A/B tesztelés adatok alapján hasonlítja össze a változatokat, és találja meg a nyertest. Ez a cikk bemutatja, hogyan működnek az A/B tesztek, mit jelent a statisztikai szignifikancia, miért számít a mintaméret, melyek a gyakori tesztelési hibák, és hogyan válassz tesztelésre érdemes változatokat.
Az A/B tesztelés (más néven osztott tesztelés) valaminek két verzióját hasonlítja össze, hogy lássa, melyik teljesít jobban. A verzió (kontroll): a jelenlegi főcímed. B verzió (változat): egy másik főcím. 50/50 arányban osztod fel a forgalmat, megméred, melyik főcím konvertál többet, és kihirdeted a nyertest.
Az A/B tesztelés arra felel: ez a változtatás tényleg jobb, vagy a különbség csak szerencse? Tesztelés nélkül a megérzésedre hagyatkozol. Teszteléssel az adatokra.
Mi az A/B tesztelés, és mire felel
Az A/B tesztelés két verziót hasonlít össze, és méri, melyik teljesít jobban egy adott mutatón. Átkattintási arány. Konverziós arány. Oldalon töltött idő. Egy látogatóra jutó bevétel. A tesztet addig futtatod, amíg elég adatod nem lesz a döntéshez.
Az A/B teszt arra felel: a különbség a két verzió között valódi vagy véletlen? Megéri megtenni ezt a változtatást, vagy próbáljak mást? A válasz adatokból jön, nem véleményből.
Hogyan működik a statisztikai szignifikancia
Két főcímet tesztelsz. Az A főcím 10 százalékot konvertál (1000-ből 100). A B főcím 10,5 százalékot (1000-ből 105). A B főcím jobb. De a különbség valódi, vagy csak véletlen ingadozás?
A statisztikai szignifikancia arra felel: ha nem lenne különbség a főcímek között, mennyire valószínű, hogy pusztán véletlenül ekkora különbséget látnál? Ha a valószínűség nagyon alacsony (5 százalék alatti), a különbség statisztikailag szignifikáns. Bízhatsz benne, hogy valódi.
Ha a valószínűség magas (5 százalék feletti), a különbség lehet véletlen szerencse. Nem szabad rá építened.
A legtöbb teszthez 95 százalékos megbízhatóság kell, vagyis csak 5 százalék eséllyel lehet véletlen a különbség. Egyes tesztekhez 99 százalékos megbízhatóság (csak 1 százalék eséllyel véletlen).
Miért számít a mintaméret a tesztelésnél
A B főcímet 20 emberen teszteled, és 20 százalékos konverziós arányt kapsz (4 konverzió). Az A főcím 10 százalékot kapott (2 konverzió). A B főcím jobb, igaz? Talán. Vagy ekkora mintánál csak véletlen szerencse.
Teszteld ugyanezeket a főcímeket 10 000 emberen. Az A főcím 10 000-ből 1000 konverziót kap (10 százalék). A B főcím 10 000-ből 950-et (9,5 százalék). Most az A főcím a jobb. Nagyobb mintával a véletlen kisimul, és megjelennek a valódi minták.
A nagyobb mintaméret nagyobb bizonyosságot ad az eredményhez. A kisebb minták zajosak és megbízhatatlanok.
Gyakori A/B tesztelési hibák
A teszt túl korai leállítása: Két nap után látod, hogy az egyik változat nyer. Kihirdeted a győzelmet, és bekapcsolod. De két hét után a minta megfordul, és az eredeti nyer. A korai adat véletlen ingadozás volt. Hagyd a tesztet elég hosszan futni (legalább két hétig, ideálisan négyig).
Túl sok teszt egyszerre: Egyszerre teszteled a főcímet, a gomb színét és az űrlap hosszát. Az egyik változat nyer, de nem tudod, melyik elem okozta. Egyszerre egy dolgot tesztelj.
Jelentéktelen változtatások tesztelése: Egy gomb színét teszteled (kék és kicsit sötétebb kék). A tesztnek 100 000 látogató kell, hogy statisztikailag szignifikáns különbséget mutasson. Olyan változtatásokat tesztelj, amelyek számítanak (főcím egy másik értékajánlattal szemben, nem kék és kicsit kevésbé kék).
A szezonalitás figyelmen kívül hagyása: Novembertől januárig futtatsz egy tesztet. A változatod nyer. De a január lassabb szezon. Ha egész évben futtatod, veszít. A teszteket mindig több szezonon át futtasd.
A korreláció összekeverése az okozatisággal: A B változat nyer. Feltételezed, hogy a változtatás okozta a győzelmet. De a teszt alatt marketingkampányt is indítottál. A kampány okozta a győzelmet, nem a változat. Vedd figyelembe a külső tényezőket.
Hogyan válaszd ki, mit tesztelj
Olyan változtatásokat tesztelj, amelyeknek nagy a lehetséges hatása. A kis változtatások akkor sem mozdítják el a mutatót, ha nyernek. Egy gombszín-váltás 0,5 százalékkal növelheti a konverziót. Egy főcímváltás 5 százalékkal. Előbb a nagyobb változtatásokat tesztelj.
Olyan változtatásokat tesztelj, amelyek illeszkednek a hipotézisedhez. Ha a hipotézised az, hogy „a zavaros fizetési űrlap okozza a lemorzsolódást", egy egyszerűbb űrlapot tesztelj. Ne teszteld véletlenszerűen a színeket és a gombok helyét.
A változtatásokat egyenként tesztelj. Ha egyszerre változtatod a főcímet, a gomb szövegét és az űrlapmezőket, nem tudod megmondani, melyik okozta a javulást.
Hogyan olvasd az A/B teszt eredményeit
Az eredmény azt mutatja: az A változat konverziós aránya 10 százalék volt. A B változaté 11 százalék. A B 10 százalékkal jobb (relatív javulás). A megbízhatósági szint 95 százalék, a p-érték 0,03.
Ez azt jelenti: a B változat jobb. 95 százalékos biztonsággal állíthatjuk, hogy ez a különbség valódi, és nem véletlen szerencse.
Ha a megbízhatósági szint 85 százalék (p-érték 0,15), az eredmény nem statisztikailag szignifikáns. Nem szabad nyertest hirdetned; több adat kell.
Mikor tesztelj tovább, és mikor hagyd abba
Tesztelj tovább, ha: az eredmény nem statisztikailag szignifikáns, és még nem érted el a mintaméret-célodat, vagy váratlan dolgot tanultál, és mélyebbre akarsz ásni.
Hagyd abba, ha: elérted a statisztikai szignifikanciát, és kihirdethetsz egy nyertest, vagy négy hete vagy tovább futtatod a tesztet, és az eredmények nem tartanak a szignifikancia felé. Ekkor a változatok valószínűleg egyformán jók.
Gyakran ismételt kérdések
Hány látogató kell egy érvényes A/B teszthez?
A kiindulási konverziós aránytól és attól függ, mekkora változást akarsz kimutatni. Egy napi 100 látogatós kis oldalnál két hétre lehet szükséged a statisztikai szignifikancia eléréséhez. Egy napi 10 000 látogatós nagy oldalnál két nap alatt is elérheted. Használj mintaméret-kalkulátort (a legtöbb A/B tesztelő eszközben van beépített). A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon beállíthatod.
Mit jelent a 0,05-os p-érték?
Azt, hogy 5 százalék az esélye, hogy a látott különbség véletlen szerencse. 95 százalékos megbízhatósági szint. A legtöbben a 0,05-öt használják küszöbként: ha a p-érték 0,05 alatt van, az eredmény statisztikailag szignifikáns.
Láthatom az eredményeket a teszt közben, és leállíthatom korán, ha az egyik változat nyer?
Nem. Ezt kukkolásnak hívják, és téves következtetésekhez vezet. Ha korán leállítod, amikor az egyik változat előrébb jár, lemaradhatsz az igazi nyertesről. A tesztet mindig hagyd futni a tervezett ideig.
Mi van, ha a tesztemben nagyon nagy a javulás, de alacsony a statisztikai szignifikancia?
Általában azt jelenti, hogy a mintaméret túl kicsi. Ígéretes jel van, de nincs elég adat a megerősítéshez. Futtasd tovább a tesztet, vagy szerezz több forgalmat.
Egy elemet teszteljek, vagy egyszerre többet?
Egyszerre egy elemet tesztelj (a többváltozós tesztelés bonyolult, és általában nem éri meg, hacsak nincs nagyon nagy forgalmad). Ha egy dolgot tesztelsz, megtudod, mi okozta a változást.
Hány A/B tesztet futtassak egyszerre?
Általában egyet egyszerre, különösen, ha új vagy a tesztelésben. Ha tapasztalt vagy, és nagy a forgalmad, több tesztet is futtathatsz egyszerre különböző oldalakon. Ne futtass két tesztet ugyanazon az oldalon egyszerre.