Túl rövid ideig futó teszt (a leskelődés torzítása)
A hiba
A legnagyobb hiba: egy hét után megnézed az eredményeket, pedig a tesztet két hétre tervezted.
Miért hiba ez
Egy hét változatonként négyszáz konverziót ad. Két hét nyolcszázat. Négyszáznál nagyobb a véletlen zaj. Olyan különbségeket látsz, amelyek több adattal eltűnnek.
Példa: az első héten a variáns konverziója kilenc százalék. A kontrollé nyolc százalék. Az egy százalékos nyereség valódinak látszik. Belepillantasz, és izgatott leszel. A második héten a variáns visszaesik nyolc egész öt tizedre. A kontroll marad nyolc százalékon. Fél százalékos nyereség. Még mindig statisztikailag szignifikáns, de sokkal kisebb, mint amit az első hét mutatott.
Ha az első hétnél megállsz, ötven százalékkal túlbecsülöd a variáns előnyét.
Hogyan kerüld el
Még a teszt indítása előtt döntsd el az időtartamot. A két hét az alapeset. Írd le. Ne leskelődj. Állíts be naptáremlékeztetőt a befejezés napjára.
Több változtatás tesztelése egyszerre
A hiba
Átírod a címsort. Átszínezed a gombot. Átírod a gomb szövegét. Átalakítod az űrlap mezőit. Négy változtatás egyszerre.
Miért hiba ez
A variáns tizenkét százalékon konvertál. A kontroll tízen. Két százalékos nyereség. Mind a négy változtatást bevezeted.
Egy hónap múlva a konverzió kilenc százalékra esik. Valami elromlott. De melyik változtatás okozta? A címsor? A gomb? Az űrlap? Négy dolgot változtattál, és nem tudod, melyik ártott. Nem tudhatod meg, melyik változtatás volt hasznos és melyik káros.
Hogyan kerüld el
Csak egy változtatást végezz. Csak a címsort cseréld ki. Teszteld. Vezesd be, ha nyer. Aztán jöhet a gombszín. Aztán az űrlap. Egyszerre mindig csak egy változó.
Mérési hibák és elromlott tesztek
A hiba
A teszt két hétig fut. Az eredmények szerint a variáns öt százalékkal nyer. Bevezeted. Egy hónap múlva kiderül, hogy a mérés el volt rontva. A konverziós pixel a látogatók kilencven százalékánál nem lőtt el.
Miért hiba ez
Az eredmények használhatatlanok. A bevezetés rossz adatokon alapult. Fejlesztői erőforrást költöttél valamire, ami érvénytelen eredményeken nyugszik.
Hogyan kerüld el
Ellenőrizd szúrópróbaszerűen a teszt beállítását. Menj végig egy egyszerű kézi folyamaton. Elindul az esemény? Nézd meg a mérési naplókat. Győződj meg róla, hogy a pixel működik. Mielőtt nyertest hirdetsz, auditáld a mérést.
Elégtelen mintaméret
A hiba
Csak ötszáz konverzióval futtatsz tesztet összesen. Változatonként kétszázötven. Ilyen kis mintánál óriási a véletlen zaj. Az öt százalékos eltérés gyakori. A tíz százalékos sem meglepő.
A variáns öt százalékkal magasabb, mint a kontroll. Statisztikai szignifikancia nincs. A tesztet nem meggyőzőnek nyilvánítod.
Miért hiba ez
Eleve alacsony erejű volt a teszted. Tudnod kellett volna, hogy a tesztnek két hét kell, nem egy. Az alacsony erejű tesztek időt pocsékolnak, és nem meggyőző eredményt adnak.
Hogyan kerüld el
Indulás előtt számold ki a mintaméretet. Hány konverzió kell? Mennyi idő alatt jön össze? Ha a teszt három hónapig tartana, inkább teszteljetek valami mást, ami gyorsabban ad eredményt.
A külső tényezők figyelmen kívül hagyása
A hiba
A tesztet kedd és csütörtök között futtatod. A teszt előtti eredmények hétfőiek. A teszt utániak pénteki. A pénteket hasonlítod a hétfőhöz.
Csakhogy a pénteki forgalom más, mint a hétfői. Péntek a hétvégi, kötetlen böngészés. Hétfő a hétköznapi, munkahelyi böngészés. Más közönség. Más konverziós arány. A különbséget a tesztnek tulajdonítod, pedig valójában az összetétel különbségéből ered.
Miért hiba ez
A változtatást a forgalom összetételének különbsége alapján vezetted be, nem a variáns hatékonysága alapján. Amikor új összetételű forgalom érkezik, az eredmények nem tartanak.
Hogyan kerüld el
Futtasd a tesztet elég hosszan ahhoz, hogy a forgalom összetétele kiegyenlítődjön. Két hét hétköznapokat és hétvégéket is tartalmaz. Egy hét torz lehet.
A teszt hipotézisének megváltoztatása menet közben
A hiba
A tesztet ezzel a hipotézissel indítod: a rövidebb űrlap több beküldést hoz.
A teszt felénél új adatot kapsz az ügyfélszolgálattól. Az ügyfelek több mezőt szeretnének. Megváltoztatod a hipotézist: talán a több mező segít. Így egy tesztet, amelyet egyik hipotézisre terveztél, egy másik hipotézisként elemzel.
Miért hiba ez
Összezavarja az eredményeket. Nem tudod megmondani, melyik hipotézist tesztelte valójában a teszt. Zavaros értelmezés alapján vezethetsz be változtatást.
Hogyan kerüld el
Írd le a hipotézist a teszt indítása előtt. Tarts ki mellette. Ha új információt kapsz, és másik hipotézist szeretnél tesztelni, fejezd be a futó tesztet. Utána indíts újat.
A nyertesek be nem vezetése
A hiba
A teszt véget ér. A variáns nyert. Azt mondod: „majd később bevezetjük”. A később sosem jön el. A teszt semmi értéket nem teremtett. Időt vesztegettél.
Miért hiba ez
A nyertes csak akkor ér valamit, ha bevezeted. A tesztelési program csak akkor halmozódik, ha következetesen bevezeted a nyerteseket. Egyetlen be nem vezetett nyertes megöli a lendületet és a csapat hitét a tesztelésben.
Hogyan kerüld el
A teszt futtatása előtt kötelezd el magad a bevezetés mellett. Ha a variáns nyer, egy héten belül vezesd be. Ha a kontroll nyer, azonnal állítsd vissza. Ne hagyd, hogy a nyertesek elporosodjanak.
Az eredmények szegmentálásának elmulasztása
A hiba
Az összesített eredmények szerint a variáns nyer. Mindenhol bevezeted.
A szegmentálás viszont azt mutatja: asztali gépen a variáns nyer. Mobilon a variáns veszít. A nemzetközi látogatóknál nincs hatása. A mindenre kiterjedő bevezetés árt a mobilos és a nemzetközi látogatóknak.
Miért hiba ez
Az összesített átlagra optimalizáltál, de egyes szegmenseknek ártottál. A mobilos forgalom gyorsabban nőhet, mint az asztali. A variáns bevezetésével a jövőbeli növekedési szegmensnek ártottál.
Hogyan kerüld el
Mielőtt általános nyertest hirdetsz, mindig nézd meg a szegmensek eredményeit. Lehet, hogy a nyertes nem mindenkinél nyer. Azoknál a szegmenseknél vezesd be, ahol nyer. Ott hagyd ki, ahol nem.
A nyertes összetévesztése az ok-okozati iránnyal
A hiba
A teszt szerint a variáns legyőzi a kontrollt. Azt hiszed, a variáns jobb. De mi van, ha a kontroll egyszerűen elromlott? A kontroll gombja nem működik. Mindenki összezavarodik. A variáns gombja jól működik. A variáns azért nyer, mert a kontroll elromlott, nem azért, mert a variáns eleve jobb.
Miért hiba ez
Rossz tanulságot vonsz le. Azt hiszed, a gomb stílusa nyert, pedig valójában azt tanultad meg, hogy „a működő gomb jobb, mint az elromlott”. Ennek más a következménye a jövőbeli tesztelésre.
Hogyan kerüld el
Értsd meg, miért nyert a variáns. Azért, mert a variáns jobb, vagy azért, mert a kontroll rosszabb? A következmény más.
Ugyanannak a tesztnek az ismételgetése más eredmény reményében
A hiba
Első teszt: a variáns veszít a kontroll ellen. Újra próbálod egy kis módosítással. Második teszt: ugyanaz az eredmény. A kontroll megint nyer. Megint próbálod. Harmadik teszt: ugyanaz a minta. A kontroll folyamatosan nyer.
Ugyanazt a dolgot teszteled újra és újra, és ugyanazt az eredményt kapod.
Miért hiba ez
Tesztelési keretet pazarolsz egy olyan megközelítésre, amely nem működik. Jobb másik irányba fordulni, mint ugyanazzal a vesztes stratégiával próbálkozni.
Hogyan kerüld el
Ne teszteld tovább ugyanazt. Más stratégia kell. A mostani megközelítés nem működik. Válts egy másik variánsra.
Az eredmények és a tanulságok dokumentálásának hiánya
A hiba
A teszt véget ér. Az eredmények nyertest mutatnak. Bevezeted. Aztán elfelejted.
Hat hónap múlva egy új csapattag megkérdezi: „mit tanultunk a címsorokról?” Nincs dokumentációd. Elölről kezded.
Miért hiba ez
Elveszíted a szervezeti tudást. Minden tesztnek tanítania kell valamit. Dokumentáció nélkül a tudás eltűnik, amikor a csapattagok távoznak.
Hogyan kerüld el
Dokumentálj minden tesztet. A hipotézist. Az eredményeket. A tanulságot. Oszd meg a csapattal. Építs szervezeti tudást.
Gyakori kérdések
Ha hetente egyszer megnézem a teszt eredményeit, az már leskelődés?
Nem, ha elköteleződsz a kéthetes időtartam mellett, és az első heti eredmények alapján nem változtatsz a viselkedéseden. Figyelsz, de nem állítod le korán. A nézelődés rendben van. A korai leállítás a leskelődés. Példa: az első héten a variáns kilenc százalék, a kontroll nyolc százalék. A variáns nyertesnek látszik. Még ne vezesd be. Maradj a teljes két hétnél. A második héten a variáns nyolc egész nyolc tized százalék lehet, a kontroll nyolc százalék. Kisebb különbség rajzolódik ki. Ha az első hétnél megállsz, ötven százalékkal túlbecsülöd az előnyt. Köteleződj el az időtartam mellett, nézd meg hetente, ha szeretnéd, de az előzetes eredmények alapján ne cselekedj. A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon beállíthatod.
Tesztelhetek egyszerre két hasonló dolgot (különböző címsorokat különböző régiókban)?
Igen, ha a régiók valóban elkülönülnek, és nem hasonlítod össze őket. Teszteld az A és B címsort az amerikai forgalmon. Teszteld a C és D címsort az európai forgalmon. Ezek külön tesztek. A párhuzamos tesztelés rendben van. De ne hasonlítsd össze az A-t a C-vel a régiók között, mert az összetétel más. A regionális közönségek eltérő arányban konvertálnak. Az USA alapértéke lehet tizenkét százalék. Az EU-é nyolc. Az A címsor nyer az USA-ban. A C címsor nyer az EU-ban. Nem vonhatod le azt a következtetést, hogy az A címsor mindenhol jobb, mert a régióknak különböző az alapértéke. Párhuzamosan teszteld, de külön elemezd.
Ha az eredmények szerint nincs szignifikáns különbség, azt kell feltételeznem, hogy a változatok azonosak?
Nem. Tekintsd úgy, hogy a különbség nem tisztázott. Lehet, hogy azonosak. Lehet, hogy különböznek, de több adat kellett volna a kimutatásukhoz. Példa: a kontroll ötszáz konverziót hoz. A variáns ötszázötöt. Egy százalék a különbség. Nyolcvannyolc százalékos megbízhatóság. Nem szignifikáns. Nem következtethetsz arra, hogy azonosak. Csak arra, hogy a különbség nem tisztázott. A lehetőségeid: futtasd tovább a tesztet, hogy több adatot kapj. Vagy ha a variánst könnyebb bevezetni, mint a kontrollt, válts a variánsra, mert legrosszabb esetben azonosak, a legjobb esetben a variáns jobb. Ha a kontroll az egyszerűbb, maradj nála.
Mi van, ha a teszt statisztikailag szignifikáns eredményt mutat, de ösztönösen rossznak érzem?
Bízz a statisztikában, ne az ösztönödben. A matematika okosabb az ösztönnél. Ha a statisztika szerint az eredmény valódi (kilencvenöt százalékos megbízhatóság), valószínűleg az. Lehet, hogy az ösztönöd téved. Az ösztönöd korlátozott tapasztalaton alapul. A statisztika ezernyi látogatói adatponton. Statisztika alapján vezess be. Példa: szerinted a piros gomb jobban teljesít, mint a kék. A teszt szerint a kék gomb szignifikánsan nyer. Az ösztönöd tévedett. Vezesd be a kék gombot. Ha az ösztönödre hallgatsz, és figyelmen kívül hagyod a tesztadatokat, a piros gombot vezetted volna be, és ártottál volna a konverziónak.
Összevonhatok több kicsi, nem szignifikáns eredményt egy nagy, szignifikáns eredménnyé?
Nem. Minden teszt önmagában áll. Nem vonhatsz össze meg nem győző teszteket egyetlen meggyőző eredménnyé. Az első teszt nyolcvanöt százalékos megbízhatósággal mutatja, hogy a variáns nyer. A második teszt nyolcvan százalékos megbízhatósággal mutatja ugyanezt. Együtt kilencvenöt százalék? Nem. A statisztika nem így működik. Minden teszt független. Az összevonásuk statisztikai képtelenség. Futtass az elejétől fogva megfelelő méretű, megfelelő erejű tesztet. Vagy van szignifikancia, vagy nincs.
Ha a teszt erős eredményt mutat egy szegmensre, de gyengét összességében, melyiket vezessem be?
Csak akkor vezesd be a szegmensre, ha az erős eredmény az adott szegmensre statisztikailag szignifikáns. Ha a szegmens kicsi (a forgalom tíz százaléka), nehezebb elérni a szignifikanciaküszöböt. Lehet, hogy a szegmensen téves pozitív eredményt látsz. Nézd meg az adott szegmens szignifikanciáját, ne csak az összesítettet. Példa: az összesített teszt szerint a variáns kilenc százalék, a kontroll nyolc egész kilenc tized. Épphogy szignifikáns. De az asztali szegmensben a variáns tíz százalék, a kontroll nyolc százalék. Két százalékos nyereség asztali gépen. Erős és szignifikáns az asztali szegmensre. A mobil szegmensben a variáns nyolc százalék, a kontroll nyolc százalék. Nincs különbség. Csak asztali gépre vezesd be. Mobilra ne. A különböző szegmenseknek más-más a legjobb variánsa.