Első lépés: írj konkrét hipotézist
A homályos hipotézis elbukik
Nem ez: a pénztár módosítása javítja a konverziót.
A konkrét hipotézis nyer
Jobb így: szerintünk az, ha a pénztárat ötlépéses folyamatról egyoldalas űrlapra egyszerűsítjük, legalább három százalékkal növeli a befejezett vásárlások számát, mert az ügyfelek otthagyják az űrlapot, ha hosszúnak érzik.
A hipotézisnek ki kell mondania. Mit változtatsz. Miért gondolod, hogy segít. Melyik mutató javulását várod. Mennyivel.
A homályos hipotézis homályos eredményhez vezet. A konkrét hipotézis tesztelhető.
Második lépés: határozd meg a mintanagyságot a kezdés előtt
A számolás számít
Hány látogatóra van szükséged ahhoz, hogy valódi különbséget láss.
Szabály. Változatonként legalább ötszáz konverzióra van szükséged. Vagyis összesen ezerre, ha két változatot tesztelsz.
Számold ki a teszt időtartamát
Ha két százalékos a konverziód, és havonta kétezer látogatód van, havonta negyven konverziót kapsz. Az ötszáz konverzióhoz tizenkét hónap kell. A teszt nem készül el időben.
Ha tíz százalékos a konverziód, és havonta ötezer látogatód van, havonta ötszáz konverziót kapsz. Az ezerhez két hónap kell. A teszt gyorsan lefut.
Előre tudd az ütemtervet
Az alacsony konverziós arányú weboldalaknak hosszabb tesztek kellenek. A magas konverziójú weboldalak gyorsabban végeznek.
Használj mintanagyság-kalkulátort. Add meg a konverziós arányodat és a forgalmadat. A kalkulátor megmondja, mennyi ideig tart a teszt.
Ha a teszt három hónapnál tovább tart, gondold át. Megéri három hónapot várni erre a változtatásra. Vagy inkább teszteljünk valami mást, ami gyorsabban lefut.
Harmadik lépés: válaszd ki a teszt forgalomelosztását
Az ötven-ötven az alapeset
Ötven százalékot a kontrollváltozatra oszts. Ötven százalékot a tesztváltozatra.
Az óvatos elosztás lassítja az eredményeket
Vannak, akik kilencven-tíz arányban osztanak. Kilencven százalék a jelenlegi, jól működő változatra, tíz százalék az új változatra, amiben nem biztosak. Ez óvatos, de lassítja a tesztet.
Az ötven-ötven az alapeset. A leggyorsabb eredmény.
Negyedik lépés: határozd meg a teszt időtartamát a futtatás előtt
Kötelezd el magad az ütemterv mellett
Legalább egy hét. Két hét az alapeset. Egy hónap a nagyon nagy forgalmú oldalaknál.
Ne a teszt közben döntsd el az időtartamot. Előtte döntsd el. Írd le. Tartsd magad hozzá.
Az idő előtti ellenőrzés tönkreteszi a teszteket
Az idő előtti ellenőrzés tönkreteszi a teszteket. Egy hét után megnézed az eredményt. Úgy tűnik, a tesztváltozat nyer. Leállítod a tesztet. Bevezeted. Később kiderül, hogy az eredmények nem voltak valódiak. Olyasmit vezettél be, ami valójában nem működik.
Futtasd végig a teljes időtartamot.
Ötödik lépés: készítsd el a változtatást
Csak egy változtatás
Csak egy változtatás. Nem több.
Ha a pénztár egyszerűsítését teszteled, az űrlapot egyszerűsítsd. Ne változtass egyszerre színt, szöveget és elrendezést. Egyszerre egy változó.
Legyen szembetűnő
A változtatásnak szembetűnőnek kell lennie. A látogatóknak észre kell venniük a különbséget. Ha a változtatás annyira finom, hogy a látogatók nem látják, a teszt nem fog működni.
Hatodik lépés: állítsd be a tesztet az eszközben
Válaszd ki a platformodat
Használj tesztplatformot. . . .
Telepítsd és állítsd be
Csatlakoztasd a weboldalhoz. Telepítsd a követőkódot. Ez általában egy sor kód vagy egy bővítmény telepítése.
Hozd létre a változatokat és a mutatókat
Hozd létre a kontrollváltozatot. Ez a jelenlegi változat.
Hozd létre a tesztváltozatot. Vezesd be a változtatásodat.
Állítsd be a forgalom felosztását. Fejenként ötven százalék.
Állítsd be az időtartamot. Két hét, vagy amennyit meghatároztál.
Állítsd be a sikermutatót. Mit mérsz. A pénztár befejezését. Az űrlap beküldését. Az oldal görgetését.
Hetedik lépés: hagyd futni, ellenőrzgetés nélkül
Állj ellen a kísértésnek
Ez nehéz. Állj ellen a kísértésnek, hogy megnézd az eredményeket.
Pár nap után az eredmények értelmetlenek. Kis mintánál óriási a véletlen ingadozás. Olyan eredményeket fogsz látni, amelyek később eltűnnek.
Állíts be naptáremlékeztetőt
Pontosan a befejezés napján nézd meg az eredményeket. Előbb ne.
Állíts be naptáremlékeztetőt a teszt befejezésének napjára. Akkor nézd meg.
Nyolcadik lépés: elemezd helyesen az eredményeket
Keresd a statisztikai szignifikanciát
A teszt véget ér. Megnézed az eredményeket. A tesztváltozat tizenegy százalékon konvertált. A kontroll tíz százalékon. A tesztváltozat jobb. Igaz?
De vajon statisztikailag szignifikáns volt? Valódi ez, vagy szerencse?
Nézd a konfidenciaintervallumot vagy a p-értéket. A megbízhatóságnak kilencvenöt százalék felett kell lennie, vagy a p-értéknek nulla egész nulla öt alatt.
Mit jelent a statisztikai szignifikancia
Ha a statisztikai szignifikancia igent mond, az eredmény valódi. Vezesd be a tesztváltozatot.
Ha a statisztikai szignifikancia nemet mond, az eredmény nem egyértelmű. Lehet szerencse. Lehet valódi, de több időre volt szükség. Futtasd tovább a tesztet, vagy próbálj ki más változtatást.
Kilencedik lépés: vezesd be és dokumentáld
Ha a tesztváltozat nyer
Ha a tesztváltozat nyer, vezesd be véglegesen.
Dokumentáld, amit tanultál. Miért gondoltad, hogy működni fog. Mi történt. Mit fogsz tesztelni legközelebb.
Építs saját módszertárat. Idővel mintázatok rajzolódnak ki. Megtanulod, mi működik a közönségednél.
Ha a kontroll nyer
Ha a kontroll nyer, vond vissza a változtatást.
Dokumentáld, miért nyert a kontroll. Talán téves volt a hipotézised. Talán a változtatás nem volt elég feltűnő. Talán a közönségnek nem tetszett a változás.
Egy elveszített teszt is tanulság.
Gyakori hibák az első tesztnél
Túl rövid ideig futó teszt
Egy hét után türelmetlen vagy. Leállítod. Az eredmények még nem valódiak.
Több változtatás tesztelése
Megváltoztattad az űrlapot, a gombot és a szöveget. Az űrlap nyer, de vajon az űrlap tette, vagy a gomb. Most már nem tudod.
Nincs szignifikanciakövetelmény
A tesztváltozat egy százalékkal jobb. Lehet szerencse. Bevezeted. Később nem állja meg a helyét.
Tesztelés mindenkin
Aggódsz a változtatás miatt. Kilencven százalékon a jelenlegit, tíz százalékon az újat teszteled. A teszt örökké tart.
Nincs elköteleződés a bevezetés mellett
A teszt véget ér. A tesztváltozat nyer. Azt mondod, később bevezeted. Soha nem teszed meg. A teszt nem teremtett értéket.
Mi választja el a győzteseket mindenki mástól
Nem okosabb tesztelés
Nem okosabb tesztelés. Következetes tesztelés.
A nyertes minta
A nyertes cégek lefuttatnak egy tesztet. Megjönnek az eredmények. Azonnal bevezetik. Futtatják a következő tesztet.
Elköteleződnek a tesztelési program mellett. Nem egyszeri tesztek. Folyamatos tesztelés. Hónapról hónapra.
Belső tudást építenek. Ötven teszt után ismerik a közönségüket. Tudják, mi működik. Tudják, mi nem. Gyorsabban haladnak, mint a versenytársak.
Halmozódó növekedés
Teszteld egyszer, nem történik semmi. Teszteld ötvenszer, minden megváltozik.
Gyakori kérdések
Mi van, ha menet közben kiderül, hogy a teszt elromlott. Például leállt a követés. Újra kell kezdenem?
Igen. Egy elromlott teszt használhatatlan. Kezdd elölről. Ha a követés elromlott, nincs valódi adatod. Ezért érdemes időnként ellenőrizni a tesztet (nem megszállottan, de legalább egyszer). Kapd el a hibát időben. A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon beállíthatod.
Megváltoztathatom a teszt hipotézisét futás közben, ha új információ merül fel?
Nem. Írd le a hipotézist a teszt indulása előtt. Tartsd magad hozzá. Ha a teszt közben tévesnek tűnik, jegyezd fel. De az eredeti hipotézissel fejezd be a tesztet. Az új hipotézissel később futtass új tesztet.
Ha a tesztváltozat egyértelműen rosszabb, leállíthatom korábban a tesztet?
Csak akkor, ha valamit elront. Ha a tesztváltozat hibákat okoz, állítsd le. Egyébként ne. Még ha nagy különbséggel is veszít, futtasd végig a teljes időtartamot. Tudd meg, miért veszített. Használd fel ezt a tanulságot.
Mit tegyek, ha a statisztikai szignifikancia nemet mond, de szerintem az eredmény valódi?
Futtasd újra a tesztet. Ugyanazt a változtatást. De hosszabb ideig vagy több forgalommal. Ha az eredmény valódi, újra megjelenik. Ha nem, az intuíció tévedett, a matematika pedig igazat mondott.
Honnan tudom az eredményekben, hogy melyik változat a kontroll, és melyik a tesztváltozat?
A tesztelő eszközöd megcímkézi őket. Indulás előtt győződj meg róla, hogy tudod, melyik melyik. Készíts képernyőképet. A kontroll az A változat. A tesztváltozat a B változat. Amikor megjönnek az eredmények, nézd meg a jegyzeteidet.
Meg kell mondanom a főnökömnek, hogy tesztelek, vagy elég az eredményeket megmutatni?
Mondd el neki. Meg fogja érteni, hogy a tesztelés időbe telik. Állíts elvárásokat. A tesztelés két hétig tart. Ha a tesztváltozat nyer, bevezetjük. Ha nem, mást próbálunk ki. Az átláthatóság megelőzi a meglepetést, amikor nem vezeted be azt a változtatást, amit ő várt.