A tesztelési projekt és a tesztelési kultúra különbsége
Tesztelési projekt
Lefuttatsz néhány tesztet. Megnézed, mi működik. Továbbmész. A tesztelés egy eszköz, amelyet akkor használsz, ha kell. Aztán abbahagyod.
Tesztelési kultúra
Folyamatosan tesztelsz. A nyertes tesztek megmondják, mi legyen a következő. A tanulás gyűlik. Évről évre a tesztelés halmozódik.
Minden változtatást tesztelsz. Minden döntés adatvezérelt. A tesztelés az, ahogyan döntesz, nem egy projekt, amelyet néha lefuttatsz.
A tesztelési kultúrával rendelkező cégek megelőzik a nélküle működő versenytársakat. Nem sokkal tesztenként. De évek alatt ez hatalmas előnnyé áll össze.
A vezetőség támogatásának megszerzése
A probléma
A legtöbb tesztelési program azért bukik meg, mert a vezetőség nem érti a tesztelést, vagy nem köteleződik el mellette.
Mit hall a vezetőség
Amikor tesztelési programot javasolsz, a vezetőség ezt hallja: ez időbe fog telni és pénzbe kerül.
Mit kell hallania a vezetőségnek
Mutass pénzt. Futtass le egy tesztet. Bizonyítsd, hogy működik. Számold ki a bevételre gyakorolt hatást. Ez a teszt két százalékkal javította a konverziót. Ez ötvenezer dollár többletbevételt hoz évente. A tesztelő eszköz tizenkétezerbe kerül. A nettó haszon harmincnyolcezer.
Most a vezetőség a tesztelést befektetésnek látja, nem költségnek.
A tesztelési ütemterv felépítése
Ne futtass véletlenszerű teszteket
Tervezz tesztelési ütemtervet. Az ütemterv kijelöli a nagy hatású területeket. Űrlapok. Címsorok. Ajánlatok. Pénztár. Minden terület tesztelési prioritást kap.
Hatás szerinti sorrend
Az ütemterv sorba rendezi a teszteket. Előbb a nagy hatásúakat teszteld. Másodikként a közepes hatásúakat. Később a kis hatásúakat.
A csapat elköteleződése
Az ütemterv elkötelezi a csapatokat a tesztelés mellett. A dizájnerek tudják, hogy gombterveket tesztelnek. A termékes csapat tudja, hogy az ajánlatot teszteli. Mindenki tudja, mi következik.
Készíts negyedéves ütemtervet. Havonta frissítsd az eredmények alapján. A negyedéves tervezés fókuszban tartja a csapatot.
A felelősség és a számonkérhetőség kijelölése
A probléma
A tesztelés elbukik, ha senki sem felel érte. A marketing azt mondja, a termékes csapat a felelős. A termékes csapat azt mondja, a fejlesztés a felelős. A tesztelés sosem történik meg.
A megoldás
Jelölj ki egy tesztelési felelőst. Lehet a növekedési vezető. Lehet a termékmenedzser. Egyetlen ember felel a tesztelési programért.
A tesztelési felelős meghatározza az ütemtervet. Lefuttatja a teszteket. Dokumentálja az eredményeket. Megosztja a tanulságokat. Összehangolja a csapatokat. Felelős nélkül a tesztelés leáll.
A csapatok képzése a statisztikai gondolkodásra
A probléma
A legtöbb embert nem képezték statisztikára. Ránéznek a számokra, és megérzésből döntenek.
Az új változat kilenc százalék. Az eredeti nyolc egész nyolc tized százalék. Úgy tűnik, az új változat nyert. Aki nem statisztikus, azt hiszi, az új jobb.
A statisztikus ellenőrzi a megbízhatósági szintet. Nyolcvankét százalék. A kilencvenöt százalékos küszöb alatt van. Nem szignifikáns. A különbség lehet szerencse.
A megoldás
A csapatok alapvető statisztikai képzése megelőzi a rossz döntéseket. A képzés témái: mi a statisztikai szignifikancia. Miért számít a kilencvenöt százalék. Hogyan olvasd a konfidenciaintervallumokat. Mit jelent a mintaméret.
Egy jó tesztelési program a statisztikára is megtanítja a csapatot.
Közös tanulás és dokumentáció létrehozása
Miért számít a dokumentáció
Minden teszt tanít valamit. A tanulság elvész, ha nem dokumentálod.
Hogyan dokumentálj
Hozz létre tesztadattárat. Minden teszt kap egy oldalt. Hipotézis. Eredmények. Tanulság.
Ötven teszt után ötven oldalnyi tanulságod van. Az új csapattag elolvassa az ötven oldalt, és megérti, mi működik a közönségednek.
Jó dokumentáció: hipotézis, eredmények, felismerés, mit teszteljünk legközelebb.
Rossz dokumentáció: az első teszt nyert, a második veszített. Nincs felismerés.
A tesztelés a folyamat részévé tétele
A választható tesztelés elbukik
Ha a tesztelés választható, elfoglaltság idején abbamarad. A csapatok háttérbe szorítják a sürgős projektek miatt.
A kötelező tesztelés fennmarad
Tedd kötelezővé a tesztelést. Minden változtatás átmegy a tesztelési folyamaton. Teszt nélküli változtatást nem hagysz jóvá.
Ehhez folyamatváltozás kell. De biztosítja, hogy a tesztelés következetesen megtörténjen.
Példa a folyamatra
Egy: Javasolj változtatást hipotézissel. Kettő: Kérj engedélyt a teszteléshez. Három: Futtasd a tesztet két hétig. Négy: Az eredményeket a tesztelési felelős hagyja jóvá. Öt: Ha szignifikáns, vezesd be. Hat: Dokumentáld a tanulságot. Hét: Tervezd meg a következő tesztet.
A győzelmek megünneplése és kommunikálása
A probléma
A tesztelési program elhal, ha a győzelmek hallgatásba burkolóznak.
A megoldás
Ünnepeld meg a győzelmeket. Oszd meg az eredményeket. Mutasd meg a hatást. Havi e-mail: „A tesztelési programunk ebben a negyedévben hét százalékkal javította a konverziót. Itt van öt teszt, amely megmozgatta a mutatókat. Köszönet a csapatoknak, amelyek megvalósították."
Az ünneplés lendületet teremt. Kultúrát teremt. Hitet teremt abban, hogy a tesztelés működik.
A tesztelés politikájának kezelése
A konfliktus
Valaki változtatást javasol. A teszt megmutatja, hogy a változtatás nem jó ötlet. Aki javasolta, frusztrált. A tesztelés konfliktust szül, ha az eredmények ellentmondanak a feltételezéseknek.
A megoldás
Úgy mutasd be a tesztelést, mint tanulási eszközt. Ne mint módot arra, hogy bebizonyítsd, mások tévednek. Úgy fogalmazz: „teszteljünk és tanuljunk együtt".
Amikor a teszt megmutatja, hogy valaki tévedett, fogalmazz így: „tanultunk valamit". Győzelemként, ne vereségként. Az emberek védekezővé válnak, ha a tesztelést fenyegetésnek látják. Támogatják a tesztelést, ha tanulásnak látják.
A tesztek tempójának kezelése
Agresszív megközelítés
Havonta tíz tesztet futtatsz. Minden tesztet egy hét alatt befejezel. Gyors tanulás. Nagyobb az álpozitívok esélye. Magasabb a hibaarány.
Konzervatív megközelítés
Havonta három tesztet futtatsz. Minden tesztet két-három hét alatt befejezel. Lassabb tanulás. Alacsonyabb hibaarány. Biztonságosabb.
Kiegyensúlyozott megközelítés
A legtöbb cégnek a kiegyensúlyozott a jó. Havonta öt-hat teszt. Kéthetes időtartam. Elfogadható hibaarány. Elfogadható tanulási sebesség. Ne áldozd fel a minőséget a sebességért. Egyetlen jó minőségű teszt többet ér tíz gyenge minőségűnél.
A csökkenő hozadék megértése
A minta
Az első húsz teszt megmozgatja a mutatókat. Minden teszt javít valamit. Az ütemterv tele van nagy hatású lehetőségekkel.
A huszadiktól a negyvenedik tesztig kevésbé mozdulnak a mutatók. Még tanulsz, de a javulások kisebbek. Kevesebb a kézenfekvő lehetőség.
A negyvenedik teszttől: a lehetőségek kicsik. A javulások aprók. Ez normális.
A megoldás
A csökkenő hozadékot ne a tesztelés kudarcának értelmezd. Értelmezd érettségnek. A csökkenő hozadék szakaszában válts fókuszt. A széles körű tesztelés helyett futtass teszteket új területeken. Új termékeken. Új szegmenseken. Új piacokon.
A tesztelési program hosszú távú fenntarthatósága
A kockázat
A tesztelési program hat hónapig erősen fut. Aztán lelassul. Az emberek elfoglalttá válnak. A tesztelés háttérbe szorul. A program elhalványul.
Hogyan tartsd fenn
A fenntartható program folyamatos elköteleződést igényel. Erőforrásokat igényel. Felelőst igényel. Költségvetés a tesztelő eszközökre. Költségvetés a tesztelésért felelős emberre. Építsd be a tesztelést az éves célokba.
Ha a tesztelés éves prioritás, a tesztelés megtörténik. Ha a tesztelés csak kellemes extra, a tesztelés leáll.
Gyakran ismételt kérdések
Hogyan győzzem meg a szkeptikus csapattagokat, hogy a tesztelés működik?
Mutass nekik egy tesztet. Futtass egy egyszerű tesztet egy nagy forgalmú elemen. Szerezd meg az eredményeket. Mutasd meg a nyertes javulást. Mutasd meg a bevételre gyakorolt hatást. Egyetlen sikeres teszt megtéríti a szkeptikusokat. Az eredmények hangosabban beszélnek a szavaknál. Példa: futtass gombszín-tesztet. Mutasd az eredményt: a kék gomb kilenc százalék konverzió, a piros gomb nyolc egész öt tized százalék konverzió. Nyolc százalékos javulás. Számold ki a hatást: ha a weboldalnak havonta tízezer látogatója van, és két százalék konvertál, az havi kétszáz konverzió. A nyolc százalékos javulás havi tizenhat további konverzió. Ha az átlagos rendelési érték száz dollár, az havi tizenhatszáz dollár többletbevétel. Évente tizenkilencezer dollár. Mutasd meg ezt a szkeptikus kollégának. A szkepticizmus eltűnik, ha pénzről van szó. A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon beállíthatod.
Ha sok a projektünk, halasszuk el a tesztelést?
Nem. A tesztelésnek a projektek megvalósításának része kell lennie. Minden projektváltoztatást a bevezetés előtt tesztelnek. A tesztelés nem tesz hozzá időt, ha a folyamatba van építve. Megakadályozza, hogy olyasmit vezess be, ami nem működik. Példa: új pénztárfolyamatot indítasz. Tesztelés nélkül: bevezeted, elindítod, rájössz, hogy a látogatók kilencven százalékát megzavarja az új folyamat, visszaállítod, kijavítod, újraindítod. Összesen három hét. Teszteléssel: az indulás előtt egy hétig teszteled az új folyamatot, felfedezed a hibákat, kijavítod, magabiztosan indítod a folyamatot. Összesen két hét. A tesztelés időt takarít meg azzal, hogy megelőzi a rossz indulásokat. A tesztelést az elejétől építsd az ütemtervbe, ne utólag.
Milyen gyakran nézzük át a régi teszteredményeket?
Akkor nézd át, ha változnak a körülmények. Új szezon. Új versenytárs. Jelentős üzleti változás. Egyébként minden teszteredmény érvényes a maga időszakára. Nem kell folyton újratesztelni. Példa: januárban teszteltél egy ajánlatot. A pénzvisszafizetési garancia legyőzi a tíz százalékos kedvezményt. Bevezetted a pénzvisszafizetési garanciát. Eljön a július, és egy versenytárs is bevezet pénzvisszafizetési garanciát. Az előnyöd eltűnik. Újra kell tesztelned az ajánlatot? Talán. A versenytárs lépése megváltoztatta a piacot. A nyertesed lehet, hogy már nem releváns. Szezonális felülvizsgálat: teszteld az ajánlatokat a Black Friday időszakban. Az eredmények júliusban mások lehetnek, mert más a vásárlási viselkedés. Teszteld újra az ajánlatokat júliusban. Az eredmények a júliusi stratégiát határozzák meg.
Az átlagos látogatóra teszteljünk, vagy egy adott szegmensre?
Kezdd az átlagos látogatóval. Szerezd meg az alapértéket. Aztán térj át a szegmensekre. Ha csak egy szegmensre optimalizálsz, az összteljesítmény szenved. Példa: csak mobilra teszteled az optimalizálást, mert a mobilforgalom a legnagyobb. Az asztali alapérték tíz százalék. A mobil alapérték hét százalék. Mobilra optimalizálsz, és a mobil nyolc százalékos javulással ugrik. De az asztali alapérték kilenc százalékra esik, mert a változtatások asztalon nem működnek. Nyertél a mobilon, de ártottál az asztali változatnak. Összességében vesztettél. Előbb tesztelj szélesen, hogy megértsd az általános hatást. Aztán tesztelj szegmenseket, hogy szegmensenként optimalizálj.
Hogyan tartsuk fenn a lendületet, ha a tesztek folyton veszítenek?
A vesztes tesztek megtanítják, mi nem működik. Értékes adat. A nyertes tesztek jönni fognak. Tesztelj tovább. Építs a vereségekből levont tanulságokra. Példa: öt címsort tesztelsz. Három veszít a jelenlegi címsorral szemben. Kettő nyer. A nyertesek megmondják, mi működik. A vesztesek megmondják, mire nem reagál a közönséged. Most már tudod, hogy a „sürgős" üzenet veszít (az emberek nem szeretik a nyomást). Tudod, hogy a „konkrét előny" üzenet nyer (az emberek szeretik az egyértelműséget). A következő teszt erre a tanulságra épül. Tesztelj még konkrétabb előnyöket. A tesztek összeadódnak. A vesztes tesztek nem kudarcok. Adatpontok.
Ha a tesztelés azt mutatja, hogy az egész megközelítésünk rossz, mit tegyünk?
Ünnepelj. Valami értékeset tanultál. Most változtass irányt. Jobb ezt a tesztelésből megtudni, mint a csendes bevételvesztésből. Példa: azt hiszed, a célközönséged prémium terméket akar. A teszt azt mutatja, hogy a közönség az olcsóbb opciót választja. A prémium pozicionálásod rossz volt. Az ünneplés pillanata: most tanultál valamit, ami évekig pénzedbe került volna, ha nem tesztelsz. Most igazítsd a stratégiát. Változtasd az üzenetet olcsóbb irányba. Teszteld az új pozicionálást. Jobb ezt ötvenezer dollár bevételkiesésnél felfedezni, mint ötmillió dollárnál.