Az attribúció megmondja, melyik csatorna kapja az érdemet egy konverzióért. De vajon a csatorna ténylegesen hozza a konverziót, vagy az enélkül is megtörtént volna? Az inkrementalitási tesztelés kísérletekkel válaszol erre: egyes felhasználókat kitesz a csatorna hatásának (kezelt csoport), másokat nem (kontrollcsoport), és méri a konverziós arányok különbségét. A különbség a valódi többlethatás. Ez a fejezet az inkrementalitási tesztelést és azt mutatja be, mikor érdemes használni.
Attribúció és inkrementalitás
Attribúció: a konvertálók közül melyik csatorna érintette meg őket utoljára? Egyszerű mérni, de nem bizonyítja az ok-okozati kapcsolatot.
Inkrementalitás: ha ezt a csatornát teljesen kivesszük, mennyi bevételt veszítenénk? Ez bizonyítja az ok-okozati kapcsolatot, és a valódi hatást méri.
Példa: 100 ember konvertált. A Google Ads utolsó kattintás szerint 60 konverzió az övé. De az inkrementalitási teszt megmutatja: ha nem futtatnánk Google Ads hirdetést, a 60-ból 50 akkor is konvertált volna (más csatornákon át). A Google Ads valódi inkrementalitása 10 konverzió, nem 60.
Az inkrementalitási tesztek típusai
Földrajzi alapú tesztelés
Futtass hirdetéseket egyes földrajzi területeken (kezelt), másokon nem (kontroll). Hasonlítsd össze a konverziós arányokat. Példa: futtass Google Ads hirdetést San Franciscóban (kezelt), Berkeleyben nem (kontroll). Ha San Franciscóban magasabb a konverziós arány, a hirdetések többlethatást fejtenek ki.
Előny: egyszerű, gyors. Hátrány: a földrajzi különbségek összezavarhatják az eredményt (San Francisco gazdagabb, ez magasabbra tolja a konverziós arányt).
Visszatartott csoportok
Futtass hirdetést mindenkinek, kivéve egy véletlenszerű 10%-ot (kontroll). Hasonlítsd össze a konverziós arányokat: a hirdetéssel találkozó felhasználók és a visszatartott felhasználók között. A különbség az inkrementalitás.
Előny: pontos, kiszűri a zavaró tényezőket. Hátrány: nagy költségvetés kell (a közönségünk 10%-át nem célozzuk, hogy mérjük a hatást).
Idő alapú tesztelés
Futtass hirdetéseket egyes időszakokban (kezelt), másokban nem (kontroll). Példa: fizetett keresés hétfőtől csütörtökig, péntektől vasárnapig nem. Hasonlítsd össze a konverziós arányokat. Ha hétfőtől csütörtökig magasabb, a hirdetések többlethatást fejtenek ki.
Előny: egyszerű. Hátrány: a hét napjai zavaró tényezők (a hétvégék természetüknél fogva alacsonyabb konverziójúak).
Inkrementalitási teszt futtatása
1. lépés: fogalmazz meg hipotézist. „A Google Ads az alapszint fölötti többletkonverziókat hoz.”
2. lépés: válaszd ki a teszt típusát. A visszatartott csoportok a legpontosabbak; ezt használd, ha a költségvetésed engedi.
3. lépés: méretezd a tesztet. Elég nagy minta kell a különbség kimutatásához. Ha az alap konverzió 5%, és 2%-os növekedést akarsz kimutatni, csoportonként kb. 10 000 fő kell. Kérj tanácsot statisztikustól, vagy használj mintanagyság-számolót.
4. lépés: futtasd a tesztet 2-4 hétig. A hosszabb tesztek csökkentik a napi ingadozásokból eredő szórást.
5. lépés: elemezd az eredményeket. Statisztikailag szignifikáns a különbség? (p < 0.05). Ha igen, bizonyítottad az inkrementalitást.
Kihívások az inkrementalitási tesztelésben
Költség: a visszatartott csoportok azt jelentik, hogy szándékosan veszítesz bevételt (a közönségünk 10%-át nem célozzuk). Csak a nagy költésű csatornáknál éri meg, ahol értékes a tanulság.
Kannibalizáció: ha a felhasználó nem látja a hirdetésedet, használhat helyette organikus keresést vagy közvetlen belépést. Az inkrementalitás ezt is megragadja (benne van a kontrollcsoport viselkedésében).
Hosszú távú hatások: a hirdetéseknek lehet márkahatása, amely napokkal vagy hetekkel később jelenik meg. A legtöbb teszt rövid távú; a hosszú távú hatások kimaradnak.
Hogyan döntsem el, hogy futtassak-e inkrementalitási tesztet?
Az inkrementalitás drága (a visszatartás pénzbe kerül). Futtass tesztet: nagy költésű csatornáknál (Google Ads, Facebook Ads), ahol az attribúció kétértelmű, és ahol nagy költségvetési döntéseket hozol. Ne teszteld: a kis csatornákat, ahol az attribúció egyértelmű. Költségvetés: tesztenként 10 000-50 000+ $. Tartogasd a legnagyobb hatású kérdésekre.
Mekkora mintaméret kell az inkrementalitási teszthez?
Az alap konverziós aránytól és a kimutatni kívánt növekedéstől függ. Ökölszabály: csoportonként (kontroll és kezelt) 5 000-10 000 fő kell. Ha az alap 5%, és 2%-os növekedést (7%-os új arányt) akarsz kimutatni, csoportonként kb. 10 000 fő kell. Használj mintanagyság-számolót (keress rá: „statisztikai erő kalkulátor”), hogy pontos számot kapj a helyzetedre.
Meddig futtassam az inkrementalitási tesztet?
Legalább 2-4 hétig (hogy kiátlagolódjon a napi ingadozás). 4-8 hét jobb (megragadja a heti mintákat). A hosszabb teszt drágább, de megbízhatóbb. Ha az értékesítési ciklusod 30 nap, futtasd 30+ napig, hogy a teljes ciklust lefedd.
Használhatom az inkrementalitási tesztelést a csatornák kölcsönhatásának mérésére (hogyan segíti az egyik csatorna a másikat)?
Igen, de bonyolultabb. A teszt kialakítása: (1) kontroll (nincs csatorna), (2) A kezelés (csak az A csatorna), (3) B kezelés (csak a B csatorna), (4) A+B kezelés (mindkét csatorna). Hasonlítsd össze az eredményeket. Ha A+B > A + B, szinergia van. Ehhez nagyobb minta és bonyolultabb elemzés kell.
Mi a különbség a visszatartott csoport és a kontrollcsoport között a tesztelésben?
Visszatartott csoport: az ügyfélkör azon része, amely (szándékosan) nem látja a csatornát. Kontrollcsoport: egy kísérletben az a csoport, amely nem kapja meg a kezelést (az összehasonlításhoz). Ugyanaz a fogalom, más elnevezés. A visszatartott csoport folyamatos (tartósan visszatartott csoport); a kontroll egy konkrét teszt idejére szól.
Hogyan mutassam be az inkrementalitási teszt eredményeit a vezetőségnek?
Mutasd meg: alap konverzió (5%), kezelt konverzió (6%), növekedés (1 százalékpont, 20% relatív emelkedés). Mutasd a konfidenciaintervallumot: a növekedés 0,5-1,5 százalékpont (erre a tartományra biztosak vagyunk). A költségvetési következmény: ha az inkrementalitás 20%-kal alacsonyabb, mint amit az attribúció állított, számold újra a megtérülést. Ez a jobb döntéshozatallal indokolja a teszt költségét.