Rendellenesség-észlelés: a szokatlan adatváltozások automatikus kiszúrása

A konverziós arányod kedden 15%-kal esik. Csütörtökig nem veszed észre, amikor megnézed a vezérlőpultot. Két nap kiesett bevétel, és még mindig nem tudod, miért. Egy rendellenesség-észlelő rendszer szerda reggel szólt volna: „A konverzió tegnap 15%-kal esett, a mobilos fizetés érintett.” Most azonnal vizsgálódsz. Kiderül, hogy egy frissítés elrontotta a mobilos fizetést. Aznap délután kijavítod. A rendellenesség-észlelés a különbség aközött, hogy a problémákat napok múlva találod meg, vagy órák múlva.

A rendellenesség-észlelés olyan rendszer, amely folyamatosan figyeli a mutatóidat, és szól, ha valami szokatlan történik. Nem vár arra, hogy megnézd a vezérlőpultot. Ismeri az alapszintedet (hogyan néz ki a „normális”), minden napot ahhoz hasonlít, és megjelöli az eltéréseket. A forgalmi csúcs, a konverziócsökkenés, az elköteleződés romlása automatikusan elkapódik, és felszínre kerül, mielőtt katasztrófává válna.

Mit csinál valójában a rendellenesség-észlelés?

Vegyél bármelyik mutatót, és ugyanazt a mintát találod: természetesen ingadozik. A konverziós arány soha nem pontosan ugyanannyi minden nap. A forgalom a hét napja szerint változik. A mobil másként konvertál, mint az asztali gép. Ha riasztást állítasz be arra, hogy „konverzió 2,5% alatt”, téves riasztásokat kapsz, mert a konverzió egyes napokon természetesen 2,4%-ra esik. A rendellenesség-észlelés ezt úgy oldja meg, hogy megtanulja, hogyan néz ki a normális ingadozás, és csak akkor szól, ha valami ezen a természetes tartományon túlra tér el.

A rendszer a korábbi adatokból tanulja meg az alapszintedet. Azt válaszolja meg: ennél a mutatónál, a hét ezen napján, ekkora forgalomnál mekkora a várt tartomány? A szerdai konverzió jellemzően 2,1% és 2,9% között van. A mobilos konverzió jellemzően 1,8% és 2,4% között. Az e-mail forgalom jellemzően 4% és 6% között konvertál. A rendszer a feltételek minden kombinációjára felépít egy normális viselkedési modellt.

Amikor új adatpont érkezik, a rendszer összeveti a várt tartománnyal. A mai konverzió a szokásos szerdai tartományon belül van? Igen, 2,5%, teljesen normális. A holnapi konverzió a szokásos csütörtöki tartományon belül van? Nem, 1,2%, ez rendellenesség. Riasztja a csapatot. Kivizsgálják, és megtalálják, hogy a mobilos fizetés elromlott. Rendellenesség-észlelés nélkül ezt péntek délután fedeznék fel. Vele szerda reggel tudják.

A különböző típusú rendellenességek más-más riasztást váltanak ki. A hirtelen csúcs (a forgalom 200%-kal a normális felett) megjelölést kap. A hirtelen esés (a konverzió 50%-kal a normális alatt) megjelölést kap. A fokozatos csökkenés (a konverzió egy hét alatt lassan esik) megjelölést kap. A hirtelen megtörő ismétlődő minta (a mobil mindig 20%-kal jobban konvertál, mint az asztali gép, de ezen a héten egyformán) megjelölést kap. A rendszer mindezt figyeli.

Miért számít ennyire a problémák korai észlelése?

Nézd meg, hogyan fedezi fel a legtöbb márka a problémákat, és látod a mintát: utólagos felfedezés. Egy ügyfél e-mailben panaszkodik, hogy nem működik a fizetés. Megnézed a vezérlőpultot, és megerősíted. Vagy csütörtökön veszed észre, hogy a hétfő furcsa volt, és megpróbálod kideríteni, mi történt. Ez órákig vagy napokig tartó elvesztegetett lehetőség.

Nagy méretben a késlekedés ára összeadódik. Egy napi 1 millió dollár bevételű webshop, amelynek egy hiba miatt 15%-kal esik a konverziója, naponta 150 000 dollárt veszít. Két nap késlekedés 300 000 dollárba kerül. Ha a rendellenesség-észlelés 6 órával korábban elkapja, 37 500 dollárt takarítasz meg. Egy 5000 felhasználós SaaS-nál a további 2% lemorzsolódás 100 felhasználót jelent. Két hét késlekedés 1400 elvesztett felhasználót. Az azonnali észlelés 100-at. A különbség ezernyi dollár éves ismétlődő bevétel (ARR).

A sebesség a hírnevet is érinti. Egy ügyfélszolgálati csapat tudni akar a problémákról, mielőtt az ügyfelek jelzik. Rendellenesség-észleléssel e-mailt küldhetsz az ügyfeleknek: „Szerda reggel hibát észleltünk a fiókodnál, és délutánra kijavítottuk.” Nélküle az ügyfelek pénteken panaszkodnak, te azt mondod, „utánanézünk”, ők pedig addigra már átmentek egy versenytárshoz. A „mi vettük észre” és a „ti jelentettétek” pszichológiája megváltoztatja az ügyfelek megítélését.

A sebesség kísérletezést tesz lehetővé. Ha bevezetsz egy változtatást, és órákon belül látod a hatását, gyorsabban finomíthatsz. Rendellenesség-észlelés nélkül egy hétig futtatsz egy kísérletet, megnézed az eredményeket, aztán finomítasz. Vele 24 órán belül láthatod, segített-e a változtatás, vagy ártott. Ez a sebesség egy év alatt összeadódik.

Milyen rendellenességeket érdemes valójában elkapni?

Nem minden rendellenességet érdemes elkapni. Egyes eltérések várhatók. De némelyik számít az üzleti döntésekhez. A lényeg, hogy olyan mutatókra állítsd be a rendellenesség-észlelést, amelyeknél a váratlan változás azonnali cselekvést igényel.

A bevételt érintő rendellenességek az első helyen állnak. A konverziós arány csökkenése, az átlagos rendelési érték romlása, a fizetés megszakításának megugrása közvetlenül befolyásolja a bevételt. Mindegyikre állíts be riasztást. Ha a konverzió 10%-kal esik, azonnal tudni akarod, nem a hétvége után.

A felhasználói elköteleződés rendellenességei azért számítanak, mert problémákat jeleznek előre. A munkamenet hosszának csökkenése, a funkcióhasználat visszaesése, a bejelentkezési gyakoriság csökkenése a lemorzsolódás korai figyelmeztetői. A heti elköteleződéscsökkenés a jövő havi megtartáscsökkenést vetíti előre. Ha most elkapod, van időd közbelépni.

A forgalmi rendellenességek azért számítanak, mert az elérés vagy a szerzés problémáit tárják fel. A szerves forgalom megugrása azt jelenti, hogy a SEO működik (jó). A szerves forgalom csökkenése azt jelenti, hogy valami elromlott a keresésben (rossz). A fizetett forgalom csökkenése azt jelenti, hogy a hirdetési kampányaid alulteljesítenek (rossz). Riassz, ha a forgalmi források váratlanul változnak.

A minőségi rendellenességek azért számítanak, mert néma gyilkosok. A visszafordulási arány növekedése azt jelenti, hogy az oldalad kevésbé releváns. A munkamenetenkénti oldalak számának csökkenése azt jelenti, hogy a felhasználók gyorsabban megtalálják, amit keresnek (jó), vagy nem találják meg, amit akarnak (rossz). A munkamenet-hibák megugrása azt jelenti, hogy az oldal romlik. Ezek láthatatlanok, ha nem figyeled közelről.

Hogyan állítsd be a rendellenesség-észlelést téves riasztások nélkül?

Kérdezz meg bármelyik analitikai csapatot a téves riasztásokról, és ugyanazt a panaszt hallod: riasztási fáradtság. Ha minden apró ingadozás riasztást vált ki, a csapat abbahagyja az olvasásukat. Érzéketlenné válnak. A valódi problémák elvesznek a zajban. A jó rendellenesség-észlelés kulcsa olyan küszöbök beállítása, amelyek elkapják a valódi problémákat, a természetes ingadozást pedig figyelmen kívül hagyják.

Kezdd a vállalkozásodnak legfontosabb mutatókkal. Nem minden mutatóhoz kell rendellenesség-észlelés. Összpontosíts a bevételi mutatókra (konverzió, rendelési érték, lemorzsolódás), a felhasználói állapot mutatóira (elköteleződés, megtartás, funkcióhasználat) és a rendszerállapot mutatóira (hibák, késleltetés, rendelkezésre állás). Ezek azok, amelyek változása azonnali cselekvést igényel.

Az érzékenységet az ingadozás szerint állítsd be. Egyes mutatók természetesen ingadozóak. A forgalom napról napra ugrál. A küszöböket állítsd elég szélesre, hogy elnyeljék ezt a természetes ingadozást. A konverziós aránynál a 20%-os eltérés lehet normális, jelezz csak 30% vagy nagyobb eltérésnél. A bevételnél az 5%-os eltérés lehet normális. Az elköteleződésnél a 15%-os. A küszöbök a korábbi adataidtól függnek.

Építs be környezetet. A hét napja számít. A szombat mintái általában mások, mint a szerdáé. Az ünnepnapok mintái mások, mint a hétköznapoké. A rendellenesség-észlelésnek ezt figyelembe kell vennie. A „vasárnap 1,5% alatti konverzió” lehet normális. A „szerdán 1,5% alatti konverzió” rendellenesség. A jó rendszerek ezeket a mintákat automatikusan megtanulják.

Kezdd óvatosan, és idővel szigoríts. Ha bizonytalan vagy a küszöbökben, állítsd őket szélesre. Jobb, ha egyes rendellenességeket elmulasztasz, mint hogy elárasszák a csapatot a téves riasztások. Ahogy bízol a rendszerben, és a csapat megszokja a riasztások olvasását, szigoríts a küszöbökön, és kapd el a kisebb rendellenességeket is.

Melyek a rendellenesség-észlelés korlátai?

A rendellenesség-észlelés a normálistól való eltéréseket találja meg. De a „normális” az, amit a korábbi adataid annak mondanak. Ha az adataid hibásak vagy torzak, a rendszer elmulasztja a valódi problémákat, vagy téves pozitívokat jelez. Ha három hónapig egy hiba mesterségesen felfújta a konverziós arányodat, a rendszer ezt a felfújt arányt tanulta meg „normálisnak”. Amikor kijavítod a hibát, a konverzió a valódi normális szintre esik, és a rendszer rendellenességként jelzi.

A rendellenesség-észlelés nem magyarázza meg az okot. Azt mondja meg, hogy valami megváltozott. Azt nem, hogy miért. Ha a konverzió esett, még mindig vizsgálódnod kell. Technikai probléma? Piaci változás? Egy versenytárs lépése? Egy új szereplő versenye? A rendellenesség-észlelés felszínre hozza a problémát. A diagnózis továbbra is emberi munka.

A rendellenesség-észlelés nagyon kis méretben nem működik jól. Ha naponta 100 látogatód van, a véletlen ingadozás óriási. Minden nap rendellenesnek látszik a többihez képest. A rendellenesség-észlelés nagyobb méretben működik a legjobban, ahol a minták stabilak. Egy 50 000 havi felhasználós SaaS-nál tiszta, stabil minták vannak. Egy 500 havi felhasználós SaaS-nál túl sok a zaj.

A fokozatos változások elbújhatnak a rendellenesség-észlelés elől. Ha a konverzió lassan csökken (hetente 0,5%-kal), a rendszer talán nem jelzi, mert minden hét csak kicsit tér el az előzőtől. Lehet, hogy addig nem veszed észre, amíg összesen 10%-kal nem esett. A fokozatos romlás elkapásához a pillanatnyi rendellenesség-észlelés mellett trendelemzésre is szükség van.