A termékmenedzser kiad egy funkciót. A funkciónak meg kellene oldania egy ügyfélproblémát, és javítania a megtartást.
Két héttel az indulás után: csökkenti a funkció a lemorzsolódást? Több ügyfél használja? Többet időznek a funkcióban az ügyfelek?
Termék vezérlőpult nélkül a termékmenedzser hat hétig vár a havi riportra, hogy lássa a funkció hatását. Addigra az ügyfélvisszajelzés kihűl. Nem lehet iterálni.
Termék vezérlőpulttal a termékmenedzser két hét után látja: a funkcióhasználat 5 százalék (a cél a második hétre 20 százalék volt). A probléma azonnal látszik. A termékmenedzser utánajár. Kiderül, hogy a funkciót nehéz megtalálni. Hozzáad egy bevezető üzenetet. A használat a negyedik hétre 15 százalékra nő.
Termék vezérlőpultok: funkcióhasználat és elköteleződés
Funkcióhasználati arány
A funkció két hete indult. Jogosult felhasználók: 10 ezer. A funkciót használó felhasználók: 500. Használati arány: 5 százalék. A cél a negyedik hétre 20 százalék volt. Jelenleg le vagyunk maradva. Vizsgálat kell.
Funkcióelköteleződés
Az 500 felhasználóból, aki kipróbálta a funkciót, hányan használják naponta? 200. Hányan hetente? 300. Hányan hagyták el a funkciót? 200. Elköteleződési arány: 40 százalék napi, 60 százalék heti, 40 százalék elhagyta. Az elhagyás túl magas. A funkció nem tapadós.
A funkcióban töltött idő
Az átlagos munkamenet a funkcióban két perc. A funkció előtt az oldalon töltött átlagos munkamenet-idő tíz perc volt. A funkció elvonja a felhasználókat a többi funkciótól. Szándékos ez? A funkció leváltott egy régebbit, vagy kiegészítő?
Megtartási hatás
A funkciót átvevő ügyfelek: havi 8 százalék lemorzsolódás. Akik nem vették át: havi 12 százalék lemorzsolódás. A funkció működik. A lemorzsolódás négy százalékponttal javult. Ezer ügyfelű bázisnál ez havi negyven ügyféllel kevesebb. Negyven szorozva ötvennel (átlagos ügyfélérték) havi kétezer megspórolt bevétel.
Üzemeltetési vezérlőpultok: rendszeregészség és teljesítmény
A rendszer elérhetősége
A weboldal a múlt héten az idő 99,95 százalékában elérhető volt. A cél 99,99 százalék. A cél alatt vagyunk. Két kiesés volt: egy tíz perces, egy tizenöt perces. Együtt huszonöt perc leállás. Mi okozta a kieséseket? Megelőzhetők?
Válaszidő
Az átlagos API-válaszidő kétszáz ezredmásodperc. A P95 válaszidő ötszáz ezredmásodperc (a kérések 95 százaléka gyorsabb, 5 százaléka lassabb). A P99 egy másodperc. Lassú válaszidők alkalmanként előfordulnak. Elfogadhatók?
Hibaarány
Az API-kérések 1 százaléka hibát adott. A múlt héten ez 0,5 százalék volt. A hibaarány megduplázódott. Mi változott? Egy adatbázis-lekérdezés lassabb. A válaszidők nőttek. Az ügyfelek időtúllépést kapnak, és újra próbálkoznak. Vizsgálat kell.
Adatbázis-kapcsolatkészlet
A készletben száz kapcsolat van. Jelenleg száz nyitva van (teljesen kihasznált). Nincs több szabad kapcsolat. Ha még egy kérés érkezik, sorba áll. A felhasználó várakozást tapasztal. A készlet a kapacitása határán van. A készletet növelni kell, vagy csökkenteni a használatot.
Gyorsítótár-találati arány
A gyorsítótár az idő 50 százalékában talál. A forgalom 50 százalékához nem kell adatbázis-lekérdezés. Az 50 százalékos gyorsítótár-tévesztés a legtöbb oldalon elfogadható. 40 százalék alatt az adatbázis túlterhelt. 70 százalék felett túlgyorsítótárazol.
Valós példa: SaaS termék- és üzemeltetési vezérlőpult
Termékmutatók
Új vezérlőpult-funkció: az első hónapban indult. Jogosult felhasználók: 5 ezer (tíznél több adatponttal rendelkező ügyfelek). A vezérlőpultot létrehozó felhasználók: 1 ezer. Használati arány: 20 százalék. A célon van.
Az 1 ezer vezérlőpult-létrehozóból: Napi aktív: 600. Jó elköteleződés. Heti aktív: 900. A legtöbben legalább hetente használják. Elhagyta: 100. Tíz százalék lemorzsolódás.
Megtartási hatás: az aktív vezérlőpulttal rendelkező ügyfelek havi 2 százalékos lemorzsolódást mutatnak. A vezérlőpult nélküli ügyfelek havi 4 százalékot. A vezérlőpult két ponttal csökkenti a lemorzsolódást. Ezer ügyfelű bázisnál ez húsz ügyfél. Havi 100 dolláros ügyfélértéknél ez havi kétezer megspórolt bevétel. Évente huszonnégyezer.
Üzemeltetési mutatók
Elérhetőség a múlt hónapban: 99,92 százalék. Cél: 99,95 százalék. A célt nem értük el.
Kiesések: Egy incidens: tíz perc, a fizetésfeldolgozás leállt. Ok: az adatbázis átkapcsolása túl sokáig tartott. Egy incidens: tizenöt perc, API-időtúllépési csúcs. Ok: forgalmi hullám és lassú adatbázis-lekérdezés.
Válaszidő: Átlag: százötven ezredmásodperc. Jó. P95: háromszáz ezredmásodperc. Elfogadható. P99: egy másodperc. Ez túl magas. Az ügyfelek 1 százaléka egy másodpercet vár. Optimalizálni kell.
Hibaarány: 0,8 százalék. Két hete 0,4 százalék volt. A vizsgálat szerint: a fizetésfeldolgozási hibák nőttek, mert a fizetési szolgáltatónál múlt héten kiesés volt (nem a mi hibánk), az API-hibák nőttek, mert olyan kódváltozást adtunk ki, amely elrontott egy végpontot (a mi hibánk).
Adatbázis: Átlagos lekérdezési idő: harminc ezredmásodperc. Kapcsolatkészlet kihasználtsága: 80 százalék. Egészséges. Lassú lekérdezések aránya: 0,2 százalék. Elfogadható.
Gyorsítótár-találati arány: 65 százalék. Egészséges.
A termék- és az üzemeltetési vezérlőpultok összekapcsolása
A funkcióhasználat a rendszer teljesítményétől függ. Ha a rendszer lassú, a funkcióhasználat szenved. Az új vezérlőpult-funkció használata alacsony. Nézd meg az üzemeltetési vezérlőpultot. A P99 válaszidő egy másodperc. A felhasználók késést tapasztalnak, amikor megnyitják a vezérlőpultot. Vedd bele a vizsgálatba: a lassú teljesítmény okozza az alacsony használatot? Ha igen, előbb optimalizáld a rendszer teljesítményét. Aztán mérd újra a használatot.
A rendszer teljesítményét az elérhetőségre mérik, nem a funkciók hatására. De a funkció hatása az elérhetőségtől függ. Kapcsold össze a két vezérlőpultot. Amikor az üzemeltetési mutatók romlanak, a termékmutatók is romlanak.
Gyakran ismételt kérdések
Milyen gyakran nézze a termékmenedzser a funkcióhasználatot?
Az első héten: naponta. A funkció épp elindult, a használati görbe a legmeredekebb. A problémákat korán kell elkapni. A második-negyedik héten: hetente háromszor. A használati görbe ellaposodik. Elég a heti frissítés. Az első hónap után: hetente. A használat stabilizálódott, vagy egyenletesen nő. Elég a heti ellenőrzés. Kivétel: ha a funkció kritikus, vagy ha a korai használat a cél alatt van, a napi figyelés a probléma megoldásáig folytatódik. A WEMASY weboldalépítőjével ezt közvetlenül a weboldaladon is beállíthatod.
Mi az elfogadható funkcióhasználati arány hetenként?
Első hét: 5-15 százalék (az emberek próbálgatják). Második hét: 10-30 százalék (terjed a szájhagyomány). Első hónap: 20-50 százalék (kialakult arány). Funkciónként eltér. A játékos funkciók elérhetik a 90 százalékos használatot. A megfelelőségi funkciók talán csak 10 százalékot. A célt a felhasználói szegmens és a funkció fontossága alapján állítsd, ne általános viszonyítási érték alapján. Indulás előtt döntsd el: ez a funkció mindenkinek szól, vagy csak egy szegmensnek? Ez határozza meg a célt.
Hogyan különböztessük meg a használatot az elköteleződéstől?
A használat a funkció kipróbálása (használta-e legalább egyszer). Az elköteleződés az ismételt használat (naponta, hetente, havonta). Egy funkciónak lehet magas a használata és alacsony az elköteleződése (mindenki kipróbálta, kevesen maradtak). Lehet alacsony a használata és magas az elköteleződése (kevesen próbálták ki, de akik igen, imádták). Mindkét mutató számít. A magas használat és a magas elköteleződés siker. Az alacsony elköteleződés azt jelenti, hogy a funkció nem old meg valódi problémát. Az alacsony használat felfedezhetőségi probléma.
A termék vezérlőpult tartalmazzon ügyfélvisszajelzést, vagy csak mutatókat?
Mindkettőt. A mutatók megmondják, mit tesznek az ügyfelek. A visszajelzés megmondja, miért. Ötszáz felhasználó elhagyta a funkciót (mutató). A visszajelzés szerint „a funkciót nehéz megtalálni” vagy „a funkció nem oldja meg a problémámat” (miért). A visszajelzés nélküli mutatók hiányosak. Adj hozzá egy visszajelzési szakaszt, amely a támogatási jegyek és a felmérések alapján megmutatja a lemorzsolódás vagy elhagyás három fő okát. Megvalósítás: adj hozzá megjegyzésmezőt a funkcióhoz. Hetente olvasd el a húsz legfontosabb felhasználói megjegyzést, és sorold témákba. A témákat jelenítsd meg a vezérlőpulton.
Hogyan állítsunk célokat az elérhetőségre és a válaszidőre?
A célokat az ügyfélhatásra és az iparági sztenderdekre alapozd. Webshop pénztárnál: elérhetőség 99,9 százalék, válaszidő két másodperc alatt. Marketingoldalnál: elérhetőség 99 százalék, válaszidő három másodperc alatt. Belső eszközöknél: elérhetőség 95 százalék, válaszidő öt másodperc alatt. Minél kritikusabb a szolgáltatás, annál szigorúbb a cél. A cél kitűzésekor tudd, mekkora befektetés kell hozzá. A 99,99 százalékos elérhetőség (négy kilences) három-négyszer többe kerül, mint a 99 százalékos (két kilences). Győződj meg róla, hogy a cél megéri a költséget.
Az üzemeltetési vezérlőpult riasztást váltson ki, vagy csak az állapotot mutassa?
Mindkettőt. A vezérlőpult a jelenlegi állapotot mutatja. A riasztások a küszöbök átlépésekor indulnak. Ha a hibaarány öt percig egy százalék fölé megy, riasztás szól. A riasztás az ügyeletes mérnökhöz megy, aki utánajár. A vezérlőpult a rendes munkaidős figyelésre való. A riasztás a munkaidőn kívüli vagy kritikus helyzetekre. Egyik sem elég önmagában. Riasztás nélküli vezérlőpultnál a problémák munkaidőben derülnek ki. Vezérlőpult nélküli riasztásnál a csapat vak a lassú romlásra, amíg a riasztás meg nem szólal. Használd együtt a kettőt.