Az adattárház egy központi adatbázis, ahová az összes adatod (analitika, CRM, hirdetések, e-mail, értékesítés) befolyik. Ahelyett, hogy az eszközöket páronként kötnéd össze, minden eszköz az adattárházba küldi az adatait. Az adattárház lesz az egyetlen igazságforrás. A jelentéskészítő eszközök és a csapatok az adattárházból dolgoznak, nem az egyes eszközökből. Ez megszünteti a szigeteket, és lehetővé teszi az összetett, eszközök közötti elemzést. Ez a fejezet azt mutatja be, mikor és hogyan érdemes adattárházat építeni.
Mi az adattárház, és mit csinál
Az adattárház: (1) központi adatbázis (BigQuery vagy hasonló felhőalapú adatbázis), (2) adatcsatornák, amelyek az eszközökből az adattárházba szállítják az adatokat, (3) sémák, amelyek egységesen rendezik az adatokat, (4) hozzáférési réteg, ahol az elemzők és az eszközök lekérdezik az adattárházat.
Előnyei: egyetlen igazságforrás, rugalmas lekérdezések (nem korlátoz az eszköz beépített jelentései), előzményadatok megőrzése, költséghatékonyság nagy méretben (olcsóbb, mint minden eszköznek külön fizetni a tárhelyért), fejlett analitikai lehetőségek (gépi tanulás, előrejelzések).
Az adattárház felépítése
Nyers réteg: a forrásrendszerek adatainak pontos másolata. Nincs átalakítás. Megőrzi az eredeti adatot arra az esetre, ha újra kell dolgoznod.
Előkészítő réteg: az adatokat megtisztítják, kiszűrik a duplikátumokat, és ellenőrzik. Az ellentmondásokat kijavítják. Az adat egységes, de még nem kész az elemzésre.
Analitikai réteg: az adatokat elemzésre tervezett táblákká alakítják. Például tény táblák (konverziók, kulcsokkal a többi dimenzióhoz) és dimenziótáblák (ügyfelek, termékek, kampányok). Az elemzők ezt kérdezik le.
Az adattárház beállítása
1. lépés: válaszd ki az adattárház-platformot.
BigQuery (Google): egyszerű, a legtöbb cégnek jó, a lekérdezett GB után fizetsz.
Nagy teljesítményű, felhőalapú adattárház-szolgáltatás: erős, drága, bonyolult igényű nagy cégeknek jó.
Másik nagy felhőszolgáltatás adattárháza: erős, nagy méretben olcsóbb, mint az előző.
Nyílt forráskódú relációs adatbázis: ingyenes, kis és közepes adatmennyiséghez megfelelő.
2. lépés: nyerd ki az adatokat az eszközeidből.
Használj ETL (kinyerés, átalakítás, betöltés) eszközöket. Ezek összekapcsolódnak a forrásrendszereiddel, és automatikusan (naponta, óránként vagy valós időben) átmásolják az adatokat az adattárházba.
3. lépés: tervezd meg a sémát.
Határozd meg a táblákat és a kapcsolatokat: ügyféltábla, rendeléstábla, rendelési tételek táblája, kampánytábla. Hogyan kapcsolódnak egymáshoz? Ez a terv dönti el, milyen kérdésekre kapsz hatékonyan választ.
4. lépés: állítsd be a hozzáférést és az irányítást.
Ki kérdezheti le az adattárházat? Az összes adathoz hozzáfér, vagy csak a saját részlegéhez? Állítsd be a jogosultságokat. Dokumentáld a sémát, hogy az elemzők tudják, mit jelentenek az adatok. Figyeld a lekérdezéseket, hogy a teljesítmény megmaradjon.
Mikor építs adattárházat
Túl korai: 1-2 eszköz, 3 fős csapat. A ráfordítás túl nagy.
A megfelelő idő: 5+ eszköz, 5+ fős csapat, rendszeresen kerülnek elő összetett, több eszközt érintő kérdések. Az adattárház költségét megindokolja a megtakarított idő és a nyert betekintés.
Szükséges: 10+ eszköz, 10+ fős csapat, adatvezérelt kultúra. Az adattárház ekkor már nélkülözhetetlen infrastruktúra.
Kihívások az adattárház bevezetésében
Összetettség: az adattárházak műszakilag bonyolultak. Adatmérnökök kellenek a karbantartásukhoz. Ez kis cégeknek toborzási kihívás.
Adatminőség: szemét be, szemét ki. A rossz adat az adattárházban rossz betekintést ad. Az adatellenőrzés és a tisztítás kulcsfontosságú.
Költség: drága lehet (a BigQuery nagy méretben havi 100-1 000+ $ is lehet). Optimalizálás és irányítás kell a költségek kordában tartásához.
Építsek adattárházat, vagy használjam egy BI-eszköz beépített integrációit?
BI-eszköz integrációi: egyszerű, gyorsan beállítható (órák), korlátozottan testreszabható. Adattárház: több munka a beállítás (hetek, hónapok), nagyon rugalmas, jól skálázható. 3-4 eszköznél a BI-integrációk elegendők. 5+ eszköznél vagy összetett elemzéseknél az adattárház megéri. Kezdd integrációkkal; akkor válts adattárházra, ha kinőtted őket.
Mennyibe kerül egy adattárház?
BigQuery: kb. 6,25 $ lekérdezett TB-onként. Más szolgáltatók: számítási egységenként vagy óránként 1-4 $ körül (a méretétől függ). A költségek az adatmennyiségtől és a lekérdezések összetettségétől függnek. A legtöbb cégnél nagy méretben: havi 500-2 000 $. Kisebb cégeknél: havi 50-500 $. Számolj az adatmérnöki munka költségével is (ez a legdrágább rész).
Mi a különbség az adattárház és az adattó között?
Adattárház: strukturált, megtisztított, lekérdezésekre optimalizált. Adattó: strukturálatlan, nyers, mindent tárol (olcsóbb). Az adattárházak elemzésre valók. Az adattavak nyers adatok tárolására. A modern megközelítés: adattó + adattárház (nyers adat a tóban, megtisztított adat az adattárházban). Kezdd adattárházzal; adattóra akkor válts, ha az adattárolási költségek elszabadulnak.
Hogyan biztosítsam az adatminőséget az adattárházamban?
Ellenőrzési szabályok: keress duplikátumokat, üres értékeket és tartományon kívüli értékeket. Teszteld az adatcsatornákat: megegyezik-e az adatfolyam az elvárt összegekkel? Auditálj rendszeresen: vesd össze az adattárház összegeit a forrásrendszerek összegeivel. Javítsd az eltéréseket. Dokumentáld az anomáliákat. Az adatminőség felelősségét bízd egy emberre vagy csapatra.
Lekérdezhetem az adattárházat ad hoc kérdésekre adatmérnök nélkül?
Igen, ha a séma jól megtervezett és dokumentált. Írj SQL-lekérdezéseket a kérdések megválaszolására. Nem műszaki embereknek: használj BI-eszközöket előre elkészített vezérlőpultokhoz. Összetettebb ad hoc kérdésekhez: adatmérnökök vagy analitikai mérnökök írnak SQL-t. Vegyél fel analitikai mérnököt (híd az adatmérnöki munka és az elemzés között), hogy mindenki hozzáférjen az adatokhoz.
Milyen gyakran frissüljenek az adatok az adattárházamban?
A napi a szokásos (éjszaka fut le). A valós idejű lehetséges, de drága. A legtöbb analitikához a napi elegendő. Működési vezérlőpultokhoz (értékesítési folyamat) óránkénti vagy valós idejű frissítés is kellhet. Kezdd naposként; csak akkor válts óránkéntire, ha az üzlet megköveteli, és meg tudod fizetni.