Szia, üdvözöllek a blogomon! Néha a pipeline hibátlanul lefut, minden zöld, mégis furcsa számok jelennek meg a riportokban. A rekordok száma túl magas, egyes értékek többször jelennek meg. A probléma végül egyetlen művelethez vezet: egy rosszul definiált join. A join az adattranszformáció egyik…

Szia, üdvözöllek a blogomon! Egy riportban a számok hirtelen megduplázódnak. Az értékesítés egyik napról a másikra kétszeresnek tűnik. Elsőre akár jó hírnek is tűnhet, de gyorsan kiderül: az adat duplikálódott. A duplikált adatok az adatplatformok egyik leggyakoribb problémái közé…

Szia, üdvözöllek a blogomon! Reggel 7:30. A pipeline időben lefutott, minden zöld, mégis furcsa számok jelennek meg a riportokban. A napi értékek jóval alacsonyabbak a megszokottnál. Néhány perc után kiderül a probléma: a forrásrendszer késve küldte az adatot. Ez egy klasszikus helyzet az…

Szia, üdvözöllek a blogomon! Egy reggel azt látod, hogy a pipeline futási ideje drasztikusan megnőtt. Ami tegnap még 8 perc alatt lefutott, ma már több mint fél óráig tart. A hibaüzenet nem egyértelmű, de egy dolog gyorsan kiderül: az egyik tábla mérete hirtelen többszörösére nőtt. Ez az a…

Szia, üdvözöllek a blogomon! Hajnali 2:13. A pipeline elindult, majd félúton megállt. A Bronze betöltés sikeres volt, de a Silver transzformáció már nem futott le. Reggelre a riportok üresek. Ez az a helyzet, amikor kiderül, mennyire stabil a rendszer. Fejlesztői szemmel az első kérdés mindig az:…

Szia, üdvözöllek a blogomon! A „tesztelés” szó sokáig inkább alkalmazásfejlesztéshez kötődött a fejemben. Unit tesztek, integrációs tesztek, CI/CD pipeline-ok. Az adatplatform világában viszont sok helyen még mindig az a hozzáállás: „lefuttattuk, jónak tűnik”. Csakhogy az adat hibája gyakran nem…

Szia, üdvözöllek a blogomon! Amikor eljutunk a Gold rétegig, előbb-utóbb szembejön a kérdés: hogyan modellezzük az adatot? Klasszikus csillagséma (star schema), külön dimenziókkal és fact táblával? Vagy inkább egy széles, „lapos” tábla, ahol minden egy helyen van? Elsőre a star schema tűnik a…

Szia, üdvözöllek a blogomon! Van egy pont, amikor egy adatplatform elkezd „szétesni”: amikor ugyanazt a logikát sokszor lemásoljuk, csak azért, mert gyorsabb, mint szépen megcsinálni. Itt jön képbe a paraméterezés – és meglepően sok rendszert pont ez emel át a hobbiszintből a fenntartható…

Szia, üdvözöllek a blogomon! A Fabricben (és úgy általában az adatplatformokon) az egyik leggyakoribb kérdés: Notebookban csináljuk, vagy Pipeline-ban? Elsőre ez olyan, mintha eszközök között választanánk. A valóságban viszont ez sokkal inkább működési döntés, ami hosszú távon meghatározza,…

Szia, üdvözöllek a blogomon! Ha egyetlen fogalmat kellene kiemelnem, ami fejlesztői és üzemeltetői szemmel is aranyat ér, az az idempotencia. Bonyolult szónak hangzik, de a jelentése nagyon egyszerű: ha ugyanazt a folyamatot kétszer lefuttatom, ugyanazt az eredményt kapom, és nem rontom el a…