Crystal Creative Support

Crystal Creative Support


Day 44 / 100 – Mi történik, ha egy join rossz eredményt ad?

2026. március 23. - Crystal Creative Support

Szia, üdvözöllek a blogomon! Néha a pipeline hibátlanul lefut, minden zöld, mégis furcsa számok jelennek meg a riportokban. A rekordok száma túl magas, egyes értékek többször jelennek meg. A probléma végül egyetlen művelethez vezet: egy rosszul definiált join. A join az adattranszformáció egyik…

Tovább

Day 43 / 100 – Mi történik, ha duplikált adatok érkeznek?

Szia, üdvözöllek a blogomon! Egy riportban a számok hirtelen megduplázódnak. Az értékesítés egyik napról a másikra kétszeresnek tűnik. Elsőre akár jó hírnek is tűnhet, de gyorsan kiderül: az adat duplikálódott. A duplikált adatok az adatplatformok egyik leggyakoribb problémái közé…

Tovább

Day 42 / 100 – Mi történik, ha a forrásadat késve érkezik?

Szia, üdvözöllek a blogomon! Reggel 7:30. A pipeline időben lefutott, minden zöld, mégis furcsa számok jelennek meg a riportokban. A napi értékek jóval alacsonyabbak a megszokottnál. Néhány perc után kiderül a probléma: a forrásrendszer késve küldte az adatot. Ez egy klasszikus helyzet az…

Tovább

Day 41 / 100 – Mi történik, ha egy tábla hirtelen 5× nagyobb lesz?

Szia, üdvözöllek a blogomon! Egy reggel azt látod, hogy a pipeline futási ideje drasztikusan megnőtt. Ami tegnap még 8 perc alatt lefutott, ma már több mint fél óráig tart. A hibaüzenet nem egyértelmű, de egy dolog gyorsan kiderül: az egyik tábla mérete hirtelen többszörösére nőtt. Ez az a…

Tovább

Day 40 / 100 – Mi történik, ha egy pipeline félúton megáll?

Szia, üdvözöllek a blogomon! Hajnali 2:13. A pipeline elindult, majd félúton megállt. A Bronze betöltés sikeres volt, de a Silver transzformáció már nem futott le. Reggelre a riportok üresek. Ez az a helyzet, amikor kiderül, mennyire stabil a rendszer. Fejlesztői szemmel az első kérdés mindig az:…

Tovább

Day 39 / 100 – Tesztelés adatplatformon: tényleg szükség van rá?

Szia, üdvözöllek a blogomon! A „tesztelés” szó sokáig inkább alkalmazásfejlesztéshez kötődött a fejemben. Unit tesztek, integrációs tesztek, CI/CD pipeline-ok. Az adatplatform világában viszont sok helyen még mindig az a hozzáállás: „lefuttattuk, jónak tűnik”. Csakhogy az adat hibája gyakran nem…

Tovább

Day 38 / 100 – Star schema vagy „lapos” tábla? A modell nem csak technikai döntés

Szia, üdvözöllek a blogomon! Amikor eljutunk a Gold rétegig, előbb-utóbb szembejön a kérdés: hogyan modellezzük az adatot? Klasszikus csillagséma (star schema), külön dimenziókkal és fact táblával? Vagy inkább egy széles, „lapos” tábla, ahol minden egy helyen van? Elsőre a star schema tűnik a…

Tovább

Day 37 / 100 – Paraméterezés: így lesz egy pipeline-ból újrahasználható "termék"

Szia, üdvözöllek a blogomon! Van egy pont, amikor egy adatplatform elkezd „szétesni”: amikor ugyanazt a logikát sokszor lemásoljuk, csak azért, mert gyorsabb, mint szépen megcsinálni. Itt jön képbe a paraméterezés – és meglepően sok rendszert pont ez emel át a hobbiszintből a fenntartható…

Tovább

Day 36 / 100 – Notebook vs Pipeline: nem eszközvita, hanem működési döntés

Szia, üdvözöllek a blogomon! A Fabricben (és úgy általában az adatplatformokon) az egyik leggyakoribb kérdés: Notebookban csináljuk, vagy Pipeline-ban? Elsőre ez olyan, mintha eszközök között választanánk. A valóságban viszont ez sokkal inkább működési döntés, ami hosszú távon meghatározza,…

Tovább

Day 35 / 100 – Idempotencia: miért ez a legjobb barátod üzemeltetéskor?

Szia, üdvözöllek a blogomon! Ha egyetlen fogalmat kellene kiemelnem, ami fejlesztői és üzemeltetői szemmel is aranyat ér, az az idempotencia. Bonyolult szónak hangzik, de a jelentése nagyon egyszerű: ha ugyanazt a folyamatot kétszer lefuttatom, ugyanazt az eredményt kapom, és nem rontom el a…

Tovább
süti beállítások módosítása