Szia, üdvözöllek a blogomon!

A Fabricben (és úgy általában az adatplatformokon) az egyik leggyakoribb kérdés: Notebookban csináljuk, vagy Pipeline-ban? Elsőre ez olyan, mintha eszközök között választanánk. A valóságban viszont ez sokkal inkább működési döntés, ami hosszú távon meghatározza, mennyire lesz fenntartható a rendszer.

Képzelj el egy helyzetet: egy adatforrásból érkező fájlok néha hibásak, néha hiányosak, és van néhány üzleti szabály, amit rugalmasan kell kezelni. Notebookban gyorsan tudsz kísérletezni: betöltöd, megnézed a mintát, kipróbálsz egy tisztítást, ránézel a kimenetre. Ez a notebook igazi ereje: iteratív gondolkodás, gyors visszacsatolás.

Csakhogy jön a következő lépés: ezt a megoldást üzemeltetni kell. Minden hajnalban fusson le. Hibánál legyen jelzés. Újrafuttatáskor ne okozzon kárt. Legyen log, legyen futástörténet. Itt kezd el a pipeline „otthon lenni”, mert a pipeline egy folyamat-orientált keret: jobban látszik az adatút, könnyebb verziózni, és általában jobban illeszkedik az üzemeltetési gondolkodáshoz.

A döntés sokszor így hangzik fejben:
– Kísérletezem (notebook), vagy rendszert építek (pipeline)?
– Egyedi logika kell, vagy standardizált lépések?
– Ki fogja ezt 3 hónap múlva karbantartani: én, vagy egy másik csapat?

Fejlesztői oldalról is van egy tipikus csapda: notebookokkal nagyon könnyű „láthatatlan rendszert” építeni. Működik, de a logika elbújik kódcellákban, és ha nincs rendes struktúra, akkor a tudás egy ember fejében marad. Pipeline-nál a folyamat sokszor olvashatóbb – cserébe kevésbé rugalmas a kísérletezés.

BA szemmel pedig a legfontosabb kérdés: mikor válik egy ötlet üzleti szempontból kritikussá? Amíg kísérlet, addig a notebook tökéletes. De amikor már döntések épülnek rá, akkor stabilitást kell adni neki. Én ezért szeretem azt a megközelítést, hogy notebookban gyorsan validálok, majd a stabil logikát „átültetem” egy üzemeltethetőbb keretbe.

A 36. nap tanulsága számomra az, hogy a notebook vs pipeline esetén a jó választás az, ami a célhoz illeszkedik: kísérletezéshez notebook, stabil kontrollált folyamathoz pipeline.

Köszönöm, hogy elolvastad! Legyen szép napod!

#MicrosoftFabric #100DaysOfLearning #DataAnalytics #BusinessAnalyst #TanulásNyilvánosan