Modularna orkestracija: Detaljan pregled arhitekture
Netel ETL Engine rješava problem monolitnih i nepreglednih ETL procesa uvođenjem koncepta ChildJobs (podzadataka). Umjesto jednog golemog, nepreglednog skriptnog bloka, kompleksna poslovna logika i podatkovni tijekovi rastavljaju se na manje, izolirane i višekratno iskoristive komponente.
Ova hijerarhijska struktura omogućuje precizno upravljanje ovisnostima, maksimalno iskorištavanje hardverskih resursa i naprednu kontrolu izvršavanja, s posebnim naglaskom na paralelni i uvjetni način rada.
Paralelno izvođenje (Parallel Execution)
Paralelni način rada projektiran je za maksimalnu brzinu i drastično skraćivanje vremena obrade tijekom kritičnih faza, poput jutarnjeg učitavanja podataka (Daily Load) i pripreme analitičkih izvještaja.
- Maksimalna propusnost (Throughput): Sustav istovremeno pokreće više nezavisnih ChildJob zadataka (npr. istovremeno povlačenje tablica transakcija, šifrarnika i korisničkih profila iz različitih izvora).
- Asinkrona obrada: Zadaci se izvršavaju neovisno jedan o drugome, eliminirajući "uska grla" (bottlenecks) koja se redovito javljaju u tradicionalnim sekvencijalnim sustavima.
Uvjetno izvođenje (Conditional If-Then-Else Control)
Uvjetni način rada unosi inteligenciju i dinamiku u data pipeline, omogućujući sustavu da u realnom vremenu prilagođava tijek izvršavanja ovisno o ulaznim parametrima ili stanju sustava.
- Dinamički tijekovi (Dynamic Workflows): Netel ETL Engine u potpunosti upravlja logikom grananja kroz kod (JSON-as-Code). Tijek obrade dinamički ovisi o ulaznim parametrima koji se evaluiraju u realnom vremenu. Definiranjem jednostavnih if-then-else pravila, sustav uvjetno donosi odluke: ispunjenje preduvjeta (npr. specifična vrijednost ulaznog parametra) trenutno aktivira ChildJob A, dok se u slučaju neispunjenja izvršava ChildJob B.
- Inteligentno upravljanje pogreškama i kontrola lanca (Fault Control): Uvjetna logika i stroga hijerarhija jamče apsolutnu konzistentnost podataka i sprječavaju obradu nepotpunih setova. Ako bilo koji od ključnih zadataka (ChildJobs) padne, trenutno se zaustavlja izvršavanje i automatski otkazuje sve preostale zadatke u nizu. Istovremeno, sustav izolira grešku u log datoteci i šalje e-mail obavijest administratoru, osiguravajući da se produkcijski sustav nikada ne kontaminira djelomično učitanim podacima.
- Smanjenje redundantnosti: Izbjegava se nepotrebno pokretanje teških analitičkih obrada ako se detektira da u izvornom sustavu nema novih zapisa, čime se dodatno štede resursi i čuva stabilnost infrastrukture.
Ostali načini izvođenja unutar ChildJobs hijerarhije
Uz paralelni i uvjetni rad, Netel ETL Engine podržava još pet specijaliziranih modela izvršavanja unutar iste arhitekture:
- Sekvencijalno (Sequential): Strogo definiran slijed u kojem sljedeći zadatak počinje tek nakon uspješnog završetka prethodnog (ključno za procese koji ovise o točnom redoslijedu računanja).
- Izvršni zadatak (Data Transfer): Izravno prebacivanje, mapiranje i transformacija podataka između heterogenih izvora i odredišta putem ODBC standarda.
- Izvršni zadatak DTI (Delete-Then-Insert): Atomska operacija koja briše stare podatke u odredišnoj tablici i odmah umeće nove, osiguravajući konzistentnost izvještavanja bez dupliranja zapisa.
- Izvršni zadatak Stored Procedure: Pokretanje nativnih i optimiziranih procedura izravno na ciljnoj bazi podataka radi završnog poliranja podataka na samom odredištu.
- Izvršni zadatak Email: Automatizirani sustav slanja notifikacija koji na temelju statusa ChildJoba (uspjeh/greška) trenutno distribuira detaljne informacije i logove nadležnim inženjerima.
