parallax background

Podatkovno inženjerstvo

S porastom svijesti o važnosti podataka i mogućnostima njihove upotrebe, sve više organizacija radi iskorak u prikupljanju i obradi podataka izvan okvira standardnih transakcijskih aplikacija. Očitanje i obrada velikog broja senzora, analiza navika korisnika i ostali slični korisnički slučajevi sve više postaju dodatni izvor upravljačkih informacija i izvor komparativne prednosti za organizaciju. Podatkovnim inženjerstvom kao krovnim nazivom za odgovarajuće alate i metodologije, klijentima upravo omogućavamo dodatni iskorak prema punoj iskoristivosti svih dostupnih podataka.

U implementaciji koristimo skup tehnologija koje omogućavaju brzu i jednostavnu horizontalnu skalabilnost svih komponenti sustava, čime se rješava problem uskog grla i adresira širok spektar izazova počevši od same količine podataka pa do potrebe za gotovo trenutnom dostupnosti.

Kroz prikupljanje, prilagodbu i unificiran pristup u izlaganju podataka omogućen je iskorak prema razvoju novih poslovnih modela organizacije, baziranih na maksimalnoj eksploataciji dostupnih informacija.

U realizaciji projekata iz domene podatkovnog inženjerstva prvenstveno se koriste alati i tehnologije iz Cloudera tehnološkog paketa za upravljanje podacima, a u istom ekosustavu rješenja dostupne su i tehnologije za pohranu podataka, njihovu katalogizaciju i daljnju eksploataciju. To su, najčešće, projekti napredne analitike (AI) i strojnog učenja (ML). 

Primjer korisničkog slučaja

Organizacija ima potrebu proaktivnog pristupa održavanju složenog informacijskog, energetskog ili bilo kojeg drugog sustava kod kojeg je prekid u radu iznimno rizičan i skup. Prikupljanjem i analizom „time-series“ podataka velikog broja senzora, visoke frekvencije, kreira se korelacije povijesnih ispada sustava i očitanja senzora koja su prethodila istom.

Istovremeno se osigurava robusnost sustava u segmentu izdržavanja vršnih opterećenja (1000 očitanja u milisekundi) kao i brzina u obradi prikupljenih podataka na način da od očitanja do prezentacije rezultata prođe minimalno vremena („near real time“). Modularna arhitektura omogućava jednostavno i brzo skaliranje čitave arhitekture sukladno rastu količine podataka i dodavanju novih izvora.

Možda će vas zanimati i ovo...