Preskočite na sadržaj

Čemu služi Databricks? Vodič jednostavnim jezikom

Databricks je mjesto gdje tvrtke okupljaju svoje podatke, čiste ih i koriste za izvještavanje, strojno učenje i AI. Evo što radi, za što nije namijenjen i kako procijeniti trebate li ga.

Svijetli moderni proizvodni pogon s proizvodnom linijom i zidnim zaslonom koji prikazuje grafikone podataka
Sadržaj
  1. Čemu služi Databricks? Pet stvarnih slučajeva upotrebe
  2. Lakehouse i medallion slojevi, jednostavno objašnjeni
  3. Kako Databricks stoji uz Vaš ERP
  4. Proizvodnja i obrana: gdje opravdava svoje mjesto
  5. Za što Databricks nije dobar
  6. Kada Databricks odgovara, a kada je dovoljno jednostavnije skladište
  7. Kontrolni popis za odluku
  8. Odakle početi
  9. Često postavljana pitanja

Databricks služi za prikupljanje podataka tvrtke na jednom mjestu, njihovo čišćenje i pretvaranje u izvještaje, prognoze i AI aplikacije. Poslovnim jezikom, to je platforma na kojoj se podaci iz Vašeg ERP-a, pogona, CRM-a i datoteka obrađuju u nešto čemu ljudi i modeli mogu vjerovati.

Duži odgovor ovisi o Vašem problemu, jer je Databricks širok. Pokriva podatkovne cjevovode, SQL skladište podataka, BI nadzorne ploče, strojno učenje, AI agente, a sada i Postgres bazu podataka. Vrlo malo tvrtki treba sve to od prvog dana.

Radio sam s Databricksom na programima podatkovnih platformi u proizvodnji i obrani. Ovaj vodič namijenjen je CIO-u, CFO-u ili voditelju podataka koji odlučuje pripada li Databricks njihovoj arhitekturi.

Databricksov vlastiti pregled platforme navodi dug popis poslova koje može obavljati. U praksi vidim pet.

  1. Podatkovni inženjering i ETL. Povlačenje podataka iz izvornih sustava, njihovo čišćenje i učitavanje u tablice. Ovo je glavni slučaj upotrebe i obično tu odlazi najveći dio potrošnje. Obitelj proizvoda zove se Lakeflow. Lakeflow Connect brine o unosu podataka, a Lakeflow pipelines (ranije Delta Live Tables) o transformaciji. Lakeflow Designer služi za vizualnu pripremu podataka, a Lakeflow Jobs za orkestraciju.
  2. Skladištenje podataka s Databricks SQL-om. Databricks SQL je njegovo cloud skladište podataka koje radi na SQL skladištima (SQL warehouses). Analitičari pišu SQL nad istim tablicama koje su izgradili inženjeri. Nema zasebne kopije u drugom skladištu.
  3. BI i samoposlužna analitika. AI/BI nadzorne ploče nalaze se unutar platforme, a tablice napajaju i Power BI, Tableau ili bilo koji alat koji Vaše poslovanje već koristi. Genie omogućuje poslovnim korisnicima da postavljaju pitanja običnim jezikom nad upravljanim podacima.
  4. Strojno učenje. Prognoziranje potražnje, prediktivno održavanje, predviđanje kvalitete, određivanje cijena. MLflow prati eksperimente i modele, a model serving ih stavlja u produkciju.
  5. Generativni AI i agenti. Agent Bricks trenutačno je mjesto za izgradnju i upravljanje AI agentima nad Vašim podacima. Genie One, koji je postao općenito dostupan u lipnju 2026., sučelje je za poslovne korisnike. Stariji materijali velik dio tih AI alata nazivaju Mosaic AI; aktualne stranice proizvoda u prvi plan stavljaju Agent Bricks i Genie.

Za neke kupce važna su dva novija dijela. Lakebase je upravljana Postgres baza podataka unutar platforme, za aplikacije kojima trebaju brza transakcijska čitanja i pisanja uz analitičke podatke.

Databricks je najavio opću dostupnost Lakebasea početkom 2026. Databricks Apps, općenito dostupan od svibnja 2025., omogućuje timovima da na platformi grade i hostaju interne podatkovne i AI aplikacije.

Jedna napomena o nazivima, jer zbunjuje rezultate pretraživanja. Databricks je dvije godine reklamirao „Data Intelligence Platform”. Njegove stranice proizvoda sada govore „Databricks Data + AI Platform”.

Ista platforma. A Databricks One preimenovan je u Genie One.

Prije Databricksa većina tvrtki imala je dva sustava. Data lake čuvao je jeftine sirove datoteke, uključujući senzorske zapise, dokumente i slike, za podatkovne znanstvenike.

Skladište podataka čuvalo je čiste, strukturirane tablice za financije i BI. Podaci su se kopirali između njih, a dvije su se kopije s vremenom razilazile.

Lakehouse je Databricksov odgovor: čuvajte jednu kopiju podataka u otvorenim formatima (Delta Lake tablice na Vašoj cloud pohrani) i na njoj pokrećite i BI i AI. Unity Catalog nalazi se iznad svega i određuje tko što smije vidjeti, prati podrijetlo podataka (lineage) i bilježi pristupe. Taj sloj upravljanja pretvara hrpu datoteka u nešto što će revizor prihvatiti.

Većina timova organizira lakehouse prema medallion arhitekturi. Tri sloja, svaki čišći od prethodnog.

Kako podaci prolaze kroz medallion slojeve

  1. Izvorni sustavi

    ERP, MES, historiani, CRM, proračunske tablice i dokumenti.

  2. Bronze

    Sirovi podaci spremljeni onako kako su stigli. Čuvaju se radi revizije i ponovne obrade.

  3. Silver

    Očišćeni, bez duplikata i provjereni. Jedna pouzdana verzija svakog zapisa.

  4. Gold

    Modelirani za poslovanje: marža po proizvodu, zastoji po liniji, potrošnja po dobavljaču.

  5. Korisnici

    Nadzorne ploče, financijsko izvještavanje, ML modeli, AI agenti i aplikacije.

Verzija za poslovnog lidera: bronze je dokaz, silver je očišćeni zapis, gold je odgovor na poslovno pitanje. Vaš CFO trebao bi ikada vidjeti samo gold. Vaši podatkovni znanstvenici provodit će većinu vremena u silveru.

U proizvodnim programima na kojima sam radio, stvarni trud nalazi se u silveru. Brojevi materijala koji se razlikuju između pogona. Jedinice mjere koje se ne slažu.

Vremenske oznake senzora u lokalnom vremenu naspram ERP knjiženja u UTC-u. Ništa od toga nije problem Databricksa, ali Databricks je mjesto gdje ga na kraju rješavate.

Databricks ne zamjenjuje SAP S/4HANA, Oracle Fusion Cloud ERP ni Microsoft Dynamics 365. ERP ostaje sustav evidencije za narudžbe, zalihe, račune i glavnu knjigu. Databricks uzima kopije tih podataka, kombinira ih s podacima koje ERP nikada ne vidi i poslužuje analitiku i AI.

ERP podaci obično stižu jednim od tri puta:

  1. Izvorni ili partnerski konektori. Lakeflow Connect, uz alate trećih strana za replikaciju, povlači tablice ili promjene podataka iz ERP baze podataka ili njezinih API-ja.
  2. Izvodi iz vlastitog podatkovnog sloja ERP-a. Izvozi iz analitičkih i podatkovnih servisa SAP-a, Oraclea ili Dynamicsa, spremljeni u bronze.
  3. Podatkovni proizvod ERP dobavljača. Za SAP korisnike jedna je opcija SAP Business Data Cloud. Uključuje SAP Databricks, upravljanu Databricks uslugu unutar SAP-ove ponude, za koju je Databricks najavio opću dostupnost. Postoji i put dijeljenja bez kopiranja (zero-copy) iz Business Data Clouda prema postojećem Databricks okruženju.

Koji put odgovara ovisi o licenciranju, količinama podataka i tome koliko su važni podaci izvan ERP-a. Teški dio nikada nije izvoz.

Teški dio je poslovno značenje: koji pogon, koja glavna knjiga, koja verzija kupca. Ako to niste razriješili, moj tekst o tome zašto migracije podataka propadaju pokriva iste temeljne uzroke.

Proizvodnja. Najjači argument je spajanje ERP podataka s podacima iz pogona. Očitanja strojeva i senzora iz historiana i IoT platformi, zapisi iz sustava za upravljanje proizvodnjom (MES), rezultati kontrole kvalitete i zapisi održavanja. Spojeni s ERP narudžbama, materijalima i troškovima, ti podaci odgovaraju na pitanja koja zanimaju i financije i operacije: trošak škarta po liniji, održavanje prije kvara, kvaliteta dobavljača u odnosu na plaćenu cijenu.

Količine senzorskih podataka su velike i neuredne. Lakehouse to podnosi bolje od tradicionalnog skladišta podataka. U mom radu u proizvodnji, prvi slučaj upotrebe koji je isplatio platformu bio je obračun troškova: spajanje troškova sirovina i rada kako bi se došlo do standardnog troška.

Financije već posjeduju taj broj, pa je vrijednost lako vidjeti. Ako još birate ERP ispod toga, pogledajte moju usporedbu ERP sustava za proizvodnju.

Obrana. Pitanja su drukčija. Gdje se podaci fizički nalaze? Tko upravlja platformom?

Mogu li se klasificirani i neklasificirani podaci držati odvojeno, uz pristup dokazan na reviziji? Programi traju desetljećima, pa izbor platforme mora nadživjeti nekoliko tehnoloških ciklusa.

Na mom radu u obrani, odvajanje klasificiranih i neklasificiranih podataka oblikovalo je dizajn više od ičega drugog. Riješite to odvajanje prije nego što dizajnirate ijedan cjevovod.

Arhitektura je ovdje važna. U Databricksu se kontrolna ravnina (control plane) izvršava na Databricksovom računu. Klasični compute izvršava se na Vašem vlastitom cloud računu.

Serverless compute izvršava se na Databricksovom računu, u istoj regiji. Za voditelja podataka u obrani ta je razlika prvi razgovor, prije bilo kakve demonstracije funkcionalnosti. Za rad za američku vladu postoji zasebna implementacija Databricks on AWS GovCloud.

Izvan SAD-a, prije užeg izbora provjerite dostupnost regija i suverenog clouda u odnosu na Vaša pravila o rezidentnosti podataka i kontroli izvoza (uključujući obveze tipa ITAR). Prema mom iskustvu, detaljna kontrola pristupa i revizijski zapisi Unity Cataloga u tim pregledima imaju veliku težinu.

Lako je kupiti Databricks za pogrešan posao.

  1. Nije ERP ni sustav evidencije. Ne provodite kroz njega transakcije ni glavnu knjigu. Lakebase obrađuje aplikacijske podatke, a ne Vašu glavnu knjigu.
  2. Nije alat za brze nadzorne ploče. Ako je cilj dvadeset financijskih nadzornih ploča nad čistim ERP podacima, Databricks je težak put do toga.
  3. Ne rješava loše vlasništvo nad podacima. Ako nitko ne posjeduje matične podatke kupaca, Databricks će samo brže obraditi nered.
  4. Ne radi sam od sebe. Trebaju Vam podatkovni inženjeri koji znaju pisati SQL i Python, plus netko tko prati troškove. Potrošnja se naplaćuje prema korištenju, pa se loše napisani poslovi vide na računu.
  5. Nije besplatan za poslovnu upotrebu. Free Edition služi za učenje i eksperimente. Databricksova ograničenja Free Editiona navode da se ne smije koristiti u komercijalne svrhe.

Databricks neće riješiti problem s podacima koji niste definirali. Samo će ga brže obraditi.

Pitanje koje najčešće čujem: trebamo li Databricks ili bi bilo dovoljno jednostavnije skladište podataka? Ovako ga postavljam.

Vaša situacijaDatabricks odgovaraJednostavnija opcija vjerojatno je dovoljna
Izvori podatakaERP plus senzori, MES, dokumenti, vanjski izvoriUglavnom ERP i CRM tablice
Količina i promjena podatakaVelika količina, streaming ili gotovo stvarno vrijemeDnevna serijska obrada, umjerena količina
Glavni korisniciPodatkovni inženjeri, podatkovni znanstvenici i analitičariFinancijski i poslovni analitičari
Planovi za AI i MLFinancirani slučajevi upotrebe s vlasnicimaIdeje još bez sponzora
Vještine timaSQL i Python inženjeri u kući ili ugovoreniUglavnom BI i Excel vještine
Potrebe upravljanjaDetaljan pristup, lineage, revizija preko mnogo izvoraStandardni pristup temeljen na ulogama

Ako je većina Vaših odgovora u desnom stupcu, počnite s analitikom svog ERP dobavljača ili upravljanim skladištem podataka. Za detaljniju usporedbu pročitajte moje srodne tekstove Snowflake vs Databricks i Databricks vs Microsoft Fabric.

Za troškove pogledajte objašnjenje cijena Databricksa. Databricks naplaćuje compute u Databricks Units (DBUs), po modelu pay-as-you-go ili uz ugovor o obvezi korištenja, a cloud pohrana i mreža dolaze povrh toga.

Kontrolni popis za odluku

  1. Možete li navesti tri poslovne odluke koje će se promijeniti ako podatkovna platforma proradi? Ako ne možete, zaustavite se i pronađite ih.
  2. Koji su Vam izvori podataka potrebni osim ERP-a i koliko su veliki?
  3. Tko posjeduje matične podatke za kupce, materijale, dobavljače i kontni plan?
  4. Koja su Vaša ograničenja u pogledu rezidentnosti podataka, suverenosti i kontrole izvoza?
  5. Imate li, ili ćete financirati, dugoročni tim za podatkovni inženjering?
  6. Koji BI alat ostaje i hoće li čitati iz Databricks SQL-a?
  7. Tko je odgovoran za mjesečnu potrošnju platforme i koje upozorenje pokreće pregled?
  8. Što ćete isključiti kada ovo krene u produkciju? Ako je odgovor ništa, dodajete trošak, a ne konsolidirate.

Odaberite jedan slučaj upotrebe s imenovanim poslovnim vlasnikom i stvarnim novcem u igri. U proizvodnji je to često škart, zastoji ili zalihe. Izgradite ga kroz bronze, silver i gold, s Unity Catalog upravljanjem uključenim od prve tablice.

Izmjerite rezultat i trošak rada. Zatim odlučite hoćete li skalirati.

Ne bih počeo s migracijom na razini cijelog poduzeća ni s AI agentom. Upravljanje pripada toj prvoj izgradnji, a ne nekoj kasnijoj fazi; moj vodič kroz okvir za upravljanje AI-jem objašnjava zašto.

Ako odmjeravate Databricks u odnosu na druge platforme ili razrađujete kako stoji uz SAP, Oracle ili Dynamics 365, dajem neovisne savjete o tim odlukama. Možete mi se javiti ovdje.

Što je Databricks jednostavnim riječima?

Databricks je cloud platforma na kojoj tvrtke pohranjuju, čiste i analiziraju velike količine podataka te na njima grade strojno učenje i AI. Radi na AWS-u, Microsoft Azureu i Google Cloudu. Zamislite ga kao inženjersku radionicu između Vaših izvornih sustava i Vaših izvještaja, modela i AI alata.

Je li Databricks baza podataka ili skladište podataka?

Djelomično oboje. Databricks SQL je cloud skladište podataka izgrađeno na lakehouseu, a Lakebase je upravljana Postgres baza podataka za aplikacije. Ispod toga podaci se nalaze kao tablice u otvorenom formatu na cloud pohrani. Nije transakcijski sustav evidencije poput ERP-a.

Koja je razlika između Databricksa i Snowflakea?

Oba pokreću SQL analitiku nad podacima u cloudu. Databricks je krenuo od podatkovnog inženjeringa i strojnog učenja nad otvorenim formatima. Snowflake je krenuo kao upravljano SQL skladište podataka. Danas se njih dvoje u velikoj mjeri preklapaju. Pravi izbor ovisi o Vašim vrstama podataka, vještinama i planovima za AI. Moja usporedba Snowflake vs Databricks to detaljno pokriva.

Zamjenjuje li Databricks SAP ili druge ERP sustave?

Ne. ERP ostaje sustav evidencije za transakcije i glavnu knjigu. Databricks uzima kopije ERP podataka, kombinira ih s drugim izvorima kao što su podaci iz pogona i senzora te poslužuje analitiku i AI. SAP korisnici mogu koristiti i SAP Databricks unutar SAP Business Data Clouda.

Što je medallion arhitektura u Databricksu?

Način organiziranja podataka u tri sloja. Bronze sadrži sirove podatke onako kako su stigli. Silver sadrži očišćene i provjerene zapise. Gold sadrži tablice spremne za poslovanje, za izvještavanje, ML i AI. Svaki sloj profinjeniji je od prethodnog, a poslovni korisnici trebali bi koristiti samo gold.

Je li Databricks besplatan za korištenje?

Databricks Free Edition besplatan je za učenje i eksperimentiranje, uz kvote i ograničenja funkcionalnosti, i ne smije se koristiti u komercijalne svrhe. Poslovna upotreba naplaćuje se prema potrošnji u DBU-ovima, bilo po modelu pay-as-you-go bilo kroz ugovor o obvezi korištenja, a cloud pohrana i mreža dolaze povrh toga.

Noel D'Costa

Autor

Noel D'Costa

25 godina u SAP i Oracle ERP programima u zrakoplovstvu, državnoj upravi, financijama, maloprodaji i proizvodnji. Dolazim iz financija. Pomažem rukovodnim timovima iskreno odrediti opseg transformacija, stabilizirati programe u poteškoćama i izgraditi sustave koji prežive prvu godinu u produktivnom radu.

Sljedeći korak

Vodite li trenutačno ERP program?

Ako se ovaj članak dotaknuo programa koji upravo provodite, razgovor od 30 minuta obično donosi više od još jednog tjedna interne analize.