Databricks는 어디에 쓰일까요? 쉽게 풀어 쓴 가이드

Databricks는 기업의 데이터를 한곳에 모아 정제하고, 리포트와 예측, AI 애플리케이션으로 바꾸는 데 쓰입니다. 비즈니스 관점에서 말하면, ERP와 공장, CRM, 각종 파일에서 온 데이터를 사람과 모델이 신뢰할 수 있는 형태로 엔지니어링하는 플랫폼입니다.

더 긴 답은 귀사의 문제에 따라 달라집니다. Databricks의 범위가 넓기 때문입니다. 데이터 파이프라인, SQL 데이터 웨어하우스, BI 대시보드, 머신러닝, AI 에이전트, 그리고 이제는 Postgres 데이터베이스까지 포함합니다. 첫날부터 이 모든 것이 필요한 기업은 거의 없습니다.

저는 제조와 방위 산업의 데이터 플랫폼 프로그램에서 Databricks를 다뤄 왔습니다. 이 가이드는 Databricks가 자사 아키텍처에 들어가야 하는지 판단하는 CIO, CFO, 데이터 책임자를 위한 글입니다.

Databricks의 공식 플랫폼 개요에는 할 수 있는 일이 길게 나열되어 있습니다. 실무에서 제가 보는 것은 다섯 가지입니다.

1. 데이터 엔지니어링과 ETL. 소스 시스템에서 데이터를 가져와 정제하고 테이블에 적재합니다. 가장 기본이 되는 활용 사례이며, 대개 비용의 대부분이 여기서 나갑니다. 제품군은 Lakeflow입니다. Lakeflow Connect가 수집을, Lakeflow 파이프라인(이전 Delta Live Tables)이 변환을 담당합니다. Lakeflow Designer는 시각적 데이터 준비 도구이고, Lakeflow Jobs는 오케스트레이션을 맡습니다.
2. Databricks SQL을 이용한 데이터 웨어하우징. Databricks SQL은 SQL 웨어하우스에서 실행되는 Databricks의 클라우드 데이터 웨어하우스입니다. 분석가는 엔지니어가 만든 바로 그 테이블에 SQL을 작성합니다. 다른 웨어하우스에 별도 사본을 둘 필요가 없습니다.
3. BI와 셀프서비스 분석. AI/BI 대시보드는 플랫폼 안에 있고, 테이블은 Power BI, Tableau 등 이미 쓰고 있는 도구에도 데이터를 공급합니다. Genie를 사용하면 현업 사용자가 거버넌스가 적용된 데이터에 일상 언어로 질문할 수 있습니다.
4. 머신러닝. 수요 예측, 예지 정비, 품질 예측, 가격 책정 등입니다. MLflow가 실험과 모델을 추적하고, 모델 서빙이 이를 운영 환경에 올립니다.
5. 생성형 AI와 에이전트. 현재 데이터 위에 AI 에이전트를 구축하고 거버넌스하는 곳은 Agent Bricks입니다. 2026년 6월에 정식 출시(GA)된 Genie One은 현업 사용자용 프런트엔드입니다. 예전 자료에서는 이런 AI 도구 상당수를 Mosaic AI라고 부르지만, 현재 제품 페이지는 Agent Bricks와 Genie를 앞세웁니다.

일부 구매자에게는 새로 나온 두 가지가 중요합니다. Lakebase는 플랫폼 안에 있는 관리형 Postgres 데이터베이스로, 분석 데이터 옆에서 빠른 트랜잭션 읽기와 쓰기가 필요한 애플리케이션을 위한 것입니다.

Databricks는 2026년 초 Lakebase의 정식 출시를 발표했습니다. 2025년 5월부터 정식 제공된 Databricks Apps를 사용하면 팀이 플랫폼 위에서 내부용 데이터 및 AI 애플리케이션을 만들고 호스팅할 수 있습니다.

이름에 관해 하나 짚어 두겠습니다. 검색 결과를 헷갈리게 만들기 때문입니다. Databricks는 2년 동안 "Data Intelligence Platform"이라는 이름으로 마케팅했습니다. 지금 제품 페이지에는 "Databricks Data + AI Platform"이라고 되어 있습니다.

같은 플랫폼입니다. 그리고 Databricks One은 Genie One으로 이름이 바뀌었습니다.

Databricks 이전에는 대부분의 기업이 두 시스템을 운영했습니다. 데이터 레이크에는 센서 로그, 문서, 이미지 같은 저렴한 원시 파일을 데이터 과학자용으로 보관했습니다.

데이터 웨어하우스에는 재무와 BI를 위한 깨끗한 정형 테이블을 보관했습니다. 데이터는 둘 사이에서 복사되었고, 두 사본은 점점 어긋났습니다.

레이크하우스는 이에 대한 Databricks의 답입니다. 데이터를 개방형 포맷(클라우드 스토리지 위의 Delta Lake 테이블)으로 한 벌만 두고, 그 위에서 BI와 AI를 모두 실행합니다. 그 위에 Unity Catalog가 있어 누가 무엇을 볼 수 있는지 통제하고, 데이터 계보를 추적하고, 접근 기록을 남깁니다. 이 거버넌스 계층이 있어야 파일 더미가 감사인이 받아들일 수 있는 데이터가 됩니다.

대부분의 팀은 메달리온 아키텍처로 레이크하우스를 구성합니다. 세 계층이 있고, 단계가 올라갈수록 데이터가 깨끗해집니다.

메달리온 계층을 따라 데이터가 이동하는 방식

1. 01

   소스 시스템

   ERP, MES, 히스토리안, CRM, 스프레드시트, 문서.

2. 02

   브론즈

   도착한 그대로 적재한 원시 데이터. 감사와 재처리를 위해 보관합니다.

3. 03

   실버

   정제, 중복 제거, 검증을 거친 데이터. 레코드마다 신뢰할 수 있는 하나의 버전.

4. 04

   골드

   비즈니스용으로 모델링된 데이터: 제품별 마진, 라인별 다운타임, 공급업체별 지출.

5. 05

   소비자

   대시보드, 재무 리포팅, ML 모델, AI 에이전트와 앱.

경영진용으로 요약하면 이렇습니다. 브론즈는 증거, 실버는 정제된 기록, 골드는 비즈니스 질문에 대한 답입니다. CFO는 골드만 보면 됩니다. 데이터 과학자는 대부분의 시간을 실버에서 보낼 것입니다.

제가 참여한 제조 프로그램에서 실제 노력이 들어가는 곳은 실버였습니다. 공장마다 다른 자재 번호. 맞아떨어지지 않는 단위.

현지 시간으로 찍힌 센서 타임스탬프와 UTC로 기록된 ERP 전기. 어느 것도 Databricks의 문제는 아니지만, 결국 그 문제를 푸는 곳이 Databricks입니다.

Databricks는 SAP S/4HANA, Oracle Fusion Cloud ERP, Microsoft Dynamics 365를 대체하지 않습니다. 주문, 재고, 송장, 원장의 기록 시스템은 여전히 ERP입니다. Databricks는 그 데이터의 사본을 가져와 ERP가 보지 못하는 데이터와 결합하고, 분석과 AI를 제공합니다.

ERP 데이터는 보통 세 가지 경로 중 하나로 들어옵니다.

1. 네이티브 커넥터 또는 파트너 커넥터. Lakeflow Connect와 서드파티 복제 도구가 ERP 데이터베이스나 API에서 테이블 또는 변경 데이터를 가져옵니다.
2. ERP 자체 데이터 계층에서의 추출. SAP, Oracle, Dynamics의 분석 및 데이터 서비스에서 내보낸 데이터를 브론즈에 적재합니다.
3. ERP 벤더의 데이터 제품. SAP 고객이라면 SAP Business Data Cloud가 한 가지 선택지입니다. 여기에는 SAP 제품 안에서 제공되는 관리형 Databricks 서비스인 SAP Databricks가 포함되며, Databricks가 정식 출시를 발표했습니다. Business Data Cloud에서 기존 Databricks 환경으로 데이터를 복사 없이 공유하는 경로도 있습니다.

어느 경로가 맞는지는 라이선스, 데이터 규모, 그리고 ERP 외 데이터가 얼마나 중요한지에 달려 있습니다. 어려운 부분은 결코 추출이 아닙니다.

어려운 것은 비즈니스 의미입니다. 어느 공장인지, 어느 원장인지, 어느 버전의 고객인지. 이것이 정리되지 않았다면 데이터 마이그레이션이 실패하는 이유에 관한 제 글이 같은 근본 원인을 다룹니다.

제조. 가장 강력한 사례는 ERP 데이터와 공장 데이터를 결합하는 것입니다. 히스토리안과 IoT 플랫폼의 설비 및 센서 측정값, 제조 실행 시스템(MES) 기록, 품질 검사 결과, 정비 로그가 여기에 해당합니다. 이 데이터를 ERP의 오더, 자재, 원가와 결합하면 재무와 운영 모두가 관심을 갖는 질문에 답할 수 있습니다. 라인별 스크랩 비용, 고장 전 정비, 지불 가격 대비 공급업체 품질 같은 것입니다.

센서 데이터는 양이 많고 지저분합니다. 레이크하우스는 전통적인 웨어하우스보다 이를 더 잘 처리합니다. 제 제조 업무에서 플랫폼 비용을 처음으로 회수한 활용 사례는 원가 계산이었습니다. 원자재 비용과 노무비를 한데 모아 표준원가를 산출하는 일입니다.

그 숫자는 이미 재무가 책임지고 있으므로 가치가 쉽게 보입니다. 아직 그 아래에 둘 ERP를 고르고 있다면 제조업용 ERP 비교 글을 참고하십시오.

방위 산업. 질문이 다릅니다. 데이터는 물리적으로 어디에 있습니까? 플랫폼은 누가 운영합니까?

기밀 데이터와 비기밀 데이터를 분리하고, 그 접근 통제를 감사에서 입증할 수 있습니까? 프로그램이 수십 년 동안 이어지므로, 플랫폼 선택은 여러 기술 주기를 견뎌야 합니다.

제가 맡은 방위 산업 업무에서는 기밀 데이터와 비기밀 데이터의 분리가 무엇보다 설계를 좌우했습니다. 파이프라인 하나를 설계하기 전에 이 분리부터 정하십시오.

여기서는 아키텍처가 중요합니다. Databricks에서 컨트롤 플레인은 Databricks의 계정에서 실행됩니다. 클래식 컴퓨트는 귀사의 클라우드 계정에서 실행됩니다.

서버리스 컴퓨트는 같은 리전의 Databricks 계정에서 실행됩니다. 방위 산업 데이터 책임자에게는 기능 데모보다 이 차이가 첫 번째 논의 주제입니다. 미국 정부 업무를 위해서는 별도의 Databricks on AWS GovCloud 배포가 있습니다.

미국 밖에서는 후보를 추리기 전에 리전과 소버린 클라우드 제공 여부를 데이터 레지던시 및 수출 통제 규정(ITAR 유형의 의무 포함)과 대조해 확인하십시오. 제 경험상 이런 검토에서는 Unity Catalog의 세분화된 접근 통제와 감사 로그가 큰 비중을 차지합니다.

Databricks를 엉뚱한 일에 쓰려고 사기는 쉽습니다.

1. ERP나 기록 시스템이 아닙니다. 트랜잭션이나 원장을 여기서 처리하지 마십시오. Lakebase는 애플리케이션 데이터를 다루는 것이지, 총계정원장을 다루는 것이 아닙니다.
2. 빠른 대시보드 도구가 아닙니다. 깨끗한 ERP 데이터 위에 재무 대시보드 스무 개를 만드는 것이 목표라면, Databricks는 너무 무거운 방법입니다.
3. 부실한 데이터 오너십을 고쳐 주지 않습니다. 고객 마스터 데이터를 책임지는 사람이 없다면, Databricks는 그 혼란을 더 빨리 처리할 뿐입니다.
4. 저절로 돌아가지 않습니다. SQL과 Python을 쓸 줄 아는 데이터 엔지니어와 비용을 지켜보는 사람이 필요합니다. 비용은 사용량 기준으로 계량되므로, 잘못 작성된 작업은 청구서에 그대로 나타납니다.
5. 업무용으로는 무료가 아닙니다. Free Edition은 학습과 실험용입니다. Databricks의 Free Edition 제한 사항에는 상업적 목적으로 사용할 수 없다고 명시되어 있습니다.

제가 가장 많이 듣는 질문은 이것입니다. Databricks가 필요합니까, 아니면 더 단순한 웨어하우스로 충분합니까? 저는 이렇게 정리합니다.

귀사의 상황	Databricks가 적합	더 단순한 선택지로 충분할 가능성이 높음
데이터 소스	ERP에 더해 센서, MES, 문서, 외부 피드	주로 ERP와 CRM 테이블
데이터 규모와 변화	대용량, 스트리밍 또는 준실시간	일일 배치, 중간 규모
주요 사용자	데이터 엔지니어, 데이터 과학자, 분석가	재무 및 비즈니스 분석가
AI와 ML 계획	책임자와 예산이 정해진 활용 사례	아직 후원자가 없는 아이디어
팀 역량	사내 또는 외부 계약의 SQL·Python 엔지니어	주로 BI와 Excel 역량
거버넌스 요구	여러 소스에 걸친 세분화된 접근 통제, 계보, 감사	표준 역할 기반 접근 통제

답이 대부분 오른쪽 열에 있다면 ERP 벤더의 분석 도구나 관리형 웨어하우스로 시작하십시오. 더 자세한 비교는 같은 시리즈의 Snowflake vs Databricks와 Databricks vs Microsoft Fabric 글을 읽어 보십시오.

비용은 Databricks 가격 설명을 참고하십시오. Databricks는 컴퓨트를 Databricks Units(DBU)로 종량제 또는 약정 사용 조건으로 청구하며, 클라우드 스토리지와 네트워킹 비용은 그 위에 별도로 붙습니다.

의사결정 체크리스트

1. 데이터 플랫폼이 제대로 작동하면 바뀔 비즈니스 의사결정 세 가지를 꼽을 수 있습니까? 그렇지 않다면 멈추고 먼저 찾으십시오.
2. ERP 외에 어떤 데이터 소스가 필요하며, 규모는 얼마나 됩니까?
3. 고객, 자재, 공급업체, 계정과목표의 마스터 데이터는 누가 책임집니까?
4. 데이터 레지던시, 주권, 수출 통제상의 제약은 무엇입니까?
5. 장기적으로 데이터 엔지니어링 팀을 보유하고 있거나, 예산을 지원할 계획입니까?
6. 어떤 BI 도구를 계속 쓰며, 그 도구가 Databricks SQL에서 데이터를 읽게 됩니까?
7. 월간 플랫폼 비용은 누가 책임지며, 어떤 알림이 검토를 촉발합니까?
8. 이것이 가동되면 무엇을 끄시겠습니까? 답이 "아무것도 없다"라면 통합이 아니라 비용을 더하는 것입니다.

이름이 정해진 비즈니스 책임자와 실제 금액이 걸린 활용 사례 하나를 고르십시오. 제조에서는 보통 스크랩, 다운타임, 재고입니다. 첫 번째 테이블부터 Unity Catalog 거버넌스를 켜고, 브론즈, 실버, 골드를 거쳐 구축하십시오.

결과와 운영 비용을 측정하십시오. 그다음에 확장할지 결정하십시오.

저라면 전사 마이그레이션이나 AI 에이전트로 시작하지 않겠습니다. 거버넌스는 나중 단계가 아니라 첫 구축에 들어가야 합니다. 그 이유는 제 AI 거버넌스 프레임워크 가이드에서 설명합니다.

Databricks를 다른 플랫폼과 비교하고 있거나, SAP, Oracle, Dynamics 365 옆에 어떻게 둘지 검토하고 있다면 이런 의사결정에 대해 독립적인 자문을 드립니다. 여기에서 연락하실 수 있습니다.

Databricks를 쉽게 설명하면 무엇입니까?

Databricks는 기업이 대량의 데이터를 저장하고 정제하고 분석하며, 그 위에 머신러닝과 AI를 구축하는 클라우드 플랫폼입니다. AWS, Microsoft Azure, Google Cloud에서 실행됩니다. 소스 시스템과 리포트, 모델, AI 도구 사이에 있는 엔지니어링 작업장이라고 생각하시면 됩니다.

Databricks는 데이터베이스입니까, 데이터 웨어하우스입니까?

부분적으로는 둘 다입니다. Databricks SQL은 레이크하우스 위에 구축된 클라우드 데이터 웨어하우스이고, Lakebase는 애플리케이션용 관리형 Postgres 데이터베이스입니다. 그 아래에서 데이터는 클라우드 스토리지 위의 개방형 포맷 테이블로 존재합니다. ERP 같은 트랜잭션 기록 시스템은 아닙니다.

Databricks와 Snowflake의 차이는 무엇입니까?

둘 다 클라우드 데이터에서 SQL 분석을 실행합니다. Databricks는 개방형 포맷 위의 데이터 엔지니어링과 머신러닝에서 출발했습니다. Snowflake는 관리형 SQL 데이터 웨어하우스로 출발했습니다. 지금은 두 제품이 상당히 겹칩니다. 올바른 선택은 데이터 유형, 역량, AI 계획에 달려 있습니다. 제 Snowflake vs Databricks 비교에서 자세히 다룹니다.

Databricks가 SAP나 다른 ERP 시스템을 대체합니까?

아닙니다. 트랜잭션과 원장의 기록 시스템은 여전히 ERP입니다. Databricks는 ERP 데이터의 사본을 가져와 공장 데이터, 센서 데이터 같은 다른 소스와 결합하고, 분석과 AI를 제공합니다. SAP 고객은 SAP Business Data Cloud 안에서 SAP Databricks를 사용할 수도 있습니다.

Databricks의 메달리온 아키텍처란 무엇입니까?

데이터를 세 계층으로 구성하는 방식입니다. 브론즈에는 도착한 그대로의 원시 데이터가 있습니다. 실버에는 정제되고 검증된 레코드가 있습니다. 골드에는 리포팅, ML, AI에 바로 쓸 수 있는 비즈니스용 테이블이 있습니다. 계층이 올라갈수록 더 정제되며, 현업 사용자는 골드만 사용해야 합니다.

Databricks는 무료로 사용할 수 있습니까?

Databricks Free Edition은 학습과 실험용으로 무료이며, 할당량과 기능 제한이 있고 상업적 목적으로는 사용할 수 없습니다. 업무용 사용은 DBU 기반 소비량으로 청구되며, 종량제 또는 약정 사용 계약 중에서 선택합니다. 클라우드 스토리지와 네트워킹 비용은 별도입니다.