Для чего используется Databricks? Объясняю простым языком

Databricks используется, чтобы собрать данные компании в одном месте, очистить их и превратить в отчёты, прогнозы и AI-приложения. Если говорить языком бизнеса, это платформа, где данные из ERP, с заводов, из CRM и из файлов превращаются в то, чему могут доверять и люди, и модели.

Более развёрнутый ответ зависит от вашей задачи, потому что Databricks очень широк. Он покрывает конвейеры данных, SQL-хранилище данных, BI-дашборды, машинное обучение, AI-агентов, а теперь ещё и базу данных Postgres. Очень немногим компаниям всё это нужно с первого дня.

Я работал с Databricks в программах по созданию платформ данных в производстве и оборонной отрасли. Этот материал для CIO, CFO или руководителя по данным, который решает, место ли этой платформе в его архитектуре.

В обзоре платформы от самого Databricks перечислен длинный список задач, которые она умеет решать. На практике я вижу пять.

1. Инженерия данных и ETL. Извлечение данных из систем-источников, их очистка и загрузка в таблицы. Это основной рабочий сценарий, и обычно на него уходит большая часть расходов. Семейство продуктов называется Lakeflow. Lakeflow Connect отвечает за загрузку, а Lakeflow pipelines (ранее Delta Live Tables) отвечают за преобразование. Lakeflow Designer служит для визуальной подготовки данных, а Lakeflow Jobs для оркестрации.
2. Хранилище данных на Databricks SQL. Databricks SQL представляет собой облачное хранилище данных, работающее на SQL warehouses. Аналитики пишут SQL к тем же таблицам, которые построили инженеры. Отдельной копии в другом хранилище нет.
3. BI и самостоятельная аналитика. Дашборды AI/BI находятся внутри платформы, а таблицы также питают Power BI, Tableau или любой инструмент, который уже есть у вашего бизнеса. Genie позволяет бизнес-пользователям задавать вопросы обычным языком к управляемым данным.
4. Машинное обучение. Прогнозирование спроса, предиктивное обслуживание, прогнозирование качества, ценообразование. MLflow отслеживает эксперименты и модели, а model serving выводит их в промышленную эксплуатацию.
5. Генеративный AI и агенты. Сейчас создание AI-агентов на ваших данных и управление ими живёт в Agent Bricks. Genie One, общедоступный с июня 2026 года, служит интерфейсом для бизнес-пользователей. В более старых материалах большая часть этих AI-инструментов называется Mosaic AI; на текущих страницах продуктов на первом месте Agent Bricks и Genie.

Для части покупателей важны два более новых компонента. Lakebase представляет собой управляемую базу данных Postgres внутри платформы для приложений, которым нужны быстрые транзакционные чтения и записи рядом с аналитическими данными.

Databricks объявил Lakebase общедоступным в начале 2026 года. Databricks Apps, общедоступный с мая 2025 года, позволяет командам создавать и размещать на платформе внутренние приложения для данных и AI.

Одно замечание о названиях, потому что оно путает результаты поиска. Два года Databricks продвигал «Data Intelligence Platform». Теперь на страницах продуктов написано «Databricks Data + AI Platform».

Платформа та же. А Databricks One переименовали в Genie One.

До Databricks большинство компаний держали две системы. Озеро данных хранило дешёвые сырые файлы, включая логи датчиков, документы и изображения, для специалистов по данным.

Хранилище данных содержало чистые структурированные таблицы для финансов и BI. Данные копировались между ними, и две копии расходились.

Lakehouse стал ответом Databricks: держать одну копию данных в открытых форматах (таблицы Delta Lake в вашем облачном хранилище) и запускать на ней и BI, и AI. Сверху работает Unity Catalog: он определяет, кто что видит, отслеживает происхождение данных (lineage) и журналирует доступ. Именно этот слой управления превращает груду файлов в то, что примет аудитор.

Большинство команд организует lakehouse по архитектуре medallion. Три слоя, каждый чище предыдущего.

Как данные проходят через слои medallion

1. 01

   Системы-источники

   ERP, MES, историки, CRM, электронные таблицы и документы.

2. 02

   Bronze

   Сырые данные в том виде, в каком поступили. Хранятся для аудита и повторной обработки.

3. 03

   Silver

   Очищенные, без дубликатов, проверенные. Одна надёжная версия каждой записи.

4. 04

   Gold

   Смоделированы для бизнеса: маржа по продукту, простои по линии, расходы по поставщику.

5. 05

   Потребители

   Дашборды, финансовая отчётность, ML-модели, AI-агенты и приложения.

Версия для руководителя бизнеса: bronze хранит доказательства, silver содержит очищенную запись, а gold даёт ответ на бизнес-вопрос. Ваш CFO должен видеть только gold. Ваши специалисты по данным будут проводить большую часть времени в silver.

В производственных программах, где я работал, основные усилия приходятся на silver. Номера материалов, которые различаются между заводами. Единицы измерения, которые не сходятся.

Метки времени датчиков в местном времени против проводок ERP в UTC. Ничто из этого не проблема Databricks, но решать это в итоге приходится именно в Databricks.

Databricks не заменяет SAP S/4HANA, Oracle Fusion Cloud ERP или Microsoft Dynamics 365. ERP остаётся учётной системой (system of record) для заказов, запасов, счетов и главной книги. Databricks берёт копии этих данных, объединяет их с данными, которых ERP никогда не видит, и обслуживает аналитику и AI.

Данные ERP обычно поступают одним из трёх путей:

1. Нативные или партнёрские коннекторы. Lakeflow Connect, а также сторонние инструменты репликации извлекают таблицы или изменения данных из базы ERP или через её API.
2. Выгрузки из собственного слоя данных ERP. Экспорт из аналитических и информационных сервисов SAP, Oracle или Dynamics, загружаемый в bronze.
3. Продукт данных от поставщика ERP. Для компаний на SAP одним из вариантов является SAP Business Data Cloud. В него входит SAP Databricks, управляемый сервис Databricks внутри предложения SAP, который Databricks объявил общедоступным. Есть и путь обмена данными без копирования (zero-copy) из Business Data Cloud в уже существующую среду Databricks.

Какой путь подходит, зависит от лицензирования, объёмов данных и того, насколько важны данные вне ERP. Самое трудное здесь никогда не выгрузка.

Самое трудное: бизнес-смысл. Какой завод, какая книга, какая версия клиента. Если вы с этим не разобрались, мой материал о том, почему проваливаются миграции данных, разбирает те же коренные причины.

Производство. Самый сильный аргумент: объединение данных ERP с данными производства. Показания станков и датчиков из историков и IoT-платформ, записи системы управления производством (MES), результаты контроля качества и журналы обслуживания. В связке с заказами, материалами и затратами из ERP эти данные отвечают на вопросы, которые важны и финансам, и производству: стоимость брака по линии, обслуживание до поломки, качество поставщика в сравнении с уплаченной ценой.

Объёмы данных датчиков велики и неопрятны. Lakehouse справляется с этим лучше традиционного хранилища. В моей работе в производстве первым сценарием, который окупил платформу, стала калькуляция себестоимости: сведение затрат на сырьё и труд для расчёта нормативной себестоимости.

Этой цифрой уже владеют финансы, поэтому ценность легко увидеть. Если вы ещё выбираете ERP, которая будет под всем этим, посмотрите моё сравнение ERP для производства.

Оборонная отрасль. Вопросы здесь другие. Где физически находятся данные? Кто эксплуатирует платформу?

Можно ли держать секретные и несекретные данные раздельно и доказать разграничение доступа на аудите? Программы длятся десятилетиями, поэтому выбранная платформа должна пережить несколько технологических циклов.

В моей работе в оборонной отрасли разделение секретных и несекретных данных определяло архитектуру сильнее, чем что-либо ещё. Решите вопрос этого разделения до того, как спроектируете первый конвейер.

Архитектура здесь важна. В Databricks control plane работает в учётной записи Databricks. Классические вычисления (classic compute) работают в вашей собственной облачной учётной записи.

Бессерверные вычисления (serverless compute) работают в учётной записи Databricks, в том же регионе. Для руководителя по данным в оборонной отрасли эта разница становится первым разговором, ещё до любой демонстрации функций. Для работы с правительством США есть отдельное развёртывание Databricks on AWS GovCloud.

За пределами США проверьте доступность регионов и суверенного облака с учётом ваших правил о резидентности данных и экспортном контроле (включая обязательства типа ITAR) до того, как составлять шорт-лист. По моему опыту, детальное управление доступом и журналы аудита Unity Catalog имеют большой вес в таких проверках.

Купить Databricks не для той задачи легко.

1. Это не ERP и не учётная система. Не проводите через него транзакции и главную книгу. Lakebase работает с данными приложений, а не с вашей главной книгой.
2. Это не инструмент для быстрых дашбордов. Если цель в двадцати финансовых дашбордах по чистым данным ERP, Databricks будет тяжёлым путём к ней.
3. Он не исправляет слабое владение данными. Если у основных данных клиентов нет владельца, Databricks просто обработает этот беспорядок быстрее.
4. Он не работает сам по себе. Вам нужны инженеры данных, которые пишут на SQL и Python, и кто-то, кто следит за затратами. Расходы считаются по факту использования, поэтому плохо написанные задания видны в счёте.
5. Для бизнеса он не бесплатен. Free Edition предназначена для обучения и экспериментов. В ограничениях Free Edition Databricks прямо указано, что её нельзя использовать в коммерческих целях.

Вопрос, который я слышу чаще всего: нужен ли нам Databricks или хватит более простого хранилища? Я рассматриваю его так.

Ваша ситуация	Databricks подходит	Скорее всего, хватит более простого варианта
Источники данных	ERP плюс датчики, MES, документы, внешние потоки	В основном таблицы ERP и CRM
Объём и изменчивость данных	Большой объём, потоковая обработка или почти реальное время	Ежедневная пакетная загрузка, умеренный объём
Основные пользователи	Инженеры данных, специалисты по данным и аналитики	Финансовые и бизнес-аналитики
Планы по AI и ML	Профинансированные сценарии с владельцами	Идеи, у которых пока нет спонсора
Навыки команды	Инженеры SQL и Python в штате или по контракту	В основном навыки BI и Excel
Требования к управлению данными	Детальный доступ, lineage, аудит по многим источникам	Стандартный ролевой доступ

Если большинство ваших ответов в правой колонке, начните с аналитики от поставщика ERP или с управляемого хранилища. Для более подробного сравнения прочитайте мои соседние материалы Snowflake vs Databricks и Databricks vs Microsoft Fabric.

О затратах читайте в материале о ценах Databricks. Databricks выставляет счета за вычисления в Databricks Units (DBU), по модели оплаты по мере использования (pay-as-you-go) или по обязательствам потребления (committed use), а облачное хранилище и сеть оплачиваются сверху.

Чек-лист для решения

1. Можете ли вы назвать три бизнес-решения, которые изменятся, если платформа данных заработает? Если нет, остановитесь и найдите их.
2. Какие источники данных помимо ERP вам нужны и насколько они велики?
3. Кто владеет основными данными по клиентам, материалам, поставщикам и плану счетов?
4. Каковы ваши ограничения по резидентности данных, суверенитету и экспортному контролю?
5. Есть ли у вас команда инженеров данных на долгий срок или будете ли вы её финансировать?
6. Какой BI-инструмент остаётся и будет ли он читать данные из Databricks SQL?
7. Кто отвечает за ежемесячные расходы на платформу и какое оповещение запускает проверку?
8. Что вы отключите, когда это заработает? Если ответ «ничего», вы добавляете затраты, а не консолидируете.

Выберите один сценарий с названным владельцем со стороны бизнеса и реальными деньгами на кону. В производстве это часто брак, простои или запасы. Проведите его через bronze, silver и gold, включив управление Unity Catalog с первой же таблицы.

Измерьте результат и стоимость эксплуатации. Потом решайте, масштабировать ли.

Я бы не начинал с миграции на уровне всего предприятия или с AI-агента. Управлению место в этой первой сборке, а не в более поздней фазе; моё руководство по фреймворку управления AI объясняет почему.

Если вы сравниваете Databricks с другими платформами или разбираетесь, как он будет работать рядом с SAP, Oracle или Dynamics 365, я даю независимые консультации по таким решениям. Вы можете связаться со мной здесь.

Что такое Databricks простыми словами?

Databricks представляет собой облачную платформу, где компании хранят, очищают и анализируют большие объёмы данных и строят на них машинное обучение и AI. Она работает на AWS, Microsoft Azure и Google Cloud. Считайте её инженерной мастерской между вашими системами-источниками и вашими отчётами, моделями и AI-инструментами.

Databricks это база данных или хранилище данных?

Отчасти и то и другое. Databricks SQL представляет собой облачное хранилище данных, построенное на lakehouse, а Lakebase является управляемой базой данных Postgres для приложений. В основе данные лежат в виде таблиц в открытом формате в облачном хранилище. Это не транзакционная учётная система вроде ERP.

Чем Databricks отличается от Snowflake?

Обе платформы выполняют SQL-аналитику на облачных данных. Databricks начинался с инженерии данных и машинного обучения на открытых форматах. Snowflake начинался как управляемое SQL-хранилище данных. Сейчас они сильно пересекаются. Правильный выбор зависит от типов ваших данных, навыков и планов по AI. Мое сравнение Snowflake и Databricks разбирает это подробно.

Заменяет ли Databricks SAP или другие ERP-системы?

Нет. ERP остаётся учётной системой для транзакций и главной книги. Databricks берёт копии данных ERP, объединяет их с другими источниками, например с данными производства и датчиков, и обслуживает аналитику и AI. Клиенты SAP также могут использовать SAP Databricks внутри SAP Business Data Cloud.

Что такое архитектура medallion в Databricks?

Способ организации данных в три слоя. Bronze хранит сырые данные в том виде, в каком они поступили. Silver хранит очищенные и проверенные записи. Gold хранит готовые для бизнеса таблицы для отчётности, ML и AI. Каждый слой обработан лучше предыдущего, и бизнес-пользователи должны потреблять только gold.

Можно ли пользоваться Databricks бесплатно?

Databricks Free Edition бесплатна для обучения и экспериментов, с квотами и ограничениями функций, и её нельзя использовать в коммерческих целях. Использование в бизнесе оплачивается по потреблению в DBU, либо по модели pay-as-you-go, либо по контракту с обязательствами потребления, а облачное хранилище и сеть оплачиваются сверху.