فيمَ تُستخدم Databricks؟ دليل بلغة واضحة

تُستخدم Databricks لجمع بيانات الشركة في مكان واحد وتنظيفها وتحويلها إلى تقارير وتوقعات وتطبيقات ذكاء اصطناعي. وبلغة الأعمال، هي المنصة التي تُهندَس فيها البيانات القادمة من ERP والمصانع وCRM والملفات لتصبح شيئاً يثق به الناس والنماذج.

الإجابة الأطول تتوقف على مشكلتك، لأن Databricks واسعة النطاق. فهي تغطي خطوط معالجة البيانات، ومستودع بيانات SQL، ولوحات معلومات ذكاء الأعمال، والتعلّم الآلي، ووكلاء الذكاء الاصطناعي، والآن قاعدة بيانات Postgres. وقليل جداً من الشركات يحتاج إلى كل ذلك من اليوم الأول.

عملت مع Databricks في برامج منصات بيانات في قطاعي التصنيع والدفاع. هذا الدليل موجّه إلى الرئيس التنفيذي للمعلومات أو الرئيس التنفيذي للمالية أو رئيس البيانات الذي يقرّر هل لها مكان في بنيته التقنية.

تسرد النظرة العامة الرسمية على المنصة من Databricks قائمة طويلة من المهام التي يمكنها أداؤها. أما في الواقع العملي، فأرى خمساً.

1. هندسة البيانات وETL. سحب البيانات من الأنظمة المصدر وتنظيفها وتحميلها في جداول. هذه هي حالة الاستخدام الأساسية، وعادةً ما يذهب إليها الجزء الأكبر من الإنفاق. عائلة المنتجات هنا هي Lakeflow. تتولى Lakeflow Connect الاستيعاب، وتتولى Lakeflow pipelines (المعروفة سابقاً باسم Delta Live Tables) التحويل. أما Lakeflow Designer فهي لإعداد البيانات بصرياً، وLakeflow Jobs للتنسيق والجدولة.
2. مستودع البيانات مع Databricks SQL. Databricks SQL هو مستودع البيانات السحابي الخاص بها، ويعمل على SQL warehouses. يكتب المحللون استعلامات SQL على الجداول نفسها التي بناها المهندسون. لا نسخة منفصلة في مستودع آخر.
3. ذكاء الأعمال والتحليلات الذاتية. توجد لوحات AI/BI داخل المنصة، كما تغذي الجداول Power BI أو Tableau أو أي أداة تستخدمها شركتك أصلاً. ويتيح Genie لمستخدمي الأعمال طرح الأسئلة بلغة عادية على بيانات خاضعة للحوكمة.
4. التعلّم الآلي. توقّع الطلب، والصيانة التنبؤية، والتنبؤ بالجودة، والتسعير. تتتبّع MLflow التجارب والنماذج، وتنقلها خدمة model serving إلى بيئة الإنتاج.
5. الذكاء الاصطناعي التوليدي والوكلاء. Agent Bricks هي الموطن الحالي لبناء وكلاء الذكاء الاصطناعي على بياناتك وحوكمتهم. أما Genie One، التي أُطلقت متاحة للعموم في يونيو 2026، فهي الواجهة الأمامية لمستخدمي الأعمال. وتطلق المواد الأقدم على كثير من أدوات الذكاء الاصطناعي هذه اسم Mosaic AI، بينما تتصدّر صفحات المنتجات الحالية Agent Bricks وGenie.

هناك عنصران أحدث يهمّان بعض المشترين. Lakebase قاعدة بيانات Postgres مُدارة داخل المنصة، للتطبيقات التي تحتاج إلى قراءة وكتابة معاملاتية سريعة بجوار البيانات التحليلية.

أعلنت Databricks إتاحة Lakebase للعموم في أوائل 2026. وتتيح Databricks Apps، المتاحة للعموم منذ مايو 2025، للفرق بناء تطبيقات بيانات وذكاء اصطناعي داخلية واستضافتها على المنصة.

ملاحظة واحدة عن الأسماء، لأنها تربك نتائج البحث. أمضت Databricks عامين تسوّق لـ"Data Intelligence Platform". أما صفحات منتجاتها الآن فتقول "Databricks Data + AI Platform".

المنصة نفسها. كما أُعيدت تسمية Databricks One لتصبح Genie One.

قبل Databricks، كانت معظم الشركات تشغّل نظامين. بحيرة بيانات تحتفظ بملفات خام رخيصة، منها سجلات الحساسات والمستندات والصور، لعلماء البيانات.

ومستودع بيانات يحتفظ بجداول نظيفة ومهيكلة للمالية وذكاء الأعمال. كانت البيانات تُنسخ بينهما، وكانت النسختان تتباعدان.

lakehouse هي إجابة Databricks: احتفظ بنسخة واحدة من البيانات بصيغ مفتوحة (جداول Delta Lake على التخزين السحابي الخاص بك) وشغّل عليها ذكاء الأعمال والذكاء الاصطناعي معاً. ويعلوها Unity Catalog الذي يحكم من يرى ماذا، ويتتبّع مسار البيانات، ويسجّل عمليات الوصول. طبقة الحوكمة هذه هي ما يحوّل كومة من الملفات إلى شيء يقبله المدقق.

تنظّم معظم الفرق lakehouse باستخدام بنية medallion. ثلاث طبقات، كل منها أنظف من سابقتها.

كيف تنتقل البيانات عبر طبقات medallion

1. 01

   الأنظمة المصدر

   ERP وMES وأنظمة historian وCRM وجداول البيانات والمستندات.

2. 02

   البرونزية

   بيانات خام تُحفظ كما وصلت. يُحتفظ بها للتدقيق وإعادة المعالجة.

3. 03

   الفضية

   منظّفة وخالية من التكرار ومتحقَّق منها. نسخة واحدة موثوقة من كل سجل.

4. 04

   الذهبية

   مُنمذجة لاحتياجات الأعمال: الهامش حسب المنتج، والتوقف حسب الخط، والإنفاق حسب المورّد.

5. 05

   المستهلكون

   لوحات المعلومات، وتقارير المالية، ونماذج التعلّم الآلي، ووكلاء الذكاء الاصطناعي، والتطبيقات.

النسخة المختصرة لقائد الأعمال: البرونزية هي الدليل، والفضية هي السجل المنظّف، والذهبية هي الإجابة عن سؤال عمل. يجب ألا يرى الرئيس التنفيذي للمالية لديك سوى الذهبية. أما علماء البيانات فسيقضون معظم وقتهم في الفضية.

في برامج التصنيع التي عملت عليها، يتركّز الجهد الحقيقي في الطبقة الفضية. أرقام مواد تختلف بين المصانع. ووحدات قياس لا تتطابق.

وطوابع زمنية للحساسات بالتوقيت المحلي مقابل قيود ERP بالتوقيت العالمي UTC. لا شيء من ذلك مشكلة في Databricks، لكن Databricks هي المكان الذي ينتهي بك الأمر إلى حلّها فيه.

لا تحلّ Databricks محل SAP S/4HANA أو Oracle Fusion Cloud ERP أو Microsoft Dynamics 365. يبقى ERP نظام السجل للطلبات والمخزون والفواتير ودفتر الأستاذ. وتأخذ Databricks نسخاً من تلك البيانات، وتدمجها مع بيانات لا يراها ERP أبداً، وتقدّم التحليلات والذكاء الاصطناعي.

تصل بيانات ERP عادةً عبر أحد ثلاثة مسارات:

1. الموصلات الأصلية أو موصلات الشركاء. تسحب Lakeflow Connect، إلى جانب أدوات النسخ المتماثل من أطراف ثالثة، الجداول أو بيانات التغيير من قاعدة بيانات ERP أو من واجهاته البرمجية.
2. مستخرجات من طبقة البيانات الخاصة بـ ERP. صادرات من خدمات التحليلات والبيانات في SAP أو Oracle أو Dynamics، تُنزَّل في الطبقة البرونزية.
3. منتج البيانات من مورّد ERP. بالنسبة لعملاء SAP، يمثّل SAP Business Data Cloud خياراً. ويتضمن SAP Databricks، وهي خدمة Databricks مُدارة ضمن عرض SAP، أعلنت Databricks إتاحتها للعموم. وهناك أيضاً مسار مشاركة دون نسخ (zero-copy) من Business Data Cloud إلى بيئة Databricks قائمة.

يتوقف المسار المناسب على الترخيص وأحجام البيانات ومدى أهمية البيانات من خارج ERP. والجزء الصعب ليس الاستخراج أبداً.

بل المعنى التجاري: أي مصنع، وأي دفتر أستاذ، وأي نسخة من العميل. إذا لم تحسم ذلك بعد، فمقالي عن أسباب فشل ترحيل البيانات يتناول الأسباب الجذرية نفسها.

التصنيع. أقوى حالة هي ربط بيانات ERP ببيانات المصنع. قراءات الآلات والحساسات من أنظمة historian ومنصات إنترنت الأشياء، وسجلات نظام تنفيذ التصنيع (MES)، ونتائج فحص الجودة، وسجلات الصيانة. وحين تُربط هذه البيانات بطلبات ERP وموادّه وتكاليفه، تجيب عن أسئلة تهمّ المالية والعمليات معاً: تكلفة الهالك حسب الخط، والصيانة قبل العطل، وجودة المورّد مقابل السعر المدفوع.

أحجام بيانات الحساسات كبيرة وفوضوية. وlakehouse تتعامل معها أفضل من مستودع البيانات التقليدي. في عملي في التصنيع، كانت أول حالة استخدام غطّت تكلفة المنصة هي حساب التكاليف: جمع تكاليف المواد الخام والعمالة معاً للوصول إلى التكلفة المعيارية.

المالية تملك هذا الرقم أصلاً، لذا تظهر القيمة بوضوح. وإذا كنت لا تزال تختار ERP الذي سيقوم عليه كل ذلك، فاطّلع على مقارنتي لـأنظمة ERP للتصنيع.

الدفاع. الأسئلة مختلفة. أين توجد البيانات فعلياً؟ ومن يشغّل المنصة؟

هل يمكن فصل البيانات السرية عن غير السرية، مع إثبات صلاحيات الوصول في التدقيق؟ تستمر البرامج لعقود، لذا يجب أن يصمد اختيار المنصة عبر عدة دورات تقنية.

في عملي في الدفاع، شكّل الفصل بين البيانات السرية وغير السرية التصميم أكثر من أي شيء آخر. احسم هذا الفصل قبل أن تصمّم خط معالجة واحداً.

البنية مهمة هنا. في Databricks، تعمل مستوى التحكم (control plane) في حساب Databricks. وتعمل الحوسبة التقليدية (classic compute) في حسابك السحابي الخاص.

أما الحوسبة دون خوادم (serverless compute) فتعمل في حساب Databricks، في المنطقة نفسها. بالنسبة لقائد البيانات في قطاع الدفاع، هذا الفرق هو أول نقاش، قبل أي عرض للميزات. وللعمل الحكومي الأمريكي هناك نشر منفصل هو Databricks on AWS GovCloud.

خارج الولايات المتحدة، تحقّق من توفر المناطق والسحابة السيادية مقابل قواعد إقامة البيانات وضوابط التصدير لديك (بما فيها الالتزامات من نوع ITAR) قبل إعداد القائمة المختصرة. وقد وجدت أن التحكم الدقيق في الوصول وسجلات التدقيق في Unity Catalog لهما وزن كبير في هذه المراجعات.

من السهل شراء Databricks للمهمة الخطأ.

1. ليست نظام ERP ولا نظام سجل. لا تشغّل المعاملات أو دفتر الأستاذ من خلالها. تتعامل Lakebase مع بيانات التطبيقات، لا مع دفتر الأستاذ العام.
2. ليست أداة سريعة للوحات المعلومات. إذا كان الهدف عشرين لوحة معلومات مالية على بيانات ERP نظيفة، فـDatabricks طريقة ثقيلة للوصول إلى ذلك.
3. لا تعالج ضعف ملكية البيانات. إذا لم يكن أحد مسؤولاً عن البيانات الرئيسية للعملاء، فستعالج Databricks الفوضى فقط بسرعة أكبر.
4. لا تدير نفسها بنفسها. تحتاج إلى مهندسي بيانات يكتبون SQL وPython، وإلى شخص يراقب التكاليف. الإنفاق يُقاس حسب الاستخدام، لذا تظهر المهام المكتوبة بشكل سيئ على الفاتورة.
5. ليست مجانية للاستخدام التجاري. الإصدار المجاني (Free Edition) مخصص للتعلّم والتجارب. وتنص قيود Free Edition من Databricks على أنه لا يجوز استخدامه لأغراض تجارية.

السؤال الذي أسمعه أكثر من غيره: هل نحتاج إلى Databricks، أم يكفينا مستودع بيانات أبسط؟ هكذا أطرح المسألة.

وضعك	Databricks مناسبة	خيار أبسط يكفي على الأرجح
مصادر البيانات	ERP إضافة إلى الحساسات وMES والمستندات والمصادر الخارجية	جداول ERP وCRM في الغالب
حجم البيانات وتغيّرها	حجم كبير، بث متدفق أو شبه لحظي	دفعات يومية، حجم متوسط
المستخدمون الرئيسيون	مهندسو البيانات وعلماء البيانات والمحللون	المحللون الماليون ومحللو الأعمال
خطط الذكاء الاصطناعي والتعلّم الآلي	حالات استخدام مموّلة لها مالكون	أفكار بلا راعٍ حتى الآن
مهارات الفريق	مهندسو SQL وPython داخلياً أو بالتعاقد	مهارات ذكاء الأعمال وExcel في الغالب
احتياجات الحوكمة	وصول دقيق، وتتبّع مسار البيانات، وتدقيق عبر مصادر كثيرة	وصول قياسي قائم على الأدوار

إذا كانت معظم إجاباتك في العمود الأيسر، فابدأ بأدوات التحليلات من مورّد ERP أو بمستودع بيانات مُدار. ولمقارنة أدق، اقرأ مقاليّ المرتبطين Snowflake مقابل Databricks وDatabricks مقابل Microsoft Fabric.

وللتكلفة، راجع شرح تسعير Databricks. تحتسب Databricks الحوسبة بوحدات Databricks Units (DBUs)، بالدفع حسب الاستخدام أو بشروط الاستخدام الملتزم به، ويأتي التخزين السحابي والشبكات فوق ذلك.

قائمة تحقق للقرار

1. هل يمكنك تسمية ثلاثة قرارات عمل ستتغيّر إذا نجحت منصة البيانات؟ إن لم تستطع، فتوقف وحدّدها.
2. ما مصادر البيانات التي تحتاج إليها خارج ERP، وما حجمها؟
3. من يملك البيانات الرئيسية للعميل والمادة والمورّد ودليل الحسابات؟
4. ما قيودك في إقامة البيانات والسيادة وضوابط التصدير؟
5. هل لديك فريق هندسة بيانات، أو هل ستموّله على المدى الطويل؟
6. أي أداة لذكاء الأعمال ستبقى، وهل ستقرأ من Databricks SQL؟
7. من المسؤول عن إنفاق المنصة الشهري، وأي تنبيه يستدعي مراجعة؟
8. ما الذي ستوقفه عند تشغيل هذه المنصة؟ إذا كانت الإجابة لا شيء، فأنت تضيف تكلفة ولا توحّد شيئاً.

اختر حالة استخدام واحدة لها مالك عمل محدد بالاسم ومال حقيقي على المحك. في التصنيع غالباً ما تكون الهالك أو التوقف أو المخزون. ابنِها عبر الطبقات البرونزية والفضية والذهبية مع تفعيل حوكمة Unity Catalog من أول جدول.

قِس النتيجة وتكلفة التشغيل. ثم قرّر هل تتوسّع.

لن أبدأ بترحيل على مستوى المؤسسة كلها ولا بوكيل ذكاء اصطناعي. الحوكمة مكانها في ذلك البناء الأول، لا في مرحلة لاحقة؛ ويشرح دليلي لإطار حوكمة الذكاء الاصطناعي السبب.

إذا كنت تقارن Databricks بمنصات أخرى، أو تحاول تحديد موقعها بجوار SAP أو Oracle أو Dynamics 365، فأنا أقدّم استشارات مستقلة في هذه القرارات. ويمكنك التواصل معي هنا.

ما هي Databricks بعبارات بسيطة؟

Databricks منصة سحابية تخزّن فيها الشركات كميات كبيرة من البيانات وتنظّفها وتحلّلها، وتبني عليها التعلّم الآلي والذكاء الاصطناعي. تعمل على AWS وMicrosoft Azure وGoogle Cloud. فكّر فيها كورشة الهندسة الواقعة بين أنظمتك المصدر وتقاريرك ونماذجك وأدوات الذكاء الاصطناعي لديك.

هل Databricks قاعدة بيانات أم مستودع بيانات؟

كلاهما، جزئياً. Databricks SQL مستودع بيانات سحابي مبني على lakehouse، وLakebase قاعدة بيانات Postgres مُدارة للتطبيقات. وفي الأساس، توجد البيانات في جداول بصيغ مفتوحة على التخزين السحابي. وهي ليست نظام سجل معاملاتياً مثل ERP.

ما الفرق بين Databricks وSnowflake؟

كلتاهما تشغّل تحليلات SQL على بيانات سحابية. بدأت Databricks من هندسة البيانات والتعلّم الآلي على صيغ مفتوحة. وبدأت Snowflake كمستودع بيانات SQL مُدار. والاثنتان تتداخلان الآن بشكل كبير. يتوقف الاختيار الصحيح على أنواع بياناتك ومهاراتك وخططك في الذكاء الاصطناعي. وتتناول مقارنتي بين Snowflake وDatabricks ذلك بالتفصيل.

هل تحلّ Databricks محل SAP أو أنظمة ERP الأخرى؟

لا. يبقى ERP نظام السجل للمعاملات ودفتر الأستاذ. وتأخذ Databricks نسخاً من بيانات ERP، وتدمجها مع مصادر أخرى مثل بيانات المصانع والحساسات، وتقدّم التحليلات والذكاء الاصطناعي. ويمكن لعملاء SAP أيضاً استخدام SAP Databricks داخل SAP Business Data Cloud.

ما هي بنية medallion في Databricks؟

طريقة لتنظيم البيانات في ثلاث طبقات. تحتفظ البرونزية بالبيانات الخام كما وصلت. وتحتفظ الفضية بالسجلات المنظّفة والمتحقَّق منها. وتحتفظ الذهبية بجداول جاهزة للأعمال لأغراض التقارير والتعلّم الآلي والذكاء الاصطناعي. كل طبقة أكثر صقلاً من سابقتها، ويجب ألا يستهلك مستخدمو الأعمال سوى الذهبية.

هل استخدام Databricks مجاني؟

Databricks Free Edition مجانية للتعلّم والتجربة، مع حصص وقيود على الميزات، ولا يجوز استخدامها لأغراض تجارية. أما الاستخدام التجاري فيُحتسب حسب الاستهلاك بوحدات DBU، إما بالدفع حسب الاستخدام أو عبر عقد استخدام ملتزم به، ويأتي التخزين السحابي والشبكات فوق ذلك.