ربط BladePipe بـ ClickHouse

تكامل شريك

BladePipe هي أداة تكامل بيانات شاملة من البداية إلى النهاية في الوقت الفعلي، بزمن استجابة يقل عن ثانية، ما يضمن تدفقًا سلسًا للبيانات عبر المنصات.

يُعد ClickHouse أحد الموصلات الجاهزة في BladePipe، ما يتيح للمستخدمين دمج البيانات من مصادر متعددة في ClickHouse تلقائيًا. توضّح هذه الصفحة كيفية تحميل البيانات إلى ClickHouse في الوقت الفعلي خطوة بخطوة.

المصادر المدعومة

يدعم BladePipe حاليًا تكامل البيانات مع ClickHouse من المصادر التالية:

MySQL/MariaDB/AuroraMySQL
Oracle
PostgreSQL/AuroraPostgreSQL
MongoDB
Kafka
PolarDB-MySQL
OceanBase
TiDB

سيجري دعم المزيد من المصادر لاحقًا.

تنزيل وتشغيل BladePipe

سجّل الدخول إلى BladePipe Cloud.
اتبع التعليمات الواردة في تثبيت Worker (Docker) أو تثبيت Worker (الملف التنفيذي) لتنزيل Worker من BladePipe وتثبيته.

أضِف ClickHouse كوجهة

في BladePipe، انقر على "DataSource" > "Add DataSource".
اختر ClickHouse، ثم املأ الإعدادات بإدخال مضيف ClickHouse والمنفذ واسم المستخدم وكلمة المرور، ثم انقر على "Test Connection".
انقر على "Add DataSource" في الأسفل، وستتم إضافة مثيل ClickHouse.

إضافة MySQL كمصدر

في هذا الدليل العملي، نستخدم مثيل MySQL كمصدر، ونشرح عملية تحميل بيانات MySQL إلى ClickHouse.

في BladePipe، انقر على "DataSource" > "Add DataSource".
حدِّد MySQL، ثم املأ الإعدادات بإدخال مضيف MySQL والمنفذ واسم المستخدم وكلمة المرور، ثم انقر على "Test Connection".
انقر على "Add DataSource" في الأسفل، وستتم إضافة مثيل MySQL.

إنشاء مسار معالجة

في BladePipe، انقر على "DataJob" > "Create DataJob".
حدِّد مثيلَي MySQL وClickHouse اللذين تمت إضافتهما، ثم انقر على "Test Connection" للتأكد من اتصال BladePipe بهما. بعد ذلك، حدِّد قواعد البيانات المطلوب نقلها.
حدِّد "Incremental" كنوع DataJob، مع خيار "Full Data".
حدِّد الجداول المطلوب نسخها.
حدِّد الأعمدة المطلوب نسخها.
أكِّد إنشاء DataJob، وسيبدأ تشغيله تلقائيًا.

تحقّق من البيانات

أوقف كتابة البيانات في مثيل MySQL وانتظر حتى يُكمل ClickHouse دمج البيانات.

أنشئ DataJob للتحقق. بعد اكتمال DataJob للتحقق، راجع النتائج للتأكد من أن البيانات في ClickHouse مطابقة للبيانات في MySQL.