دمج Azure Synapse مع ClickHouse

متوافق مع ClickHouse

تُعد Azure Synapse خدمة تحليلات متكاملة تجمع بين البيانات الضخمة وعلوم البيانات ومستودعات البيانات، بما يتيح تحليل البيانات بسرعة وعلى نطاق واسع. ضمن Synapse، توفّر تجمّعات Spark عناقيد Apache Spark قابلة للتوسّع وعند الطلب، ما يتيح لك تنفيذ تحويلات بيانات معقّدة وتعلّم الآلة وعمليات التكامل مع الأنظمة الخارجية.

توضح هذه المقالة كيفية دمج ClickHouse Spark connector عند العمل باستخدام Apache Spark داخل Azure Synapse.

أضف تبعيات الموصل

يدعم Azure Synapse ثلاثة مستويات لإدارة الحزم:

الحزم الافتراضية
Spark pool مستوى
مستوى الجلسة

اتبع دليل Manage libraries for تجمّع Apache Spark واتبعه أيضًا إدارة المكتبات لـ تجمّع Apache Spark وأضف التبعيات المطلوبة التالية إلى تطبيق Spark الخاص بك:

clickhouse-spark-runtime-{spark_version}_{scala_version}-{connector_version}.jar - Maven الرسمي
clickhouse-jdbc-{java_client_version}-all.jar - Maven الرسمي

يُرجى الرجوع إلى وثائق مصفوفة توافق Spark Connector لمعرفة الإصدارات الأنسب لاحتياجاتك.

أضِف ClickHouse ككتالوج

توجد عدة طرق لإضافة إعدادات Spark إلى جلستك:

ملف إعدادات مخصص لتحميله مع جلستك
إضافة الإعدادات عبر واجهة مستخدم Azure Synapse
إضافة الإعدادات في دفتر ملاحظات Synapse

اتبع هذا الدليل إدارة إعدادات Apache Spark وأضف إعدادات Spark المطلوبة للموصل.

على سبيل المثال، يمكنك تهيئة جلسة Spark في دفتر ملاحظاتك باستخدام هذه الإعدادات:

%%configure -f
{
    "conf": {
        "spark.sql.catalog.clickhouse": "com.clickhouse.spark.ClickHouseCatalog",
        "spark.sql.catalog.clickhouse.host": "<clickhouse host>",
        "spark.sql.catalog.clickhouse.protocol": "https",
        "spark.sql.catalog.clickhouse.http_port": "<port>",
        "spark.sql.catalog.clickhouse.user": "<username>",
        "spark.sql.catalog.clickhouse.password": "password",
        "spark.sql.catalog.clickhouse.database": "default"
    }
}

تأكد من وجوده في الخلية الأولى كما يلي:

يرجى زيارة صفحة إعدادات Spark في ClickHouse للاطلاع على إعدادات إضافية.

التحقق من الإعداد

للتحقق من إعداد التبعيات وعمليات التكوين بنجاح، يُرجى زيارة Spark UI الخاصة بجلسة العمل، ثم الانتقال إلى علامة التبويب Environment. هناك، ابحث عن إعدادات ClickHouse ذات الصلة:

التحقق من إعدادات ClickHouse باستخدام Spark UI