التكامل مع ClickHouse Cloud

نظرة عامة

ClickPipes هي منصة تكامل مُدارة تجعل إدخال البيانات من مجموعة متنوعة من المصادر سهلًا بقدر النقر على بضعة أزرار. وقد صُممت لأكثر أعباء العمل تطلبًا، وتضمن البنية القوية والقابلة للتوسع في ClickPipes أداءً متسقًا وموثوقية عالية. ويمكن استخدام ClickPipes لإدخال البيانات المستمر أو لتحميل البيانات لمرة واحدة.

يمكن نشر ClickPipes وإدارتها باستخدام ClickPipes UI، وكذلك برمجيًا باستخدام OpenAPI وTerraform.

الموصلات

ClickPipes for البث

الموصل	دورة حياة الميزة	مصادر البيانات
Kafka	GA	Apache Kafka، وConfluent Cloud، وRedpanda، وAWS MSK، وGoogle Cloud Managed Service for Apache Kafka، وAzure Event Hubs، وWarpStream، ومصادر بيانات أخرى متوافقة مع واجهة برمجة تطبيقات Kafka.
Amazon Kinesis	GA
GCP Pub/Sub	معاينة خاصة

ClickPipes لـ Object Storage

الموصل	دورة حياة الميزة	مصادر البيانات
Amazon S3	GA	Amazon S3، وCloudflare R2، وDigitalOcean Spaces، وOVH Object Storage، وغيرها من مصادر البيانات المتوافقة مع واجهة برمجة تطبيقات S3.
Google Cloud Storage	GA
Azure Blob Storage	GA

ClickPipes لـ CDC

الموصل	دورة حياة الميزة	مصادر البيانات
Postgres	GA	Amazon RDS، Amazon Aurora، Google Cloud SQL، AlloyDB، Azure Flexible Server، Supabase، Neon، Crunchy Bridge، TimescaleDB، PlanetScale، ذاتية الإدارة، ومصادر بيانات متوافقة أخرى.
MySQL	Public Beta	Amazon RDS، Amazon Aurora، Cloud SQL، Azure Flexible Server، MySQL ذاتي الإدارة، Amazon RDS لـ MariaDB، MariaDB ذاتية الإدارة، ومصادر بيانات متوافقة أخرى.
MongoDB	Public Beta	MongoDB Atlas، Amazon DocumentDB، ذاتية الإدارة، ومصادر بيانات متوافقة أخرى.
BigQuery	معاينة خاصة

ستُضاف المزيد من الموصلات إلى ClickPipes، ويمكنك معرفة المزيد عبر التواصل معنا.

مصادقة قاعدة البيانات عبر AWS IAM

يدعم ClickPipes مصادقة قاعدة البيانات عبر AWS IAM لكلٍّ من Amazon RDS وAurora. يختلف الإعداد حسب محرك قاعدة البيانات وخدمة AWS، لذا اختر دليل إعداد المصدر المطابق لقاعدة بياناتك:

محرك قاعدة البيانات	خدمة AWS	دليل الإعداد
PostgreSQL	Amazon RDS	RDS for PostgreSQL
PostgreSQL	Amazon Aurora	Aurora PostgreSQL-Compatible Edition
MySQL	Amazon RDS	RDS for MySQL
MySQL	Amazon Aurora	Aurora MySQL-Compatible Edition
MariaDB	Amazon RDS	RDS for MariaDB

قائمة عناوين IP الثابتة

نُقلت قائمة عناوين IP الثابتة لـ NAT الخاصة بـ ClickPipes إلى وثائق شبكة ClickPipes.

ضبط إعدادات ClickHouse

يوفّر ClickHouse Cloud إعدادات افتراضية مناسبة لمعظم حالات الاستخدام. لكن إذا كنت بحاجة إلى تعديل بعض إعدادات ClickHouse لجداول الوجهة الخاصة بـ ClickPipes، فإن تخصيص دور لـ ClickPipes هو الحل الأكثر مرونة. الخطوات:

أنشئ دورًا مخصصًا CREATE ROLE my_clickpipes_role SETTINGS .... راجع بناء جملة CREATE ROLE لمزيد من التفاصيل.
أضف الدور المخصص إلى مستخدم ClickPipes في خطوة Details and Settings أثناء إنشاء ClickPipes.

ضبط الإعدادات المتقدمة في ClickPipes

يوفّر ClickPipes إعدادات افتراضية مناسبة تلبّي متطلبات معظم حالات الاستخدام. وإذا كانت حالة الاستخدام لديك تتطلب مزيدًا من التخصيص، فيمكنك تعديل الإعدادات التالية:

إعدادات تخزين الكائنات ClickPipes المتقدمة

الإعداد	القيمة الافتراضية	الوصف
`Max insert bytes`	10 GB	عدد البايتات التي تتم معالجتها في دفعة إدراج واحدة.
`Max file count`	100	الحد الأقصى لعدد الملفات التي تتم معالجتها في دفعة إدراج واحدة.
`Max threads`	auto(3)	الحد الأقصى لعدد الخيوط المتزامنة لمعالجة الملفات.
`Max insert threads`	1	الحد الأقصى لعدد خيوط الإدراج المتزامنة لمعالجة الملفات.
`Min insert block size bytes`	1 GB	الحد الأدنى لحجم البايتات في الكتلة التي يمكن إدراجها في جدول.
`Max download threads`	4	الحد الأقصى لعدد خيوط التنزيل المتزامنة.
`Object storage polling interval`	30 s	يضبط الحد الأقصى لفترة الانتظار قبل إدراج البيانات في عنقود ClickHouse.
`Parallel distributed insert select`	2	إعداد Parallel distributed insert select.
`Parallel view processing`	false	ما إذا كان سيتم تمكين الدفع إلى العروض المرفقة بالتوازي بدلًا من التسلسل.
`Use cluster function`	true	ما إذا كانت الملفات ستُعالَج بالتوازي عبر عدة عُقد.

ClickPipes للبث

الإعداد	القيمة الافتراضية	الوصف
`Streaming max insert wait time`	5 s	يحدّد الحد الأقصى لمدة الانتظار قبل إدراج البيانات في عنقود ClickHouse.

الإبلاغ عن الأخطاء

سيخزّن ClickPipes الأخطاء في جدولين منفصلين بحسب نوع الخطأ الذي تتم مواجهته أثناء عملية الإدخال.

أخطاء السجلات

ستنشئ ClickPipes جدولًا بجوار جدول الوجهة لديك باللاحقة <destination_table_name>_clickpipes_error. سيحتوي هذا الجدول على أي أخطاء ناتجة عن بيانات غير سليمة التنسيق أو عن عدم تطابق في المخطط، وسيتضمن الرسالة غير الصالحة بالكامل. لهذا الجدول TTL مدتها 7 أيام.

أخطاء النظام

ستُخزَّن الأخطاء المتعلقة بتشغيل ClickPipe في جدول system.clickpipes_log. وسيحتفظ هذا الجدول بجميع الأخطاء الأخرى المرتبطة بتشغيل ClickPipe الخاص بك (مثل أخطاء الشبكة والاتصال وغيرها). ويبلغ TTL لهذا الجدول 7 أيام.

إذا تعذّر على ClickPipes الاتصال بمصدر البيانات بعد 15 دقيقة، أو بالوجهة بعد ساعة واحدة، فسيتوقف مثيل ClickPipes ويخزّن رسالة مناسبة في جدول أخطاء النظام (بشرط أن يكون مثيل ClickHouse متاحًا).

المراقبة

بالإضافة إلى المراقبة داخل Console، يوفّر ClickPipes مقاييس عبر endpoint متوافق مع Prometheus ليتم scraping لها. تُنشر هذه المقاييس مع مقاييس خدمة ClickHouse Cloud الأخرى، وتتيح لك دمج مراقبة ClickPipes مع منظومة observability الحالية لديك (على سبيل المثال، Grafana، Datadog). راجع Monitoring ClickPipes للاطلاع على القائمة الكاملة بالمقاييس المتاحة.

الأسئلة الشائعة

ما هي ClickPipes؟

ClickPipes هي ميزة في ClickHouse Cloud تُسهّل عليك ربط خدمات ClickHouse بمصادر البيانات الخارجية، وتحديدًا Kafka. وباستخدام ClickPipes for Kafka، يمكنك تحميل البيانات إلى ClickHouse باستمرار وبسهولة، لتصبح متاحة للتحليلات اللحظية.
هل تدعم ClickPipes تحويل البيانات؟

نعم، تدعم ClickPipes التحويل الأساسي للبيانات عبر إتاحة إنشاء DDL. بعد ذلك، يمكنك تطبيق تحويلات أكثر تقدمًا على البيانات أثناء تحميلها إلى جدول الوجهة في خدمة ClickHouse Cloud، بالاستفادة من ميزة العروض المادية في ClickHouse.
هل يترتب على استخدام ClickPipes تكلفة إضافية؟

تُحتسب تكلفة ClickPipes بناءً على بُعدين: Ingested Data وCompute. تتوفر التفاصيل الكاملة للأسعار في هذه الصفحة. وقد يؤدي تشغيل ClickPipes أيضًا إلى تكلفة غير مباشرة للحوسبة والتخزين على خدمة ClickHouse Cloud الوجهة، كما هو الحال مع أي حمل استيعاب.
هل توجد طريقة للتعامل مع الأخطاء أو حالات الفشل عند استخدام ClickPipes for Kafka؟

نعم، سيُعيد ClickPipes for Kafka المحاولة تلقائيًا عند حدوث حالات فشل أثناء استهلاك البيانات من Kafka بسبب أي مشكلة تشغيلية، بما في ذلك مشكلات الشبكة أو الاتصال وغيرها. وفي حال كانت البيانات غير صحيحة التنسيق أو كان المخطط غير صالح، فسيخزّن ClickPipes السجل في جدول record_error ويواصل المعالجة.