مرجع

الاسم	الشعار	النوع	الحالة	الوصف
Apache Kafka		البث	مستقر	هيّئ ClickPipes وابدأ باستيعاب بيانات البث من Apache Kafka إلى ClickHouse Cloud.
Confluent Cloud		البث	مستقر	استفد من الإمكانات المشتركة لـ Confluent وClickHouse Cloud من خلال تكاملنا المباشر.
Redpanda		البث	مستقر	هيّئ ClickPipes وابدأ باستيعاب بيانات البث من Redpanda إلى ClickHouse Cloud.
AWS MSK		البث	مستقر	هيّئ ClickPipes وابدأ باستيعاب بيانات البث من AWS MSK إلى ClickHouse Cloud.
Azure Event Hubs		البث	مستقر	هيّئ ClickPipes وابدأ باستيعاب بيانات البث من Azure Event Hubs إلى ClickHouse Cloud.
WarpStream		البث	مستقر	هيّئ ClickPipes وابدأ باستيعاب بيانات البث من WarpStream إلى ClickHouse Cloud.

يحدد مستوى عزل مستهلك Kafka ما إذا كان ClickPipe يقرأ ويُدرج الرسائل التي تم تثبيتها ضمن معاملات Kafka فقط. فعّل إعداد kafka_read_committed لاستخدام read_committed وتخطي الرسائل الناتجة عن معاملات Kafka المُجهضة. عطّله لاستخدام read_uncommitted وقراءة جميع الرسائل. يمكنك تهيئة هذا الإعداد ضمن الإعدادات المتقدمة.

التنسيقات المدعومة هي:

• JSON
• AvroConfluent
• Protobuf

أنواع بيانات ClickHouse القياسية التالية مدعومة حاليًا في ClickPipes:

• الأنواع الرقمية الأساسية - [U]Int8/16/32/64 و Float32/64 و BFloat16
• أنواع الأعداد الصحيحة الكبيرة - [U]Int128/256
• Decimal Types
• Boolean
• String
• FixedString
• Date و Date32
• DateTime و DateTime64 (مناطق زمنية UTC فقط)
• Enum8/Enum16
• معرّف UUID
• IPv4
• IPv6
• Time و Time64
• JSON
• جميع أنواع LowCardinality في ClickHouse
• Map بمفاتيح وقيم تستخدم أيًا من الأنواع المذكورة أعلاه (بما في ذلك Nullable)
• Tuple و Array بعناصر تستخدم أيًا من الأنواع المذكورة أعلاه (بما في ذلك Nullable، وبعمق مستوى واحد فقط)
• أنواع SimpleAggregateFunction (لوجهات AggregatingMergeTree أو SummingMergeTree)

يدعم ClickPipes نوع Variant في الحالات التالية:

• اتحادات Avro. إذا كان مخطط Avro لديك يحتوي على union يضم عدة أنواع غير NULL، فسيستنتج ClickPipes نوع Variant المناسب. بخلاف ذلك، لا تكون أنواع Variant مدعومة في بيانات Avro.
• حقول JSON. يمكنك تحديد نوع Variant يدويًا (مثل Variant(String, Int64, DateTime)) لأي حقل JSON في مصدر تدفق البيانات. لا تُدعَم الأنواع الفرعية المعقدة (arrays/maps/tuples). بالإضافة إلى ذلك، ونظرًا للطريقة التي يحدد بها ClickPipes النوع الفرعي الصحيح من Variant الذي يجب استخدامه، لا يمكن استخدام أكثر من نوع عدد صحيح واحد أو نوع DateTime واحد في تعريف Variant — على سبيل المثال، Variant(Int64, UInt32) غير مدعوم.

تدعم ClickPipes نوع JSON في الحالات التالية:

• يمكن دائمًا إسناد حقول Avro Record وProtobuf Message إلى عمود JSON.
• يمكن إسناد حقول Avro String وBytes إلى عمود JSON إذا كان حقل Avro يحتوي فعليًا على كائنات JSON مخزنة كسلاسل نصية.
• يمكن إسناد أنواع Protobuf String وBytes إلى عمود JSON إذا كان حقل Protobuf يحتوي فعليًا على كائنات JSON مخزنة كسلاسل نصية.
• يمكن إسناد حقول JSON التي تكون دائمًا كائنات JSON إلى عمود JSON في الوجهة.

لاحظ أنك ستحتاج إلى تغيير عمود الوجهة يدويًا إلى نوع JSON المطلوب، بما في ذلك أي مسارات ثابتة أو متخطاة.

تدعم ClickPipes جميع أنواع Avro البدائية والمركبة، وجميع أنواع Avro المنطقية باستثناء local-timestamp-millis وlocal_timestamp-micros. تُحوَّل أنواع Avro record إلى Tuple، وأنواع array إلى Array، وmap إلى Map (بمفاتيح نصية فقط). وبوجه عام، تتوفر التحويلات المذكورة هنا. نوصي باستخدام المطابقة الدقيقة للأنواع الرقمية في Avro، لأن ClickPipes لا تتحقق من تجاوز السعة أو فقدان الدقة عند تحويل الأنواع. وبدلاً من ذلك، يمكن إدراج جميع أنواع Avro في عمود String، وستُمثَّل في هذه الحالة كسلسلة JSON صالحة.

تُعرَّف أنواع Nullable في Avro باستخدام مخطط اتحاد بالشكل (T, null) أو (null, T)، حيث إن T هو نوع Avro الأساسي. أثناء استنتاج المخطط، تُربَط أنواع اتحاد هذه بعمود "Nullable" في ClickHouse. لاحظ أن ClickHouse لا يدعم الأنواع Nullable(Array) وNullable(Map) وNullable(Tuple). ستُحوَّل اتحادات null في Avro لهذه الأنواع إلى إصدارات غير Nullable (وتُحوَّل أنواع Avro Record إلى Tuple مُسمّى في ClickHouse). وستُدرَج قيم Avro "nulls" لهذه الأنواع على النحو التالي:

• Array فارغة لصفيف Avro null
• Map فارغة لـ Avro Map null
• Tuple مُسمّى تحتوي على جميع القيم الافتراضية/الصفرية لـ Avro Record null

يدعم ClickPipes جميع أنواع Protobuf 2 و3، باستثناء النوع group في proto 2، وهو نوع أُعلن عن إهماله منذ وقت طويل. وتستخدم تحويلات الأنواع الأساسية عمليات التحويل التالية:

الأنواع الشائعة المعروفة التالية مدعومة أيضًا:

أثناء استنتاج المخطط، تُربَط حقول Protobuf oneof افتراضيًا بـ Tuple مُسمّى، بحيث لا يحمل قيمة غير افتراضية سوى حقل واحد كحد أقصى. ويمكن أيضًا ربط هذه الحقول تلقائيًا بعمود Variant، بحيث تأخذ القيمة النشطة نوع الحقل المكوّن الذي جرى تعيينه. وبدلاً من ذلك، يمكن ربط كل حقل مكوّن يدويًا بعمود ClickHouse خاص به؛ ونظرًا إلى أن حقول oneof متنافية فيما بينها، فلن يُملأ لكل سجل سوى عمود واحد.

إذا كان مخطط Protobuf المعرّف لـ ClickPipe على المستوى الأعلى يحتوي على حقل متكرر واحد يكون بحد ذاته رسالة protobuf، فسيعتمد استنتاج المخطط وتعيين الأعمدة على حقل الرسالة "المضمَّنة". وستُعالَج رسالة Kafka على أنها قائمة من هذه الرسائل، كما ستُفكَّك رسالة Kafka واحدة إلى عدة صفوف في ClickHouse.

الأعمدة الافتراضية التالية مدعومة لمصادر البيانات المتدفقة المتوافقة مع Kafka. عند إنشاء وجهة جديدة، يمكن إضافة الأعمدة الافتراضية إلى الجدول الهدف باستخدام الزر Add Column.

لاحظ أن العمود _raw_message يُوصى به فقط لبيانات JSON. وفي حالات الاستخدام التي تكون فيها سلسلة JSON فقط هي المطلوبة (مثل استخدام دوال ClickHouse JsonExtract* من أجل ملء عرض مادي لاحق)، قد يؤدي حذف جميع الأعمدة "غير الافتراضية" إلى تحسين أداء ClickPipes.

تؤدي مطابقة _key بعمود String إلى تخزين مفتاح رسالة Kafka الأصلي. تتجاوز هذه المطابقة فك ترميز المفتاح والبحث عن المخطط. لاستخراج الحقول من مفتاح مهيكل، طابِق حقول المصدر التي تبدأ بـ _key.. على سبيل المثال، لمفتاح JSON ‏{"customer":{"id":42}}، طابِق _key.customer.id بعمود وجهة مثل customer_id.

بالنسبة إلى مطابقات _key.* أو المطابقة المباشرة لـ _key بنوع غير String، يتحقق ClickPipes أولاً مما إذا كان المفتاح مُرمَّزًا باستخدام سجل المخططات المُهيأ. وإذا لم يكن كذلك، يتحقق مما إذا كان المفتاح كائن JSON. يجب أن يستخدم المفتاح المُرمَّز عبر السجل التنسيق نفسه وعائلة السجل نفسها التي تستخدمها قيمة السجل، لكنه قد يستخدم معرّف مخطط مختلفًا. تُكتشف تغييرات مخطط المفتاح تلقائيًا.

عند تمكين فك الترميز، لا تملأ المفاتيح الخام وقيم JSON القياسية أو المصفوفات أو JSON غير الصالح حقول المفاتيح المتداخلة؛ وتتلقى أعمدة الوجهة القيم الافتراضية لنوعها. إذا تعرّف ClickPipes على مفتاح مُرمَّز عبر السجل، لكنه لم يتمكن من استرداد مخططه أو تطبيقه، فإنه يكتب سجل Kafka في جدول أخطاء ClickPipes.

يمكن أن يكون لمفتاح Avro أيضًا مخطط جذر غير سجل، مثل نوع بدائي أو مصفوفة أو خريطة أو نوع ثابت. لفك ترميز أحدها، طابِق _key مباشرةً بنوع وجهة متوافق غير String. لا تستطيع المخططات غير السجل ملء حقول المفاتيح المتداخلة.