ربط Apache NiFi بـ ClickHouse

للاتصال بـ ClickHouse باستخدام HTTP(S)، تحتاج إلى المعلومات التالية:

تتوفر تفاصيل خدمة ClickHouse Cloud الخاصة بك في ClickHouse Cloud console. حدِّد خدمة ثم انقر على Connect:

اختر HTTPS. ستظهر تفاصيل الاتصال في مثال لأمر curl.

إذا كنت تستخدم ClickHouse مُدارًا ذاتيًا، فسيُحدِّد مسؤول ClickHouse لديك تفاصيل الاتصال.

لإعداد جديد، نزِّل الملف التنفيذي من https://nifi.apache.org/download.html ثم ابدأ بتشغيل ./bin/nifi.sh start

1. انتقل إلى صفحة إصدارات برنامج تشغيل ClickHouse JDBC على GitHub وابحث عن أحدث إصدار من JDBC
2. ضمن هذا الإصدار، انقر على "Show all xx assets" ثم ابحث عن ملف JAR الذي يحتوي على الكلمة المفتاحية "shaded" أو "all"، مثل clickhouse-jdbc-0.5.0-all.jar
3. ضع ملف JAR في مجلد يمكن لـ Apache NiFi الوصول إليه، ودوّن المسار المطلق

1. لتهيئة خدمة وحدة تحكم في Apache NiFi، انتقل إلى صفحة تهيئة تدفق NiFi بالنقر على زر "الترس"

   

2. حدِّد علامة تبويب خدمات وحدة التحكم، ثم أضِف خدمة وحدة تحكم جديدة بالنقر على زر + في أعلى اليمين

   

3. ابحث عن DBCPConnectionPool وانقر على زر "إضافة"

   

4. ستكون DBCPConnectionPool المضافة حديثًا في حالة غير صالحة افتراضيًا. انقر على زر "الترس" لبدء التهيئة

   

5. ضمن قسم "الخصائص"، أدخل القيم التالية

6. في قسم الإعدادات، غيِّر اسم خدمة وحدة التحكم إلى "ClickHouse JDBC" لتسهيل الرجوع إليها

   

7. فعِّل خدمة وحدة التحكم DBCPConnectionPool بالنقر على زر "البرق" ثم زر "تمكين"

   

   
   

   

8. تحقّق من علامة تبويب خدمات وحدة التحكم وتأكد من أن خدمة وحدة التحكم مُمكَّنة

   

1. أضف المعالج ​​ExecuteSQL، إلى جانب المعالجات المناسبة السابقة واللاحقة

   

2. ضمن قسم "Properties" في المعالج ​​ExecuteSQL، أدخل القيم التالية

   Property	Value	Remark
   Database Connection Pooling Service	ClickHouse JDBC	اختر خدمة وحدة التحكم المُعدّة لـ ClickHouse
   SQL select query	SELECT * FROM system.metrics	أدخل الاستعلام هنا

3. ابدأ المعالج ​​ExecuteSQL

   

4. للتأكد من أن الاستعلام قد تمت معالجته بنجاح، افحص أحد عناصر FlowFile في قائمة انتظار الإخراج

   

5. بدّل العرض إلى "formatted" لعرض نتيجة FlowFile الناتج

   

1. لكتابة عدة صفوف في عملية insert واحدة، نحتاج أولاً إلى دمج عدة سجلات في سجل واحد. يمكن تنفيذ ذلك باستخدام المعالج MergeRecord

2. ضمن قسم "الخصائص" في المعالج MergeRecord، أدخل القيم التالية

   الخاصية	القيمة	ملاحظة
   قارئ السجل	JSONTreeReader	اختر قارئ السجلات المناسب
   كاتب السجل	JSONReadSetWriter	اختر كاتب السجلات المناسب
   الحد الأدنى لعدد السجلات	1000	غيّر هذه القيمة إلى رقم أكبر بحيث يُدمج حد أدنى من الصفوف لتكوين سجل واحد. القيمة الافتراضية هي صف واحد
   الحد الأقصى لعدد السجلات	10000	غيّر هذه القيمة إلى رقم أكبر من "الحد الأدنى لعدد السجلات". القيمة الافتراضية هي 1,000 صف

3. للتأكد من دمج عدة سجلات في سجل واحد، افحص المدخلات والمخرجات الخاصة بالمعالج MergeRecord. لاحظ أن المخرجات عبارة عن مصفوفة تضم عدة سجلات إدخال

   الإدخال

   

   المخرجات

   

4. ضمن قسم "الخصائص" في المعالج PutDatabaseRecord، أدخل القيم التالية

   الخاصية	القيمة	ملاحظة
   قارئ السجل	JSONTreeReader	اختر قارئ السجلات المناسب
   نوع قاعدة البيانات	Generic	اتركها كقيمة افتراضية
   نوع العبارة	INSERT
   خدمة تجميع اتصالات قاعدة البيانات	ClickHouse JDBC	اختر خدمة وحدة التحكم الخاصة بـ ClickHouse
   اسم الجدول	tbl	أدخل اسم الجدول هنا
   ترجمة أسماء الحقول	false	اضبطها على "false" بحيث يجب أن تتطابق أسماء الحقول المُدرجة مع اسم العمود
   الحد الأقصى لحجم الدفعة	1000	الحد الأقصى لعدد الصفوف لكل عملية insert. يجب ألا تكون هذه القيمة أقل من قيمة "الحد الأدنى لعدد السجلات" في المعالج MergeRecord

5. للتأكد من أن كل عملية insert تحتوي على عدة صفوف، تحقق من أن عدد الصفوف في الجدول يزداد بمقدار لا يقل عن قيمة "الحد الأدنى لعدد السجلات" المحددة في MergeRecord.

   

6. تهانينا! لقد حمّلت بياناتك بنجاح إلى ClickHouse باستخدام Apache NiFi!