إدخال البيانات من MySQL إلى ClickHouse (باستخدام CDC)

ميزة Beta

يوفّر MySQL ClickPipe طريقة مُدارة بالكامل وموثوقة لإدخال البيانات من قواعد بيانات MySQL وMariaDB إلى ClickHouse Cloud. وهو يدعم كلاً من التحميل المجمّع للإدخال لمرة واحدة والتقاط تغيّر البيانات (CDC) للإدخال المستمر.

يمكن نشر MySQL ClickPipes وإدارتها يدويًا باستخدام واجهة ClickPipes، وكذلك برمجيًا باستخدام OpenAPI وTerraform.

المتطلبات الأساسية

للبدء، عليك أولًا التأكد من أن قاعدة بيانات MySQL لديك مُعدّة بشكل صحيح للنسخ المتماثل لـ binlog. وتعتمد خطوات الإعداد على طريقة نشر MySQL، لذا يُرجى اتباع الدليل المناسب أدناه:

مصادر البيانات المدعومة

الاسم	الشعار	التفاصيل
Amazon RDS MySQL تحميل لمرة واحدة، CDC		اتبع دليل إعداد Amazon RDS MySQL.
Amazon Aurora MySQL تحميل لمرة واحدة، CDC		اتبع دليل إعداد Amazon Aurora MySQL.
Cloud SQL for MySQL تحميل لمرة واحدة، CDC		اتبع دليل إعداد Cloud SQL for MySQL.
Azure Flexible Server for MySQL تحميل لمرة واحدة		اتبع دليل إعداد Azure Flexible Server for MySQL.
MySQL ذاتي الاستضافة تحميل لمرة واحدة، CDC		اتبع دليل إعداد Generic MySQL.
Amazon RDS MariaDB تحميل لمرة واحدة، CDC		اتبع دليل إعداد Amazon RDS MariaDB.
MariaDB ذاتي الاستضافة تحميل لمرة واحدة، CDC		اتبع دليل إعداد Generic MariaDB.

بمجرد إعداد قاعدة بيانات MySQL المصدر، يمكنك متابعة إنشاء ClickPipe.

أنشئ ClickPipe الخاص بك

تأكد من أنك مسجّل الدخول إلى حساب ClickHouse Cloud الخاص بك. إذا لم يكن لديك حساب بعد، يمكنك التسجيل هنا.

في وحدة تحكم ClickHouse Cloud، انتقل إلى خدمة ClickHouse Cloud الخاصة بك.

من القائمة الجانبية اليسرى، اختر الزر Data Sources ثم انقر على "Set up a ClickPipe"

اختر بطاقة MySQL CDC

أضِف اتصال قاعدة بيانات MySQL المصدر

املأ تفاصيل الاتصال لقاعدة بيانات MySQL المصدر التي أعددتها في خطوة المتطلبات الأساسية.

(اختياري) تغيير إعدادات TLS

افتراضيًا، سيتم إنشاء ClickPipe مع تفعيل TLS والتحقق من الشهادة. ويمكن تعديل هذه الإعدادات الافتراضية عند إنشاء ClickPipe:

أو تعديلها من قسم إعدادات الاتصال ضمن علامة تبويب الإعدادات في ClickPipe المتوقّف مؤقتًا:

حيث:

Disable TLS يبدّل TLS للاتصال بين التفعيل والتعطيل. ويعني تعطيل TLS أن البيانات تُرسل كنص غير مشفّر عبر الشبكة، وقد يشمل ذلك الأسرار والبيانات الحساسة.
Skip certificate verification يبدّل التحقق من الشهادة التي تعرضها قاعدة البيانات المصدر بين التفعيل والتعطيل. يُرجى مراعاة الآثار الأمنية المترتبة على تخطي التحقق من الشهادة.
TLS Host (اختياري، والقيمة الافتراضية هي Host للمصدر) هو اسم المضيف الذي يجب أن يتطابق معه CN الخاص بالشهادة عند تفعيل التحقق من الشهادة.
Upload CA يمكن استخدامه لتوفير CA تُستخدم عند تفعيل التحقق من الشهادة.

(اختياري) إعداد نفق SSH

يمكنك تحديد تفاصيل نفق SSH إذا كانت قاعدة بيانات MySQL المصدر غير متاحة للعامة.

فعِّل مفتاح التبديل "استخدام نفق SSH".
املأ تفاصيل اتصال SSH.
لاستخدام المصادقة المستندة إلى المفتاح، انقر على "إبطال وإنشاء زوج مفاتيح" لإنشاء زوج مفاتيح جديد، ثم انسخ المفتاح العام الذي تم إنشاؤه إلى خادم SSH لديك ضمن ~/.ssh/authorized_keys.
انقر على "التحقق من الاتصال" للتحقق من الاتصال.

بعد إدخال تفاصيل الاتصال، انقر على Next.

ضبط الإعدادات المتقدمة

يمكنك ضبط الإعدادات المتقدمة عند الحاجة. يرد أدناه وصف موجز لكل إعداد:

فاصل المزامنة: هذا هو الفاصل الزمني الذي عنده سيقوم ClickPipes بالتحقق من قاعدة البيانات المصدر بحثًا عن التغييرات. ويؤثر ذلك في خدمة ClickHouse الوجهة، لذا نوصي المستخدمين الحريصين على التكلفة بالإبقاء على هذه القيمة مرتفعة (أكثر من 3600).
الخيوط المتوازية للتحميل الأولي: هذا هو عدد العاملين المتوازيين الذين سيُستخدمون لجلب اللقطة الأولية. ويكون ذلك مفيدًا عندما يكون لديك عدد كبير من الجداول وتريد التحكم في عدد العاملين المتوازيين المستخدمين لجلب اللقطة الأولية. يُطبَّق هذا الإعداد على مستوى كل جدول.
حجم دفعة السحب: عدد الصفوف التي سيتم جلبها في دفعة واحدة. هذا إعداد يُطبَّق بأفضل جهد، وقد لا تتم مراعاته في جميع الحالات.
عدد الصفوف لكل partition في اللقطة: هذا هو عدد الصفوف التي سيتم جلبها في كل partition أثناء اللقطة الأولية. ويكون ذلك مفيدًا عندما يكون لديك عدد كبير من الصفوف في جداولك وتريد التحكم في عدد الصفوف التي يتم جلبها في كل partition.
عدد الجداول في اللقطة بالتوازي: هذا هو عدد الجداول التي سيتم جلبها بالتوازي أثناء اللقطة الأولية. ويكون ذلك مفيدًا عندما يكون لديك عدد كبير من الجداول وتريد التحكم في عدد الجداول التي يتم جلبها بالتوازي.
معرّف الخادم: مَعلمة اختيارية لتعيين معرّف الخادم لنسخ MySQL المتماثل عبر binlog. إذا لم يتم تعيينه، فسينشئ ClickPipes معرّف خادم عشوائيًا قد يتغير على مدار دورة حياة ClickPipe. استخدمه لتحديد ClickPipe الخاص بك بشكل حتمي على جانب خادم MySQL المصدر.

إعداد الجداول

هنا يمكنك تحديد قاعدة البيانات الوجهة لـ ClickPipe. يمكنك إما اختيار قاعدة بيانات موجودة أو إنشاء قاعدة بيانات جديدة.
يمكنك اختيار الجداول التي تريد نسخها من قاعدة بيانات MySQL المصدر. وأثناء اختيار الجداول، يمكنك أيضًا إعادة تسمية الجداول في قاعدة بيانات ClickHouse الوجهة، بالإضافة إلى استبعاد أعمدة محددة.
بالإضافة إلى ذلك، يمكنك توفير تعبير مخصص PARTITION BY <expr> للتحكم في تقسيم جدول ClickHouse الوجهة.

راجع الأذونات وابدأ ClickPipe

اختر دور "الوصول الكامل" من قائمة الأذونات المنسدلة، ثم انقر على "إكمال الإعداد".

أخيرًا، يُرجى الرجوع إلى صفحة "الأسئلة الشائعة حول ClickPipes for MySQL" لمزيد من المعلومات عن المشكلات الشائعة وكيفية حلّها.

ما التالي؟

بعد إعداد ClickPipe لنسخ البيانات من MySQL إلى ClickHouse Cloud، يمكنك التركيز على كيفية الاستعلام عن بياناتك ونمذجتها لتحقيق أفضل أداء. للاطلاع على الأسئلة الشائعة حول MySQL CDC واستكشاف الأخطاء وإصلاحها، راجع صفحة الأسئلة الشائعة الخاصة بـ MySQL.