Set up docs MCPيوفّر BigQuery ClickPipe طريقة مُدارة بالكامل وموثوقة لإدخال البيانات من BigQuery إلى ClickHouse Cloud. وفي المعاينة الخاصة، يدعم أسلوب النسخ المتماثل عبر التحميل الأولي لمساعدتك على إجراء تحميل مجمّع لمجموعات بيانات BigQuery بهدف الاستكشاف وبناء النماذج الأولية. وسيجري دعم CDC في المستقبل — وحتى ذلك الحين، نوصي باستخدام Google Cloud Storage ClickPipe لمزامنة بيانات BigQuery المُصدَّرة إلى ClickHouse Cloud بشكل مستمر بعد اكتمال التحميل الأولي.
يمكن نشر BigQuery ClickPipes وإدارتها يدويًا باستخدام واجهة ClickPipes UI، وكذلك برمجيًا باستخدام OpenAPI وTerraform.
الميزات
التحميل الأولي
سيحمّل ClickPipe الخاص بـ BigQuery الجداول المحددة في مجموعة بيانات BigQuery إلى جداول الوجهة في ClickHouse ضمن عملية دفعية واحدة. وبمجرد اكتمال مهمة الإدخال، يتوقف ClickPipe تلقائيًا. وتتطلب عملية إدخال التحميل الأولي حاوية Google Cloud Storage (GCS) يوفّرها المستخدم لاستخدامها كمنطقة مرحلية. في المستقبل، ستوفّر ClickPipes الحاوية الوسيطة وتتولى إدارتها.
CDC (التقاط بيانات التغيير)
CDC غير متاح في المعاينة الخاصة حاليًا، لكنه سيكون مدعومًا في المستقبل. وحتى ذلك الحين، نوصي باستخدام Google Cloud Storage ClickPipe لمزامنة بيانات BigQuery المُصدَّرة إلى ClickHouse Cloud بشكل مستمر بعد اكتمال التحميل الأولي.
تعيين أنواع البيانات
| نوع بيانات BigQuery | نوع بيانات ClickHouse | التفاصيل |
|---|---|---|
BOOL |
Bool |
|
INT64 |
Int64 |
|
FLOAT64 |
Float64 |
|
NUMERIC |
Decimal(P, S) |
دقة تصل إلى 38، ومقياس يصل إلى 9، مع الحفاظ على الدقة/المقياس. |
BIGNUMERIC |
Decimal(P, S) |
دقة تصل إلى 76، ومقياس يصل إلى 38، مع الحفاظ على الدقة/المقياس. |
STRING |
String |
|
BYTES |
String |
|
JSON |
String (JSON) |
|
DATE |
Date |
|
TIME |
String |
بدقة ميكروثانية. |
DATETIME |
DateTime |
بدقة ميكروثانية. |
TIMESTAMP |
DateTime64(6) |
بدقة ميكروثانية. |
GEOGRAPHY |
String |
|
GEOMETRY |
String |
|
UUID |
String |
|
ARRAY<T> |
Array(T) |
|
ARRAY<DATE> |
Array(Date) |
|
STRUCT (RECORD) |
String |
التحكم في الوصول
المصادقة
بيانات اعتماد حساب الخدمة
يُجري ClickPipes المصادقة على مشروعك في Google Cloud باستخدام مفتاح حساب الخدمة. نوصي بإنشاء حساب الخدمة مخصّص بأقل مجموعة مطلوبة من الأذونات للسماح لـ ClickPipes بتصدير البيانات من BigQuery، وتحميلها إلى حاوية GCS مرحلية، ثم قراءتها إلى ClickHouse.
الأذونات
BigQuery
يجب أن يتضمن حساب الخدمة أدوار BigQuery التالية:
ولزيادة تقييد نطاق الوصول، نوصي باستخدام شروط IAM لتقييد الموارد التي يمكن للدور الوصول إليها. على سبيل المثال، يمكنك قصر دور dataViewer على مجموعة البيانات المحددة التي تحتوي على الجداول التي تريد مزامنتها:
resource.name.startsWith("projects/<PROJECT_ID>/datasets/<DATASET_NAME>")Cloud Storage
يجب أن يكون لدى حساب الخدمة أدوار Cloud Storage التالية:
لتضييق نطاق الوصول بشكل أكبر، نوصي باستخدام شروط IAM لتقييد الموارد التي يمكن للدور الوصول إليها. على سبيل المثال، يمكنك تقييد الدورين objectAdmin وbucketViewer ليقتصرا على الحاوية المخصصة التي أُنشئت لمزامنات ClickPipes.
resource.name.startsWith("projects/_/buckets/<BUCKET_NAME>")