رحّل بيانات PostgreSQL باستخدام مصادر البيانات في ClickPipes

يوفّر ClickHouse Cloud الآن ClickPipes لترحيل قاعدة بيانات PostgreSQL الخارجية لديك إلى خدمة Managed Postgres. يوفّر هذا التكامل المضمّن تجربة سلسة للاتصال بقاعدة البيانات المصدر، وتصدير المخطط، واستيراده إلى Managed Postgres، وإعداد النسخ المتماثل المستمر.

• إمكانية الوصول إلى قاعدة بيانات PostgreSQL المصدر باستخدام مستخدم لديه صلاحيات النسخ المتماثل. اتبع دليل الإعداد الخاص بالمصدر الذي تستخدمه:
  • Amazon RDS Postgres
  • Amazon Aurora Postgres
  • Supabase Postgres
  • Google Cloud SQL Postgres
  • Azure Flexible Server for Postgres
  • Neon Postgres
  • Crunchy Bridge Postgres
  • TimescaleDB
  • مصدر Postgres عام لأي مزوّد آخر أو لأي مثيل مستضاف ذاتيًا
• خدمة ClickHouse Managed Postgres لتكون هدف الترحيل. إذا لم تكن لديك واحدة بعد، فراجع دليل البدء السريع.
• يجب أن يكون pg_dump وpsql مثبَّتين على جهازك المحلي. يأتي كلاهما ضمن أدوات PostgreSQL client القياسية.

• نشر تغييرات DDL: يلتقط النسخ المتماثل المستمر (CDC) عمليات DML وADD COLUMN. أما تغييرات DDL الأخرى، مثل DROP COLUMN وALTER COLUMN، فلا تُنقل ويجب تطبيقها يدويًا على النظام الهدف.

افتح ClickHouse Cloud console وحدد خدمة Managed Postgres الخاص بك.

في الشريط الجانبي الأيسر، انقر على مصادر البيانات.

انقر على بدء الاستيراد.

أدخِل تفاصيل الاتصال بقاعدة بيانات PostgreSQL المصدر: المضيف، والمنفذ، واسم المستخدم، وكلمة المرور، واسم قاعدة البيانات. فعِّل TLS إذا كان المصدر يتطلب ذلك.

إذا كنت بحاجة إلى اتصال خاص بقاعدة البيانات المصدر، يمكنك اختيار SSH tunneling وتقديم تفاصيل SSH اللازمة. يتيح ذلك لعملية الترحيل الاتصال بأمان بقواعد البيانات غير المتاحة علنًا.

اختر طريقة الإدخال:

• التحميل الأولي + CDC — ينسخ البيانات الحالية، ثم يُبقي الوجهة متزامنة مع التغييرات المستمرة.
• التحميل الأولي فقط — نسخة لمرة واحدة، من دون نسخ متماثل مستمر.
• CDC فقط — يتخطى النسخة الأولية ويُجري نسخًا متماثلًا للتغييرات الجديدة فقط بدءًا من هذه النقطة.

انقر على التالي.

عند اختيار هذا الخيار، يسحب ClickPipe تلقائيًا مخطط قاعدة البيانات المصدر ويطبّقه على خدمة Managed Postgres لديك خلال مرحلة الإعداد من ClickPipe بعد إنشائه.

تفترض هذه الميزة أن قاعدة البيانات الهدف فارغة، لأنها تسحب جميع كائنات قاعدة البيانات من قاعدة البيانات المصدر، بغض النظر عن الجداول التي تحددها لاحقًا في المعالج. إذا كانت قاعدة البيانات الهدف تحتوي على بيانات مسبقًا، أو كنت تريد إعدادًا أكثر تخصيصًا، فيجب اختيار الوضع اليدوي بدلًا من ذلك.

حدد قاعدة البيانات الهدف من القائمة المنسدلة، أو انقر على إنشاء قاعدة بيانات جديدة لتوفير قاعدة بيانات جديدة.

يمكنك متابعة تقدّم ترحيل المخطط في عرض تفاصيل ClickPipes. تعرض السجلات حالة ترحيل المخطط، وتظهر فيها أيضًا أي أخطاء تواجهها العملية.

توجد القيود التالية على هذا الوضع:

• لا يمكن للأنابيب التي تستخدم SSH tunneling استخدام الترحيل الآلي للمخطط. يجب تصدير المخطط واستيراده يدويًا.

إذا كانت لديك بيانات موجودة مسبقًا في قاعدة البيانات الهدف، أو كنت ترغب في إعداد أكثر تخصيصًا بدلًا من الحالة النظيفة التي يفترضها الوضع الآلي، يمكنك اختيار الوضع اليدوي هنا.

يعرض المعالج أمر pg_dump مُعبّأ مسبقًا بتفاصيل الاتصال بالمصدر. شغّله في الطرفية:

pg_dump \
  -h <source_host> \
  -U <source_user> \
  -d <source_database> \
  --schema-only \
  -f pg.sql

يؤدي ذلك إلى إنشاء الملف pg.sql في الدليل الحالي.

انقر على التالي.

حدد قاعدة البيانات الهدف من القائمة المنسدلة، أو انقر على إنشاء قاعدة بيانات جديدة لإنشاء واحدة جديدة.

يعرض المعالج أمر psql لتطبيق ملف تفريغ المخطط على خدمة Managed Postgres الخاصة بك. شغّله في الطرفية:

psql \
  -h <target_host> \
  -p 5432 \
  -U <target_user> \
  -d <target_database> \
  -f pg.sql

انقر على التالي.

حدّد الـ publication المطلوب استخدامه للنسخ المتماثل المنطقي. إذا تركت هذا الحقل فارغًا، فسيتم إنشاء publication تلقائيًا.

وسّع إعدادات النسخ المتماثل المتقدمة لضبط معدل النقل:

انقر التالي.

حدِّد الجداول التي تريد نسخها. الجداول مُجمَّعة حسب المخطط. حدِّد جداول فردية أو وسِّع أحد المخططات لاختيارها جميعًا.

انقر على إنشاء عملية ترحيل.

بعد إنشاء الترحيل، ستجده مُدرجًا في مصادر البيانات بالحالة قيد التشغيل.

انقر على الترحيل لفتح العرض التفصيلي. تعرض علامة التبويب الجداول تقدّم التحميل الأوّلي لكل جدول، بما في ذلك الصفوف المُعالجة، والأقسام، ومتوسط الوقت لكل قسم. وتعرض علامة التبويب المقاييس تأخر النسخ المتماثل ومعدل النقل بمجرد بدء CDC.

بمجرد اكتمال التحميل الأولي، وإذا كنت تستخدم CDC، واقترب تأخر النسخ المتماثل من الصفر:

تحقق من عدد الصفوف. أجرِ مراجعة سريعة للجداول المهمة في كلٍّ من المصدر والهدف قبل تحويل حركة المرور:

SELECT COUNT(*) FROM public.orders;

أوقِف عمليات الكتابة على المصدر. أوقِف عمليات كتابة التطبيق مؤقتًا. لفرض وضع القراءة فقط أثناء مرحلة التحويل:

ALTER DATABASE <source_db> SET default_transaction_read_only = on;

تأكّد من اكتمال تزامن النسخ المتماثل. قارن أحدث صف في كلٍّ من المصدر والهدف:

-- Run on both source and target
SELECT MAX(id), MAX(updated_at) FROM public.orders;

أعِد ضبط التسلسلات. اضبط التسلسلات لتتوافق مع القيم القصوى الحالية في كل جدول:

DO $$
DECLARE r RECORD;
BEGIN
    FOR r IN
        SELECT
            n.nspname AS schema_name,
            c.relname AS table_name,
            a.attname AS column_name,
            pg_get_serial_sequence(format('%I.%I', n.nspname, c.relname), a.attname) AS seq_name
        FROM pg_class c
        JOIN pg_namespace n ON n.oid = c.relnamespace
        JOIN pg_attribute a ON a.attrelid = c.oid
        WHERE c.relkind = 'r'
            AND a.attnum > 0
            AND NOT a.attisdropped
            AND n.nspname NOT IN ('pg_catalog', 'information_schema')
    LOOP
        IF r.seq_name IS NOT NULL THEN
            EXECUTE format(
                'SELECT setval(%L, COALESCE((SELECT MAX(%I) FROM %I.%I), 0) + 1, false)',
                r.seq_name, r.column_name, r.schema_name, r.table_name
            );
        END IF;
    END LOOP;
END $$;

حوِّل حركة مرور التطبيق. وجِّه عمليات القراءة والكتابة إلى خدمة Managed Postgres لديك، وراقب الأخطاء ومخالفات القيود وسلامة النسخ المتماثل.

نظِّف. بمجرد إتمام التحويل والتأكد من أن الخدمة الجديدة سليمة، احذف عملية الترحيل من مصادر البيانات. إذا كنت قد استخدمت CDC، فاحذف فتحة النسخ المتماثل من المصدر لتحرير الموارد:

SELECT pg_drop_replication_slot('<slot_name>');

• البدء السريع لـ Managed Postgres
• تفاصيل الاتصال بـ Managed Postgres
• الأسئلة الشائعة حول Postgres في ClickPipes