Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

مراقبة ClickPipes

View as MarkdownEdit this pageReport an issueSet up docs MCP

بالإضافة إلى المراقبة داخل Console، يوفّر ClickPipes مقاييس عبر نقطة نهاية متوافق مع Prometheus ليتم جمعها. تُنشر هذه المقاييس مع مقاييس خدمة ClickHouse Cloud الأخرى، وتتيح لك دمج مراقبة ClickPipes مع مكدس observability الحالي لديك (مثل Grafana وDatadog).

تسميات المقاييس

تستخدم مقاييس ClickPipes التسميات القياسية على مستوى الخدمة (clickhouse_org, clickhouse_service, clickhouse_service_name)، بالإضافة إلى تسميات ClickPipes التالية:

التسمية الوصف
clickpipe_id المعرّف الفريد لـ ClickPipe
clickpipe_name اسم ClickPipe
clickpipe_source نوع المصدر (على سبيل المثال: kafka أو postgres أو s3)
clickpipe_state حالة ClickPipe (على سبيل المثال: Stopped أو Provisioning أو Running)

استجابة نموذجية

يوضح ما يلي شكل مقاييس ClickPipes في استجابة سحب من Prometheus لـ Kafka ClickPipe. تختلف مجموعة المقاييس المعرَّضة بحسب نوع الـ pipe — راجع المقاييس المتاحة لمعرفة المقاييس التي تنطبق على أنواع الـ pipe المختلفة:

# HELP ClickPipes_Info Always equal to 1. Label "clickpipe_state" contains the current state of the pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Total number of records fetched from the source.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Total number of records sent to ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total uncompressed bytes fetched from the source.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total uncompressed bytes sent to ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total errors ingesting data.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Time in milliseconds between when the record was produced to when it was written to ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

المقاييس المتاحة

ليست كل المقاييس متاحة لكل نوع من أنواع المسارات. وعلى وجه الخصوص، توفّر ClickPipes الخاصة بـ CDC مجموعة فرعية مختلفة من المقاييس مقارنةً بـ ClickPipes الخاصة بالبث والتخزين الكائني.

  • البث، التخزين الكائني — Kafka وKinesis وPub/Sub وS3 وGCS
  • CDC — Postgres وMySQL وMongoDB وBigQuery
  • الكل — جميع أنواع المسارات

نقل البيانات

المقياس النوع متاح لـ الوصف
ClickPipes_FetchedBytes_Total عدّاد البث، التخزين الكائني إجمالي البايتات غير المضغوطة التي تم جلبها من المصدر.
ClickPipes_FetchedBytesCompressed_Total عدّاد جميعها إجمالي البايتات التي تم جلبها من المصدر كما قُرئت عبر الشبكة. إذا كانت بيانات المصدر غير مضغوطة، فهذا يعادل ClickPipes_FetchedBytes_Total. بالنسبة إلى ClickPipes الخاصة بـ CDC، لا يشمل ذلك البايتات التي تم جلبها أثناء مرحلة التحميل الأولي، إذ يُبلَّغ عنها بشكل منفصل ضمن ClickPipes_FetchedBytesInitialLoad_Total.
ClickPipes_FetchedBytesInitialLoad_Total عدّاد CDC إجمالي البايتات التي تم جلبها خلال مرحلة التحميل الأولي، بما في ذلك عمليات إعادة المزامنة.
ClickPipes_SentBytes_Total عدّاد البث، التخزين الكائني إجمالي البايتات غير المضغوطة التي أُرسلت إلى ClickHouse.
ClickPipes_SentBytesCompressed_Total عدّاد البث، التخزين الكائني إجمالي البايتات المضغوطة التي أُرسلت إلى ClickHouse.

الأحداث والسجلات

المقياس النوع متاح لـ الوصف
ClickPipes_FetchedEvents_Total عداد البث، التخزين الكائني إجمالي عدد السجلات التي تم جلبها من المصدر.
ClickPipes_SentEvents_Total عداد البث، التخزين الكائني إجمالي عدد السجلات التي تم إرسالها إلى ClickHouse.
ClickPipes_FetchedEvents_PerTable مقياس CDC عدد السجلات التي تم جلبها لكل جدول وجهة ولكل نوع حدث. يستخدم تسميتي destination_table وevent_type الإضافيتين.

الأخطاء

المقياس النوع متاح لـ الوصف
ClickPipes_Errors_Total عدّاد الكل إجمالي الأخطاء التي تمت مواجهتها أثناء الاستيعاب.

زمن الاستجابة

المقياس النوع متاح لـ الوصف
ClickPipes_Latency مقياس (avg) الكل الوقت، بالمللي ثانية، بين إنشاء سجل في المصدر وكتابته إلى ClickHouse.
ClickPipes_SourceReplicationLatency_MiB مقياس (avg) CDC (Postgres فقط) تأخر فتحة النسخ المتماثل في المصدر بوحدة MiB. لا يُصدِر هذا المقياس إلا Postgres ClickPipes.
ClickPipes_CDC_SourceLatency مقياس (avg) CDC التأخر بالمللي ثانية من الطابع الزمني لحدث المصدر إلى معالجة ClickPipes.
ClickPipes_CDC_DestinationLatency مقياس (avg) CDC التأخر بالمللي ثانية من وقت استلام حدث في ClickPipe حتى كتابته في جدول ClickHouse.

استخدام الموارد

تعرض مقاييس ClickPipes_Replica_* استخدام الموارد في ClickPipes الخاصة بالبث والتخزين الكائني. لكل ClickPipe قدرة حوسبية مخصصة، لذا تعكس هذه القيم مستوى الاستخدام لكل ClickPipe على حدة.

المقياس النوع متاح لـ الوصف
ClickPipes_Replica_CPUUsage Gauge (avg) البث، التخزين الكائني متوسط استخدام CPU للنسخ المتماثلة الخاصة بالاستيعاب، بوحدة millicores.
ClickPipes_Replica_CPULimit Gauge (last) البث، التخزين الكائني حد CPU المُعدّ للنسخ المتماثلة الخاصة بالاستيعاب، بوحدة millicores.
ClickPipes_Replica_MemoryUsage Gauge (avg) البث، التخزين الكائني متوسط استخدام الذاكرة للنسخ المتماثلة الخاصة بالاستيعاب، بالبايت.
ClickPipes_Replica_MemoryLimit Gauge (last) البث، التخزين الكائني حد الذاكرة المُعدّ للنسخ المتماثلة الخاصة بالاستيعاب، بالبايت.

تعرض مقاييس ClickPipes_CDC_* استخدام الموارد في ClickPipes الخاصة بـ CDC. تتشارك جميع ClickPipes الخاصة بـ CDC ضمن الخدمة نفسها القدرة الحوسبية، لذا تعكس هذه القيم الاستخدام الإجمالي لجميع ClickPipes الخاصة بـ CDC في الخدمة.

المقياس النوع متاح لـ الوصف
ClickPipes_CDC_CPUUsage Gauge (avg) CDC متوسط استخدام CPU، بوحدة millicores. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
ClickPipes_CDC_CPULimit Gauge (last) CDC حد CPU المُعدّ، بوحدة millicores. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
ClickPipes_CDC_MemoryUsage Gauge (avg) CDC متوسط استخدام الذاكرة، بالبايت. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
ClickPipes_CDC_MemoryLimit Gauge (last) CDC حد الذاكرة المُعدّ، بالبايت. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
ClickPipes_CDC_NetworkReceiveBytes Gauge CDC عرض النطاق الترددي للشبكة الواردة، بالبايت (دلتا لكل نافذة scrape). وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.

الحالة والتقدم

المقياس النوع متاح لـ الوصف
ClickPipes_Info مقياس الجميع يساوي دائمًا 1. استخدم التسمية clickpipe_state للتصفية أو التنبيه استنادًا إلى حالة الـ pipe.
ClickPipes_LastFetchedBatchId مقياس CDC معرّف آخر دفعة جرى جلبها من المصدر.
ClickPipes_LastSentBatchId مقياس CDC معرّف آخر دفعة أُرسلت إلى ClickHouse.
Navigation