Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

监控 ClickPipes

View as MarkdownEdit this pageReport an issueSet up docs MCP

除了 Console 中的监控外，ClickPipes 还会将指标暴露到 Prometheus 兼容端点 供抓取。这些指标会与其他 ClickHouse Cloud 服务指标一并发布，使你能够将 ClickPipes 监控集成到现有的可观测性技术栈中 (例如 Grafana 和 Datadog) 。

指标标记

ClickPipes 指标使用标准服务级标记 (clickhouse_org、clickhouse_service、clickhouse_service_name) ，以及以下 ClickPipes 专用标记：

标记 说明
clickpipe_id ClickPipe 的唯一标识符
clickpipe_name ClickPipe 的名称
clickpipe_source 源类型 (例如 kafka、postgres、s3)
clickpipe_state ClickPipe 的状态 (例如 Stopped、Provisioning、Running)

示例响应

以下展示了 Kafka ClickPipe 的 ClickPipes 指标在 Prometheus 抓取响应中的样子。暴露的指标因管道类型而异——请参阅可用指标，了解哪些指标适用于哪些管道类型：

# HELP ClickPipes_Info 始终等于 1。标记 "clickpipe_state" 包含管道的当前状态：Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total 从数据源拉取的记录总数。
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total 发送到 ClickHouse 的记录总数
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total 从数据源拉取的未压缩字节总数。
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total 发送到 ClickHouse 的未压缩字节总数。
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total 数据摄取过程中的错误总数。
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency 从记录生成到写入 ClickHouse 之间的时间（毫秒）。
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

可用指标

并非每种管道类型都会产生所有指标。具体而言，CDC ClickPipes 提供的指标子集与流式和对象存储 ClickPipes 不同。

  • 流式、对象存储 — Kafka、Kinesis、Pub/Sub、S3 和 GCS
  • CDC — Postgres、MySQL、MongoDB 和 BigQuery
  • 全部 — 所有管道类型

数据传输

指标 类型 适用于 描述
ClickPipes_FetchedBytes_Total 计数器 流式，对象存储 从源端拉取的未压缩字节总数。
ClickPipes_FetchedBytesCompressed_Total 计数器 全部 从源端拉取的字节总数，即通过传输读取的字节数。如果源数据未压缩，则等同于 ClickPipes_FetchedBytes_Total。对于 CDC ClickPipes，这不包括初始加载期间拉取的字节，这部分会单独记录到 ClickPipes_FetchedBytesInitialLoad_Total。
ClickPipes_FetchedBytesInitialLoad_Total 计数器 CDC 初始加载阶段拉取的字节总数，包括重新同步。
ClickPipes_SentBytes_Total 计数器 流式，对象存储 发送到 ClickHouse 的未压缩字节总数。
ClickPipes_SentBytesCompressed_Total 计数器 流式，对象存储 发送到 ClickHouse 的压缩字节总数。

事件和记录

指标 类型 适用范围 说明
ClickPipes_FetchedEvents_Total Counter 流式，对象存储 从源端拉取的记录总数。
ClickPipes_SentEvents_Total Counter 流式，对象存储 发送到 ClickHouse 的记录总数。
ClickPipes_FetchedEvents_PerTable Gauge CDC 按目标表和事件类型统计的已拉取记录数。使用额外的 destination_table 和 event_type 标记。

错误

指标 类型 适用于 描述
ClickPipes_Errors_Total 计数器 全部 摄取过程中发生的错误总数。

延迟

指标 类型 适用于 描述
ClickPipes_Latency Gauge (avg) 全部 从记录在源端生成到写入 ClickHouse 之间的时间，单位为毫秒。
ClickPipes_SourceReplicationLatency_MiB Gauge (avg) CDC (仅 Postgres) 源端的 replication slot 滞后量，单位为 MiB。仅由 Postgres ClickPipes 发出。
ClickPipes_CDC_SourceLatency Gauge (avg) CDC 从源事件时间戳到 ClickPipes 处理的滞后时间，单位为毫秒。
ClickPipes_CDC_DestinationLatency Gauge (avg) CDC 从 ClickPipe 接收事件到将其写入 ClickHouse 表的滞后时间，单位为毫秒。

资源利用率

ClickPipes_Replica_* 指标报告流式和对象存储 ClickPipes 的资源利用率。每个 ClickPipe 都有专用计算资源，因此这些值反映的是各个 ClickPipe 自身的资源利用率。

Metric Type Available for Description
ClickPipes_Replica_CPUUsage Gauge (avg) 流式、对象存储 摄取副本的平均 CPU 使用量，以 millicores 为单位。
ClickPipes_Replica_CPULimit Gauge (last) 流式、对象存储 摄取副本配置的 CPU 限制，以 millicores 为单位。
ClickPipes_Replica_MemoryUsage Gauge (avg) 流式、对象存储 摄取副本的平均内存使用量，以字节为单位。
ClickPipes_Replica_MemoryLimit Gauge (last) 流式、对象存储 摄取副本配置的内存限制，以字节为单位。

ClickPipes_CDC_* 指标报告 CDC ClickPipes 的资源利用率。同一服务中的所有 CDC ClickPipes 共享计算资源，因此这些值反映的是该服务中所有 CDC ClickPipes 的合计使用情况。

Metric Type Available for Description
ClickPipes_CDC_CPUUsage Gauge (avg) CDC 平均 CPU 使用量，以 millicores 为单位。该服务中的所有 CDC ClickPipes 共享此值。
ClickPipes_CDC_CPULimit Gauge (last) CDC 配置的 CPU 限制，以 millicores 为单位。该服务中的所有 CDC ClickPipes 共享此值。
ClickPipes_CDC_MemoryUsage Gauge (avg) CDC 平均内存使用量，以字节为单位。该服务中的所有 CDC ClickPipes 共享此值。
ClickPipes_CDC_MemoryLimit Gauge (last) CDC 配置的内存限制，以字节为单位。该服务中的所有 CDC ClickPipes 共享此值。
ClickPipes_CDC_NetworkReceiveBytes Gauge CDC 入站网络带宽，以字节为单位 (每个抓取窗口的增量) 。该服务中的所有 CDC ClickPipes 共享此值。

状态和进度

指标 类型 适用范围 描述
ClickPipes_Info Gauge 全部 始终等于 1。使用 clickpipe_state 标记根据管道状态进行过滤或触发告警。
ClickPipes_LastFetchedBatchId Gauge CDC 从源拉取的最后一个批次的 ID。
ClickPipes_LastSentBatchId Gauge CDC 发送到 ClickHouse 的最后一个批次的 ID。
  • Prometheus 端点 — 面向外部工具 (如 Grafana、Datadog) 的端点参考、身份验证和设置
  • 错误报告 — 记录级错误和系统错误的存储位置
Navigation