Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

ClickPipes の監視

View as MarkdownEdit this pageReport an issueSet up docs MCP

Console での監視に加えて、ClickPipes はスクレイピング用に Prometheus 互換エンドポイント へメトリクスを公開しています。これらのメトリクスは、他の ClickHouse Cloud サービスのメトリクスとあわせて公開されるため、既存のオブザーバビリティスタック (例: Grafana、Datadog) に ClickPipes の監視を統合できます。

メトリクスラベル

ClickPipes のメトリクスでは、標準のサービスレベルラベル (clickhouse_org、clickhouse_service、clickhouse_service_name) に加えて、以下の ClickPipes 固有のラベルを使用します。

Label Description
clickpipe_id ClickPipe の一意な識別子
clickpipe_name ClickPipe の名前
clickpipe_source ソースの種類 (例: kafka、postgres、s3)
clickpipe_state ClickPipe の状態 (例: Stopped、Provisioning、Running)

レスポンス例

以下は、Kafka ClickPipe の Prometheus のスクレイプレスポンスにおける ClickPipes のメトリクスの例です。公開されるメトリクスはパイプタイプによって異なります。どのメトリクスがどのパイプタイプに適用されるかについては、利用可能なメトリクスを参照してください。

# HELP ClickPipes_Info 常に1に等しい。ラベル "clickpipe_state" にはパイプの現在の状態が含まれる: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total ソースから取得したレコードの総数。
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total ClickHouse に送信したレコードの総数
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total ソースから取得した非圧縮バイトの総数。
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total ClickHouse に送信した非圧縮バイトの総数。
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total データ取り込み時のエラーの総数。
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency レコードが生成されてから ClickHouse に書き込まれるまでの時間（ミリ秒）。
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

利用可能なメトリクス

すべてのパイプタイプで、すべてのメトリクスが出力されるわけではありません。特に、CDC ClickPipes で公開されるメトリクスのサブセットは、ストリーミング、オブジェクトストレージ ClickPipes とは異なります。

  • ストリーミング、オブジェクトストレージ — Kafka, Kinesis, Pub/Sub, S3, and GCS
  • CDC — Postgres, MySQL, MongoDB and BigQuery
  • All — すべてのパイプタイプ

データ転送

メトリクス 種類 利用可能対象 説明
ClickPipes_FetchedBytes_Total カウンター ストリーミング、オブジェクトストレージ ソースから取得した非圧縮バイト数の合計。
ClickPipes_FetchedBytesCompressed_Total カウンター すべて ソースから取得したバイト数の合計です。通信上で読み取られた時点のバイト数を表します。ソースデータが非圧縮の場合は、ClickPipes_FetchedBytes_Total と同じです。CDC ClickPipes では、初期ロード中に取得したバイト数は含まれず、それらは ClickPipes_FetchedBytesInitialLoad_Total として別途出力されます。
ClickPipes_FetchedBytesInitialLoad_Total カウンター CDC 初期ロードフェーズ中に取得したバイト数の合計です。再同期も含まれます。
ClickPipes_SentBytes_Total カウンター ストリーミング、オブジェクトストレージ ClickHouse に送信した非圧縮バイト数の合計。
ClickPipes_SentBytesCompressed_Total カウンター ストリーミング、オブジェクトストレージ ClickHouse に送信した圧縮バイト数の合計。

イベントとレコード

メトリクス タイプ 利用可能対象 説明
ClickPipes_FetchedEvents_Total カウンター ストリーミング、オブジェクトストレージ ソースから取得したレコードの総数。
ClickPipes_SentEvents_Total カウンター ストリーミング、オブジェクトストレージ ClickHouse に送信されたレコードの総数。
ClickPipes_FetchedEvents_PerTable Gauge CDC 宛先テーブルおよびイベントタイプごとに取得したレコード数。追加の destination_table と event_type ラベルを使用します。

エラー

メトリクス 型 利用対象 説明
ClickPipes_Errors_Total カウンター すべて インジェスト中に発生したエラーの総数。

レイテンシ

メトリクス 型 利用可能対象 説明
ClickPipes_Latency Gauge (avg) すべて レコードがソースで生成されてから ClickHouse に書き込まれるまでの時間 (ミリ秒) 。
ClickPipes_SourceReplicationLatency_MiB Gauge (avg) CDC (Postgres のみ) ソース側のレプリケーションスロットのラグ (MiB) 。Postgres ClickPipes でのみ出力されます。
ClickPipes_CDC_SourceLatency Gauge (avg) CDC ソースイベントのタイムスタンプから ClickPipes での処理までのラグ (ミリ秒) 。
ClickPipes_CDC_DestinationLatency Gauge (avg) CDC ClickPipe でイベントを受信してから ClickHouse テーブルに書き込むまでのラグ (ミリ秒) 。

リソース使用状況

ClickPipes_Replica_* メトリクスは、ストリーミングおよびオブジェクトストレージ向け ClickPipes のリソース使用状況を示します。各 ClickPipe には専用のコンピュートが割り当てられているため、これらの値は個々の ClickPipes の使用状況を反映します。

Metric Type Available for Description
ClickPipes_Replica_CPUUsage Gauge (avg) ストリーミング、オブジェクトストレージ インジェスト用レプリカの平均 CPU 使用量 (ミリコア単位) 。
ClickPipes_Replica_CPULimit Gauge (last) ストリーミング、オブジェクトストレージ インジェスト用レプリカの設定済み CPU 制限 (ミリコア単位) 。
ClickPipes_Replica_MemoryUsage Gauge (avg) ストリーミング、オブジェクトストレージ インジェスト用レプリカの平均メモリ使用量 (バイト単位) 。
ClickPipes_Replica_MemoryLimit Gauge (last) ストリーミング、オブジェクトストレージ インジェスト用レプリカの設定済みメモリ制限 (バイト単位) 。

ClickPipes_CDC_* メトリクスは、CDC ClickPipes のリソース使用状況を示します。同じサービス内のすべての CDC ClickPipes はコンピュートを共有するため、これらの値はそのサービス内のすべての CDC ClickPipe を合わせた使用状況を反映します。

Metric Type Available for Description
ClickPipes_CDC_CPUUsage Gauge (avg) CDC 平均 CPU 使用量 (ミリコア単位) 。サービス内のすべての CDC ClickPipes で共有されます。
ClickPipes_CDC_CPULimit Gauge (last) CDC 設定済み CPU 制限 (ミリコア単位) 。サービス内のすべての CDC ClickPipes で共有されます。
ClickPipes_CDC_MemoryUsage Gauge (avg) CDC 平均メモリ使用量 (バイト単位) 。サービス内のすべての CDC ClickPipes で共有されます。
ClickPipes_CDC_MemoryLimit Gauge (last) CDC 設定済みメモリ制限 (バイト単位) 。サービス内のすべての CDC ClickPipes で共有されます。
ClickPipes_CDC_NetworkReceiveBytes Gauge CDC 受信ネットワーク帯域幅 (バイト単位、スクレイプウィンドウごとの差分) 。サービス内のすべての CDC ClickPipes で共有されます。

状態と進捗

メトリクス 型 利用可能対象 説明
ClickPipes_Info Gauge All 常に 1 です。clickpipe_state ラベルを使用して、パイプの状態に基づいて絞り込みやアラートを行います。
ClickPipes_LastFetchedBatchId Gauge CDC ソースから最後に取得されたバッチの ID。
ClickPipes_LastSentBatchId Gauge CDC ClickHouse に最後に送信されたバッチの ID。
Navigation