ClickPipes 모니터링

콘솔에서 제공하는 모니터링 외에도, ClickPipes는 스크레이핑할 수 있도록 Prometheus 호환 엔드포인트에 메트릭을 노출합니다. 이러한 메트릭은 다른 ClickHouse Cloud 서비스 메트릭과 함께 게시되며, 기존 관측성 스택(예: Grafana, Datadog)에 ClickPipes 모니터링을 통합할 수 있습니다.

메트릭 레이블

ClickPipes 메트릭은 표준 서비스 수준 레이블 (clickhouse_org, clickhouse_service, clickhouse_service_name)과 함께 다음과 같은 ClickPipes 전용 레이블을 사용합니다.

레이블	설명
`clickpipe_id`	ClickPipe의 고유 식별자
`clickpipe_name`	ClickPipe의 이름
`clickpipe_source`	소스 유형(예: `kafka`, `postgres`, `s3`)
`clickpipe_state`	ClickPipe의 상태(예: `Stopped`, `Provisioning`, `Running`)

응답 예시

다음은 Kafka ClickPipe에 대한 Prometheus 스크레이프 응답에서 ClickPipes 메트릭이 어떻게 나타나는지 보여줍니다. 노출되는 메트릭 집합은 파이프 유형에 따라 다르므로, 어떤 메트릭이 어떤 파이프 유형에 적용되는지는 사용 가능한 메트릭을 참조하십시오:

# HELP ClickPipes_Info 항상 1입니다. 레이블 "clickpipe_state"에는 파이프의 현재 상태가 포함됩니다: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total 소스에서 가져온 레코드의 총 개수입니다.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total ClickHouse로 전송된 레코드의 총 개수입니다.
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total 소스에서 가져온 비압축 바이트의 총합입니다.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total ClickHouse로 전송된 비압축 바이트의 총합입니다.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total 데이터 수집 중 발생한 총 오류 수입니다.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency 레코드가 생성된 시점부터 ClickHouse에 기록된 시점까지의 지연 시간(밀리초)입니다.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

사용 가능한 메트릭

파이프 유형마다 제공되는 메트릭이 모두 같지는 않습니다. 특히 CDC ClickPipes는 스트리밍 및 객체 스토리지 ClickPipes와 다른 메트릭 부분 집합을 제공합니다.

스트리밍, 객체 스토리지 — Kafka, Kinesis, Pub/Sub, S3 및 GCS
CDC — Postgres, MySQL, MongoDB 및 BigQuery
전체 — 모든 파이프 유형

데이터 전송

메트릭	유형	사용 가능 대상	설명
`ClickPipes_FetchedBytes_Total`	카운터	스트리밍, 객체 스토리지	소스에서 가져온 비압축 바이트의 총량입니다.
`ClickPipes_FetchedBytesCompressed_Total`	카운터	전체	소스에서 가져온 총 바이트 수로, wire를 통해 읽은 기준입니다. 소스 데이터가 비압축 상태이면 `ClickPipes_FetchedBytes_Total`과 동일합니다. CDC ClickPipes의 경우 초기 적재 중 가져온 바이트는 여기에 포함되지 않으며, 별도로 `ClickPipes_FetchedBytesInitialLoad_Total`에 기록됩니다.
`ClickPipes_FetchedBytesInitialLoad_Total`	카운터	CDC	resync를 포함해 초기 적재 단계에서 가져온 바이트의 총량입니다.
`ClickPipes_SentBytes_Total`	카운터	스트리밍, 객체 스토리지	ClickHouse로 전송한 비압축 바이트의 총량입니다.
`ClickPipes_SentBytesCompressed_Total`	카운터	스트리밍, 객체 스토리지	ClickHouse로 전송한 압축 바이트의 총량입니다.

이벤트 및 레코드

메트릭	유형	사용 가능 대상	설명
`ClickPipes_FetchedEvents_Total`	카운터	스트리밍, 객체 스토리지	소스에서 가져온 레코드의 총 개수입니다.
`ClickPipes_SentEvents_Total`	카운터	스트리밍, 객체 스토리지	ClickHouse로 전송한 레코드의 총 개수입니다.
`ClickPipes_FetchedEvents_PerTable`	Gauge	CDC	대상 테이블 및 이벤트 유형별로 가져온 레코드 수입니다. 추가 `destination_table` 및 `event_type` 레이블을 사용합니다.

오류

메트릭	유형	사용 가능 대상	설명
`ClickPipes_Errors_Total`	Counter	전체	수집 중 발생한 오류의 총수입니다.

지연 시간

메트릭	유형	사용 가능 대상	설명
`ClickPipes_Latency`	Gauge (avg)	전체	레코드가 소스에서 생성된 시점부터 ClickHouse에 기록되는 시점까지의 시간(밀리초)입니다.
`ClickPipes_SourceReplicationLatency_MiB`	Gauge (avg)	CDC (Postgres 전용)	소스 측 replication slot 지연을 MiB 단위로 나타냅니다. Postgres ClickPipes에서만 제공됩니다.
`ClickPipes_CDC_SourceLatency`	Gauge (avg)	CDC	소스 이벤트 타임스탬프부터 ClickPipes에서 처리될 때까지의 지연 시간을 밀리초 단위로 나타냅니다.
`ClickPipes_CDC_DestinationLatency`	Gauge (avg)	CDC	ClickPipe에서 이벤트를 수신한 시점부터 ClickHouse 테이블에 기록될 때까지의 지연 시간을 밀리초 단위로 나타냅니다.

리소스 사용률

ClickPipes_Replica_* 메트릭은 스트리밍 및 객체 스토리지 ClickPipes의 리소스 사용률을 나타냅니다. 각 ClickPipe는 전용 컴퓨트를 사용하므로, 이 값은 개별 ClickPipe의 사용률을 반영합니다.

메트릭	유형	사용 가능 대상	설명
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	스트리밍, 객체 스토리지	수집 레플리카의 평균 CPU 사용량입니다. 단위는 밀리코어입니다.
`ClickPipes_Replica_CPULimit`	Gauge (last)	스트리밍, 객체 스토리지	수집 레플리카에 설정된 CPU 한도입니다. 단위는 밀리코어입니다.
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	스트리밍, 객체 스토리지	수집 레플리카의 평균 메모리 사용량입니다. 단위는 바이트입니다.
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	스트리밍, 객체 스토리지	수집 레플리카에 설정된 메모리 한도입니다. 단위는 바이트입니다.

ClickPipes_CDC_* 메트릭은 CDC ClickPipes의 리소스 사용률을 나타냅니다. 동일한 service의 모든 CDC ClickPipes는 컴퓨트를 공유하므로, 이 값은 service 내 모든 CDC ClickPipe의 합산 사용량을 반영합니다.

메트릭	유형	사용 가능 대상	설명
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	평균 CPU 사용량입니다. 단위는 밀리코어입니다. service 내 모든 CDC ClickPipes가 공유합니다.
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	설정된 CPU 한도입니다. 단위는 밀리코어입니다. service 내 모든 CDC ClickPipes가 공유합니다.
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	평균 메모리 사용량입니다. 단위는 바이트입니다. service 내 모든 CDC ClickPipes가 공유합니다.
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	설정된 메모리 한도입니다. 단위는 바이트입니다. service 내 모든 CDC ClickPipes가 공유합니다.
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	수신 네트워크 대역폭입니다. 단위는 바이트입니다(스크레이프 윈도우당 delta). service 내 모든 CDC ClickPipes가 공유합니다.

상태 및 진행

메트릭	유형	사용 가능 대상	설명
`ClickPipes_Info`	Gauge	전체	항상 `1`입니다. 파이프 상태를 기준으로 필터링하거나 알림을 설정하려면 `clickpipe_state` 레이블을 사용합니다.
`ClickPipes_LastFetchedBatchId`	Gauge	CDC	소스에서 마지막으로 가져온 Batch의 ID입니다.
`ClickPipes_LastSentBatchId`	Gauge	CDC	ClickHouse로 마지막으로 전송한 Batch의 ID입니다.

Prometheus 엔드포인트 — 외부 도구(예: Grafana, Datadog)를 위한 엔드포인트 참고 문서, 인증 및 설정
오류 보고 — 레코드 및 시스템 오류가 저장되는 위치