Monitorización de ClickPipes

Además de la monitorización desde la consola, ClickPipes expone métricas en un endpoint compatible con Prometheus para que puedan recopilarse. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y permiten integrar la monitorización de ClickPipes con su pila de observabilidad existente (por ejemplo, Grafana, Datadog).

Etiquetas de métricas

Las métricas de ClickPipes usan las etiquetas estándar a nivel de servicio (clickhouse_org, clickhouse_service, clickhouse_service_name), además de las siguientes etiquetas específicas de ClickPipes:

Etiqueta	Descripción
`clickpipe_id`	El identificador único del ClickPipe
`clickpipe_name`	El nombre del ClickPipe
`clickpipe_source`	El tipo de origen (p. ej., `kafka`, `postgres`, `s3`)
`clickpipe_state`	El estado del ClickPipe (p. ej., `Stopped`, `Provisioning`, `Running`)

Respuesta de ejemplo

A continuación se muestra el aspecto de las métricas de ClickPipes en una respuesta de scrape de Prometheus para un Kafka ClickPipe. El conjunto de métricas expuestas varía según el tipo de pipe; consulte Métricas disponibles para ver qué métricas se aplican a qué tipos de pipe:

# HELP ClickPipes_Info Siempre igual a 1. La etiqueta "clickpipe_state" contiene el estado actual del pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Número total de registros obtenidos del origen.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Número total de registros enviados a ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total de bytes sin comprimir obtenidos del origen.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total de bytes sin comprimir enviados a ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total de errores al ingestar datos.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Tiempo en milisegundos entre el momento en que se produjo el registro y el momento en que se escribió en ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

Métricas disponibles

No todas las métricas se emiten en todos los tipos de pipe. En particular, los ClickPipes de CDC exponen un subconjunto de métricas distinto al de los ClickPipes de streaming y almacenamiento de objetos.

Streaming, almacenamiento de objetos — Kafka, Kinesis, Pub/Sub, S3 y GCS
CDC — Postgres, MySQL, MongoDB y BigQuery
Todas — todos los tipos de pipe

Transferencia de datos

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_FetchedBytes_Total`	Contador	Streaming, almacenamiento de objetos	Total de bytes sin comprimir recuperados de la fuente.
`ClickPipes_FetchedBytesCompressed_Total`	Contador	Todos	Total de bytes recuperados de la fuente, tal como se leen por la red. Si los datos de origen no están comprimidos, equivale a `ClickPipes_FetchedBytes_Total`. En los ClickPipes de CDC, esto excluye los bytes recuperados durante la carga inicial, que se registran por separado en `ClickPipes_FetchedBytesInitialLoad_Total`.
`ClickPipes_FetchedBytesInitialLoad_Total`	Contador	CDC	Total de bytes recuperados durante la fase de carga inicial, incluidas las resincronizaciones.
`ClickPipes_SentBytes_Total`	Contador	Streaming, almacenamiento de objetos	Total de bytes sin comprimir enviados a ClickHouse.
`ClickPipes_SentBytesCompressed_Total`	Contador	Streaming, almacenamiento de objetos	Total de bytes comprimidos enviados a ClickHouse.

Eventos y registros

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_FetchedEvents_Total`	Counter	Streaming, almacenamiento de objetos	Número total de registros recuperados del origen.
`ClickPipes_SentEvents_Total`	Counter	Streaming, almacenamiento de objetos	Número total de registros enviados a ClickHouse.
`ClickPipes_FetchedEvents_PerTable`	Gauge	CDC	Número de registros recuperados por tabla de destino y tipo de evento. Utiliza las etiquetas adicionales `destination_table` y `event_type`.

Errores

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_Errors_Total`	Contador	Todos	Total de errores detectados durante la ingestión.

Latencia

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_Latency`	Gauge (avg)	Todo	Tiempo, en milisegundos, entre que un registro se genera en el origen y se escribe en ClickHouse.
`ClickPipes_SourceReplicationLatency_MiB`	Gauge (avg)	CDC (solo Postgres)	Retraso del slot de replicación en el origen, en MiB. Solo lo emiten los Postgres ClickPipes.
`ClickPipes_CDC_SourceLatency`	Gauge (avg)	CDC	Retraso, en milisegundos, desde la marca de tiempo de un evento de origen hasta su procesamiento por ClickPipes.
`ClickPipes_CDC_DestinationLatency`	Gauge (avg)	CDC	Retraso, en milisegundos, desde la recepción de un evento en un ClickPipe hasta su escritura en una tabla de ClickHouse.

Utilización de recursos

Las métricas ClickPipes_Replica_* muestran la utilización de recursos de los ClickPipes de streaming y almacenamiento de objetos. Cada ClickPipe tiene cómputo dedicado, por lo que estos valores reflejan la utilización de ClickPipes individuales.

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	Streaming, almacenamiento de objetos	Uso promedio de CPU de las réplicas de ingestión, en milicores.
`ClickPipes_Replica_CPULimit`	Gauge (last)	Streaming, almacenamiento de objetos	Límite de CPU configurado para las réplicas de ingestión, en milicores.
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	Streaming, almacenamiento de objetos	Uso promedio de memoria de las réplicas de ingestión, en bytes.
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	Streaming, almacenamiento de objetos	Límite de memoria configurado para las réplicas de ingestión, en bytes.

Las métricas ClickPipes_CDC_* muestran la utilización de recursos de los ClickPipes de CDC. Todos los ClickPipes de CDC del mismo servicio comparten cómputo, por lo que estos valores reflejan el uso combinado de todos los ClickPipes de CDC del servicio.

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	Uso promedio de CPU, en milicores. Compartido entre todos los ClickPipes de CDC del servicio.
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	Límite de CPU configurado, en milicores. Compartido entre todos los ClickPipes de CDC del servicio.
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	Uso promedio de memoria, en bytes. Compartido entre todos los ClickPipes de CDC del servicio.
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	Límite de memoria configurado, en bytes. Compartido entre todos los ClickPipes de CDC del servicio.
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	Ancho de banda de red de entrada, en bytes (delta por ventana de scrapeo). Compartido entre todos los ClickPipes de CDC del servicio.

Estado y progreso

Métrica	Tipo	Disponible para	Descripción
`ClickPipes_Info`	Gauge	Todos	Siempre es igual a `1`. Usa la etiqueta `clickpipe_state` para filtrar o generar alertas sobre el estado del pipe.
`ClickPipes_LastFetchedBatchId`	Gauge	CDC	ID del último lote obtenido del origen.
`ClickPipes_LastSentBatchId`	Gauge	CDC	ID del último lote enviado a ClickHouse.

endpoint de Prometheus — Referencia del endpoint, autenticación y configuración para herramientas externas (p. ej., Grafana, Datadog)
Reporte de errores — Dónde se almacenan los errores de los registros y del sistema