Monitoramento do ClickPipes

Além do monitoramento no Console, o ClickPipes expõe métricas em um endpoint compatível com Prometheus para coleta. Essas métricas são publicadas juntamente com outras métricas do serviço ClickHouse Cloud e permitem integrar o monitoramento do ClickPipes à sua stack de observabilidade atual (por exemplo, Grafana, Datadog).

Rótulos de métricas

As métricas do ClickPipes usam os rótulos padrão em nível de serviço (clickhouse_org, clickhouse_service, clickhouse_service_name), além dos seguintes rótulos específicos do ClickPipes:

Rótulo	Descrição
`clickpipe_id`	O identificador exclusivo do ClickPipe
`clickpipe_name`	O nome do ClickPipe
`clickpipe_source`	O tipo de origem (por exemplo, `kafka`, `postgres`, `s3`)
`clickpipe_state`	O estado do ClickPipe (por exemplo, `Stopped`, `Provisioning`, `Running`)

Exemplo de resposta

Veja a seguir como as métricas do ClickPipes aparecem em uma resposta de coleta do Prometheus para um ClickPipe do Kafka. O conjunto de métricas expostas varia de acordo com o tipo de pipe — consulte Métricas disponíveis para ver quais métricas se aplicam a quais tipos de pipe:

# HELP ClickPipes_Info Sempre igual a 1. O rótulo "clickpipe_state" contém o estado atual do pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Número total de registros obtidos da origem.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Número total de registros enviados ao ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total de bytes não comprimidos obtidos da origem.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total de bytes não comprimidos enviados ao ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total de erros na ingestão de dados.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Tempo em milissegundos entre a produção do registro e sua gravação no ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

Métricas disponíveis

Nem toda métrica é emitida por todos os tipos de pipe. Em particular, os ClickPipes de CDC expõem um subconjunto diferente de métricas em relação aos ClickPipes de streaming e de armazenamento de objetos.

Streaming, armazenamento de objetos — Kafka, Kinesis, Pub/Sub, S3 e GCS
CDC — Postgres, MySQL, MongoDB e BigQuery
Todos — todos os tipos de pipe

Transferência de dados

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_FetchedBytes_Total`	Contador	Streaming, armazenamento de objetos	Total de bytes não comprimidos obtidos da origem.
`ClickPipes_FetchedBytesCompressed_Total`	Contador	Todos	Total de bytes obtidos da origem, conforme lidos via wire. Se os dados da origem não estiverem comprimidos, equivale a `ClickPipes_FetchedBytes_Total`. Para ClickPipes de CDC, isso exclui os bytes obtidos da carga inicial, que são emitidos separadamente em `ClickPipes_FetchedBytesInitialLoad_Total`.
`ClickPipes_FetchedBytesInitialLoad_Total`	Contador	CDC	Total de bytes obtidos durante a fase de carga inicial, incluindo ressincronizações.
`ClickPipes_SentBytes_Total`	Contador	Streaming, armazenamento de objetos	Total de bytes não comprimidos enviados ao ClickHouse.
`ClickPipes_SentBytesCompressed_Total`	Contador	Streaming, armazenamento de objetos	Total de bytes comprimidos enviados ao ClickHouse.

Eventos e registros

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_FetchedEvents_Total`	contador	Streaming, armazenamento de objetos	Número total de registros obtidos da origem.
`ClickPipes_SentEvents_Total`	contador	Streaming, armazenamento de objetos	Número total de registros enviados ao ClickHouse.
`ClickPipes_FetchedEvents_PerTable`	Gauge	CDC	Número de registros obtidos por tabela de destino e tipo de evento. Usa os rótulos adicionais `destination_table` e `event_type`.

Erros

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_Errors_Total`	Contador	Todos	Total de erros durante a ingestão.

Latência

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_Latency`	Gauge (avg)	Todos	Tempo, em milissegundos, entre o momento em que um registro foi produzido na origem e o momento em que foi gravado no ClickHouse.
`ClickPipes_SourceReplicationLatency_MiB`	Gauge (avg)	CDC (somente Postgres)	Defasagem do slot de replicação na origem, em MiB. Emitida somente por ClickPipes do Postgres.
`ClickPipes_CDC_SourceLatency`	Gauge (avg)	CDC	Defasagem, em milissegundos, entre o timestamp de evento na origem e o processamento pelo ClickPipes.
`ClickPipes_CDC_DestinationLatency`	Gauge (avg)	CDC	Defasagem, em milissegundos, entre o recebimento de um evento em um ClickPipe e sua gravação em uma tabela do ClickHouse.

Utilização de recursos

As métricas ClickPipes_Replica_* informam a utilização de recursos de ClickPipes de streaming e de armazenamento de objetos. Cada ClickPipe tem compute dedicado, portanto esses valores refletem a utilização de ClickPipes individuais.

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	Streaming, armazenamento de objetos	Uso médio de CPU das réplicas de ingestão, em millicores.
`ClickPipes_Replica_CPULimit`	Gauge (last)	Streaming, armazenamento de objetos	Limite de CPU configurado das réplicas de ingestão, em millicores.
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	Streaming, armazenamento de objetos	Uso médio de memória das réplicas de ingestão, em bytes.
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	Streaming, armazenamento de objetos	Limite de memória configurado das réplicas de ingestão, em bytes.

As métricas ClickPipes_CDC_* informam a utilização de recursos de ClickPipes de CDC. Todos os ClickPipes de CDC no mesmo serviço compartilham compute, portanto esses valores refletem o uso combinado de todos os ClickPipes de CDC no serviço.

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	Uso médio de CPU, em millicores. Compartilhado entre todos os ClickPipes de CDC no serviço.
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	Limite de CPU configurado, em millicores. Compartilhado entre todos os ClickPipes de CDC no serviço.
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	Uso médio de memória, em bytes. Compartilhado entre todos os ClickPipes de CDC no serviço.
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	Limite de memória configurado, em bytes. Compartilhado entre todos os ClickPipes de CDC no serviço.
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	Largura de banda de rede de entrada, em bytes (delta por janela de coleta). Compartilhado entre todos os ClickPipes de CDC no serviço.

Estado e progresso

Métrica	Tipo	Disponível para	Descrição
`ClickPipes_Info`	Gauge	Todos	Sempre igual a `1`. Use o rótulo `clickpipe_state` para filtrar ou alertar sobre o estado do pipe.
`ClickPipes_LastFetchedBatchId`	Gauge	CDC	ID do último batch obtido da origem.
`ClickPipes_LastSentBatchId`	Gauge	CDC	ID do último batch enviado ao ClickHouse.

Endpoint do Prometheus — Referência do endpoint, autenticação e configuração para ferramentas externas (por exemplo, Grafana, Datadog)
Relatórios de erros — Onde os erros de registro e do sistema são armazenados