Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

Surveillance de ClickPipes

View as MarkdownEdit this pageReport an issueSet up docs MCP

En plus de la surveillance dans la Console, ClickPipes expose des métriques via un endpoint compatible Prometheus pour le scraping. Ces métriques sont publiées avec les autres métriques du service ClickHouse Cloud et vous permettent d’intégrer la surveillance de ClickPipes à votre stack d’observabilité existante (par ex. Grafana, Datadog).

Labels de métriques

Les métriques ClickPipes utilisent les labels standard de niveau service (clickhouse_org, clickhouse_service, clickhouse_service_name), ainsi que les labels spécifiques à ClickPipes suivants :

Label Description
clickpipe_id L’identifiant unique du ClickPipe
clickpipe_name Le nom du ClickPipe
clickpipe_source Le type de source (par ex. kafka, postgres, s3)
clickpipe_state L’état du ClickPipe (par ex. Stopped, Provisioning, Running)

Exemple de réponse

Voici à quoi ressemblent les métriques ClickPipes dans une réponse de scraping Prometheus pour un Kafka ClickPipe. L’ensemble des métriques exposées varie selon le type de pipe — voir Available metrics pour connaître les métriques applicables à chaque type de pipe :

# HELP ClickPipes_Info Always equal to 1. Label "clickpipe_state" contains the current state of the pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Total number of records fetched from the source.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Total number of records sent to ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total uncompressed bytes fetched from the source.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total uncompressed bytes sent to ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total errors ingesting data.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Time in milliseconds between when the record was produced to when it was written to ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

Métriques disponibles

Toutes les métriques ne sont pas émises pour chaque type de pipe. En particulier, les ClickPipes CDC exposent un sous-ensemble de métriques différent de celui des ClickPipes de streaming et de stockage d’objets.

  • Streaming, stockage d’objets — Kafka, Kinesis, Pub/Sub, S3 et GCS
  • CDC — Postgres, MySQL, MongoDB et BigQuery
  • Tous — tous les types de pipe

Transfert de données

Métrique Type Disponible pour Description
ClickPipes_FetchedBytes_Total Compteur Streaming, stockage d'objets Nombre total d'octets non compressés récupérés depuis la source.
ClickPipes_FetchedBytesCompressed_Total Compteur Tous Nombre total d'octets récupérés depuis la source, tels que lus sur le réseau. Si les données source ne sont pas compressées, cette métrique équivaut à ClickPipes_FetchedBytes_Total. Pour les ClickPipes CDC, cela exclut les octets récupérés lors du chargement initial, qui sont comptabilisés séparément dans ClickPipes_FetchedBytesInitialLoad_Total.
ClickPipes_FetchedBytesInitialLoad_Total Compteur CDC Nombre total d'octets récupérés pendant la phase de chargement initial, y compris les resynchronisations.
ClickPipes_SentBytes_Total Compteur Streaming, stockage d'objets Nombre total d'octets non compressés envoyés à ClickHouse.
ClickPipes_SentBytesCompressed_Total Compteur Streaming, stockage d'objets Nombre total d'octets compressés envoyés à ClickHouse.

Événements et enregistrements

Métrique Type Disponible pour Description
ClickPipes_FetchedEvents_Total Compteur Streaming, stockage d’objets Nombre total d’enregistrements récupérés depuis la source.
ClickPipes_SentEvents_Total Compteur Streaming, stockage d’objets Nombre total d’enregistrements envoyés à ClickHouse.
ClickPipes_FetchedEvents_PerTable Gauge CDC Nombre d’enregistrements récupérés par table de destination et par type d’événement. Utilise des labels supplémentaires destination_table et event_type.

Erreurs

Métrique Type Disponible pour Description
ClickPipes_Errors_Total Compteur Tous Nombre total d’erreurs survenues lors de l’ingestion.

Latence

Métrique Type Disponible pour Description
ClickPipes_Latency Gauge (avg) Tous Temps écoulé, en millisecondes, entre le moment où un enregistrement est produit à la source et celui où il est écrit dans ClickHouse.
ClickPipes_SourceReplicationLatency_MiB Gauge (avg) CDC (Postgres uniquement) Retard du slot de réplication à la source, en Mio. Émis uniquement par les ClickPipes Postgres.
ClickPipes_CDC_SourceLatency Gauge (avg) CDC Délai, en millisecondes, entre l’horodatage d’un événement à la source et son traitement par ClickPipes.
ClickPipes_CDC_DestinationLatency Gauge (avg) CDC Délai, en millisecondes, entre la réception d’un événement dans un ClickPipe et son écriture dans une table ClickHouse.

Utilisation des ressources

Les métriques ClickPipes_Replica_* indiquent l’utilisation des ressources pour les ClickPipes de streaming et de stockage d’objets. Chaque ClickPipe dispose de ressources de calcul dédiées ; ces valeurs reflètent donc l’utilisation de chaque ClickPipe individuellement.

Metric Type Available for Description
ClickPipes_Replica_CPUUsage Gauge (avg) Streaming, stockage d’objets Utilisation moyenne du CPU des répliques d’ingestion, en millicœurs.
ClickPipes_Replica_CPULimit Gauge (last) Streaming, stockage d’objets Limite CPU configurée pour les répliques d’ingestion, en millicœurs.
ClickPipes_Replica_MemoryUsage Gauge (avg) Streaming, stockage d’objets Utilisation moyenne de la mémoire des répliques d’ingestion, en octets.
ClickPipes_Replica_MemoryLimit Gauge (last) Streaming, stockage d’objets Limite mémoire configurée pour les répliques d’ingestion, en octets.

Les métriques ClickPipes_CDC_* indiquent l’utilisation des ressources pour les ClickPipes CDC. Tous les ClickPipes CDC d’un même service partagent les ressources de calcul ; ces valeurs reflètent donc l’utilisation combinée de tous les ClickPipes CDC du service.

Metric Type Available for Description
ClickPipes_CDC_CPUUsage Gauge (avg) CDC Utilisation moyenne du CPU, en millicœurs. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_CPULimit Gauge (last) CDC Limite CPU configurée, en millicœurs. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_MemoryUsage Gauge (avg) CDC Utilisation moyenne de la mémoire, en octets. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_MemoryLimit Gauge (last) CDC Limite mémoire configurée, en octets. Partagée entre tous les ClickPipes CDC du service.
ClickPipes_CDC_NetworkReceiveBytes Gauge CDC Débit réseau entrant, en octets (delta par intervalle de scrutation). Partagé entre tous les ClickPipes CDC du service.

État et progression

Métrique Type Disponible pour Description
ClickPipes_Info Gauge Tous Toujours égal à 1. Utilisez le label clickpipe_state pour filtrer ou déclencher une alerte selon l’état du pipe.
ClickPipes_LastFetchedBatchId Gauge CDC ID du dernier batch récupéré depuis la source.
ClickPipes_LastSentBatchId Gauge CDC ID du dernier batch envoyé à ClickHouse.
  • Endpoint Prometheus — Référence de l'endpoint, authentification et configuration pour les outils externes (p. ex., Grafana, Datadog)
  • Signalement des erreurs — Emplacement de stockage des erreurs liées aux enregistrements et des erreurs système
Navigation