Intégration à ClickHouse Cloud

ClickPipes est une plateforme d’intégration gérée qui simplifie l’ingestion de données depuis un large éventail de sources au point de se faire en quelques clics. Conçue pour les charges de travail les plus exigeantes, l’architecture robuste et évolutive de ClickPipes garantit des performances et une fiabilité constantes. ClickPipes peut être utilisé pour l’ingestion continue de données ou pour des chargements ponctuels de données.

ClickPipes peut être déployé et géré via la ClickPipes UI, ainsi que par programmation à l’aide d’OpenAPI et de Terraform.

Connecteur	Cycle de vie de la fonctionnalité	Sources de données
Kafka	GA	Apache Kafka, Confluent Cloud, Redpanda, AWS MSK, Google Cloud Managed Service for Apache Kafka, Azure Event Hubs, WarpStream et d'autres sources de données compatibles avec l'API Kafka.
Amazon Kinesis	GA
GCP Pub/Sub	Aperçu privé

Connecteur	Cycle de vie de la fonctionnalité	Sources de données
Amazon S3	GA	Amazon S3, Cloudflare R2, DigitalOcean Spaces, OVH Object Storage et d'autres sources de données compatibles avec l'API S3.
Google Cloud Storage	GA
Azure Blob Storage	GA

Connecteur	Cycle de vie de la fonctionnalité	Sources de données
Postgres	GA	Amazon RDS, Amazon Aurora, Google Cloud SQL, AlloyDB, Azure Flexible Server, Supabase, Neon, Crunchy Bridge, TimescaleDB, PlanetScale, autogéré et d'autres sources de données compatibles.
MySQL	Bêta publique	Amazon RDS, Amazon Aurora, Cloud SQL, Azure Flexible Server, MySQL autogéré, Amazon RDS for MariaDB, MariaDB autogéré et d'autres sources de données compatibles.
MongoDB	Bêta publique	MongoDB Atlas, Amazon DocumentDB, autogéré et d'autres sources de données compatibles.
BigQuery	Aperçu privé

D’autres connecteurs seront ajoutés à ClickPipes ; vous pouvez en savoir plus en nous contactant.

ClickPipes prend en charge l'authentification de base de données avec AWS IAM pour Amazon RDS et Aurora. La configuration diffère selon le moteur de base de données et le service AWS. Choisissez donc le guide de configuration de la source correspondant à votre base de données :

La liste des IP NAT statiques de ClickPipes a été déplacée vers la documentation réseau de ClickPipes.

ClickHouse Cloud fournit des valeurs par défaut adaptées à la plupart des cas d’usage. Toutefois, si vous devez ajuster certains paramètres ClickHouse pour les tables de destination de ClickPipes, un rôle dédié à ClickPipes est la solution la plus souple. Étapes :

1. créez un rôle personnalisé CREATE ROLE my_clickpipes_role SETTINGS .... Consultez la syntaxe de CREATE ROLE pour plus de détails.
2. ajoutez le rôle personnalisé à l’utilisateur ClickPipes à l’étape Details and Settings lors de la création de ClickPipes.

ClickPipes propose des paramètres par défaut adaptés à la plupart des cas d’utilisation. Si le vôtre nécessite un réglage plus fin, vous pouvez ajuster les paramètres suivants :

ClickPipes stocke les erreurs dans deux tables distinctes selon le type d’erreur rencontré lors du processus d’ingestion.

ClickPipes créera une table à côté de votre table de destination avec le suffixe <destination_table_name>_clickpipes_error. Cette table contiendra toutes les erreurs liées à des données mal formées ou à un schéma incompatible, et inclura l’intégralité du message non valide. Cette table a une TTL de 7 jours.

Les erreurs liées au fonctionnement de ClickPipe sont stockées dans la table system.clickpipes_log. Cette table stocke toutes les autres erreurs liées au fonctionnement de votre ClickPipe (réseau, connectivité, etc.). Cette table a un TTL de 7 jours.

Si ClickPipes ne parvient pas à se connecter à une source de données après 15 min ou à une destination après 1 h, l'instance ClickPipes s'arrête et enregistre un message approprié dans la table des erreurs système (à condition que l'instance ClickHouse soit disponible).

En plus du monitoring dans la console, ClickPipes expose des métriques via un endpoint compatible Prometheus pour le scraping. Ces métriques sont publiées avec les autres métriques du service ClickHouse Cloud et vous permettent d’intégrer le monitoring de ClickPipes à votre stack d’observability existante (par exemple, Grafana, Datadog). Consultez Monitoring ClickPipes pour obtenir la liste complète des métriques disponibles.

• Qu’est-ce que ClickPipes ?

  ClickPipes est une fonctionnalité de ClickHouse Cloud qui facilite la connexion de vos services ClickHouse à des sources de données externes, en particulier Kafka. Avec ClickPipes for Kafka, vous pouvez charger en continu des données dans ClickHouse et les rendre disponibles pour des analyses en temps réel.

• ClickPipes prend-il en charge la transformation des données ?

  Oui, ClickPipes prend en charge des transformations de données basiques en exposant le DDL de création. Vous pouvez ensuite appliquer des transformations plus avancées aux données lors de leur chargement dans leur table de destination au sein d’un service ClickHouse Cloud, en vous appuyant sur la fonctionnalité de vues matérialisées de ClickHouse.

• L’utilisation de ClickPipes entraîne-t-elle un coût supplémentaire ?

  ClickPipes est facturé selon deux dimensions : Ingested Data et Compute. Tous les détails de la tarification sont disponibles sur cette page. L’exécution de ClickPipes peut également générer un coût indirect de calcul et de stockage sur le service ClickHouse Cloud de destination, comme pour toute charge de travail d’ingestion.

• Existe-t-il un moyen de gérer les erreurs ou les défaillances lors de l’utilisation de ClickPipes for Kafka ?

  Oui, ClickPipes for Kafka effectuera automatiquement de nouvelles tentatives en cas d’échec lors de la consommation de données depuis Kafka, pour tout problème opérationnel, notamment les problèmes de réseau, de connectivité, etc. En cas de données mal formées ou de schéma invalide, ClickPipes stockera l’enregistrement dans la table record_error et poursuivra le traitement.