Ingestion de données | ClickHouse Docs

ClickHouse s’intègre à de nombreuses solutions d’intégration et de transformation des données. Pour en savoir plus, consultez les pages ci-dessous :

Outil d’ingestion de données	Description
Airbyte	Une plateforme open-source d’intégration de données. Elle permet de créer des pipelines de données ELT et est fournie avec plus de 140 connecteurs prêts à l’emploi.
Apache Airflow	Une plateforme open-source pour créer, planifier et superviser des workflows sous forme de code, avec un provider permettant d’exécuter des requêtes ClickHouse et des chargements de données à partir de DAG.
Apache Spark	Un moteur multilingue permettant d’exécuter des charges de data engineering, de data science et de machine learning sur des machines mono-nœud ou des clusters
Apache Flink	Ingestion et traitement de données en temps réel dans ClickHouse via la DataStream API de Flink, avec prise en charge des écritures par lot
Amazon Glue	Un service d’intégration de données entièrement géré et serverless fourni par Amazon Web Services (AWS), qui simplifie la découverte, la préparation et la transformation des données pour l’analytics, le machine learning et le développement d’applications.
Artie	Une plateforme de streaming de données en temps réel, entièrement gérée, qui réplique les données de production dans ClickHouse, pour alimenter l’analytics orientée client, les workflows opérationnels et l’IA agentique en production.
Azure Synapse	Un service d’analytics cloud entièrement géré fourni par Microsoft Azure, combinant big data et data warehousing afin de simplifier l’intégration, la transformation et l’analytics des données à grande échelle à l’aide de SQL, Apache Spark et de pipelines de données.
Azure Data Factory	Un service cloud d’intégration de données qui vous permet de créer, planifier et orchestrer des workflows de données à grande échelle.
Apache Beam	Un modèle de programmation unifié open-source qui permet aux développeurs de définir et d’exécuter des pipelines de traitement de données, à la fois par lot et en flux continu.
Apify	Une plateforme de web scraping et d’automatisation de navigateur dont l’intégration vous permet de charger dans ClickHouse des données extraites par scraping et crawling.
BladePipe	Un outil d’intégration de données temps réel de bout en bout, avec une latence inférieure à la seconde, qui fluidifie les flux de données entre les plateformes.
dbt	Permet aux ingénieurs analytics de transformer les données dans leurs warehouses simplement en écrivant des instructions select.
dlt	Une bibliothèque open-source que vous pouvez ajouter à vos scripts Python pour charger des données provenant de sources variées et souvent désordonnées dans des datasets actifs, bien structurés.
Erathos	Une plateforme ELT conçue pour le contrôle, permettant aux équipes de gérer chaque tâche de synchronisation en temps réel à mesure que les données passent des outils SaaS et des bases de données vers l’entrepôt de données.
Estuary	Une plateforme de données right-time qui permet des pipelines ETL avec une latence de l’ordre de la milliseconde et des options de déploiement flexibles.
Fivetran	Une plateforme automatisée de mouvement des données qui déplace les données depuis, vers et entre vos plateformes de données cloud.
Google Dataflow	Un service Google Cloud entièrement géré pour le traitement de données en flux et par lot, avec des templates et un Java runner pour charger les données dans ClickHouse.
NiFi	Un logiciel open-source de gestion de workflows conçu pour automatiser les flux de données entre systèmes logiciels.
Streamkap	Une plateforme de streaming en temps réel pour la capture des changements de données (CDC), permettant de répliquer des données depuis des bases de données telles que SQL Server vers ClickHouse.
Vector	Un pipeline de données d’observabilité haute performance qui donne aux organisations le contrôle de leurs données d’observabilité.