データインジェスト

ClickHouse は、データインテグレーションや変換のためのさまざまなソリューションと連携できます。詳細については、以下のページを参照してください。

データインジェストツール	説明
Airbyte	オープンソースのデータインテグレーションプラットフォームです。ELT データパイプラインを作成でき、140 を超える標準搭載コネクタが付属しています。
Apache Airflow	コードとしてワークフローを作成、スケジュール、監視するためのオープンソースプラットフォームで、DAG から ClickHouse クエリの実行やデータロードを行うための provider を備えています。
Apache Spark	単一ノードのマシンまたはクラスター上で、データエンジニアリング、データサイエンス、機械学習を実行するためのマルチ言語エンジンです。
Apache Flink	Flink の DataStream API を介して ClickHouse にリアルタイムでデータインジェストと処理を行い、バッチ書き込みにも対応します。
Amazon Glue	Amazon Web Services (AWS) が提供する完全マネージド型のサーバーレスなデータインテグレーションサービスで、分析、機械学習、アプリケーション開発向けに、データの検出、準備、変換を簡素化します。
Artie	本番データを ClickHouse にレプリケートする完全マネージド型のリアルタイムデータストリーミングプラットフォームで、顧客向け分析、運用ワークフロー、本番環境での Agentic AI を実現します。
Azure Synapse	Microsoft Azure が提供する完全マネージド型のクラウドベース分析サービスで、ビッグデータとデータウェアハウジングを組み合わせ、SQL、Apache Spark、データパイプラインを使用した大規模なデータインテグレーション、変換、分析を簡素化します。
Azure Data Factory	大規模なデータワークフローを作成、スケジュール、オーケストレーションできるクラウドベースのデータインテグレーションサービスです。
Apache Beam	開発者がバッチおよびストリーム (連続) データ処理パイプラインの両方を定義して実行できる、オープンソースの統一プログラミングモデルです。
Apify	Web スクレイピングとブラウザー自動化のプラットフォームで、このインテグレーションを使うと、スクレイピングおよびクロールしたデータを ClickHouse に読み込めます。
BladePipe	サブ秒レベルのレイテンシーで、プラットフォーム間のシームレスなデータフローを実現するリアルタイムのエンドツーエンドデータインテグレーションツールです。
dbt	SELECT 文を記述するだけで、分析エンジニアがデータウェアハウス内のデータを変換できるようにします。
dlt	Python スクリプトに追加することで、さまざまな、しばしば複雑なデータソースから、適切に構造化されたライブデータセットへデータを読み込めるオープンソースライブラリです。
Erathos	データが SaaS ツールやデータベースからデータウェアハウスへ移動する際に、チームが各同期ジョブをリアルタイムで管理できるよう設計された ELT プラットフォームです。
Estuary	柔軟なデプロイオプションにより、ミリ秒レベルのレイテンシーを持つ ETL パイプラインを実現するデータプラットフォームです。
Fivetran	クラウドデータプラットフォーム間、およびそれらへの入力・それらからの出力を含むデータ移動を自動化するプラットフォームです。
Google Dataflow	ストリームおよびバッチのデータ処理向けの完全マネージド型 Google Cloud サービスで、ClickHouse にデータを読み込むための templates と Java runner を備えています。
NiFi	ソフトウェアシステム間のデータフローを自動化するために設計された、オープンソースのワークフロー管理ソフトウェアです。
Streamkap	SQL Server などのデータベースから ClickHouse にデータをレプリケートするための、リアルタイムの変更データキャプチャ (CDC) ストリーミングプラットフォームです。
Vector	組織が自社のオブザーバビリティデータを制御できるようにする、高性能なオブザーバビリティデータパイプラインです。