Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

Dataflow Java runner

View as MarkdownEdit this pageReport an issueSet up docs MCP
ClickHouse対応

Dataflow Java runner を使用すると、Google Cloud の Dataflow サービス上でカスタム Apache Beam パイプラインを実行できます。この方法は柔軟性が非常に高く、高度な ETL ワークフローに適しています。

動作の仕組み

  1. パイプラインの実装 Java runner を使用するには、公式の Apache Beam コネクタである ClickHouseIO を使って Beam パイプラインを実装する必要があります。ClickHouseIO の使用方法に関するコード例と手順については、ClickHouse Apache Beam を参照してください。

  2. デプロイメント パイプラインの実装と設定が完了したら、Google Cloud のデプロイツールを使用して Dataflow にデプロイできます。詳細なデプロイ手順については、Google Cloud Dataflow documentation - Java Pipeline を参照してください。

注: この方法では、Beam フレームワークに関する知識とコーディングのスキルがあることを前提としています。コードを書かない方法を希望する場合は、ClickHouse の事前定義済みテンプレート の利用を検討してください。

Navigation