Dataflow Java runner

Dataflow Java runner를 사용하면 Google Cloud의 Dataflow 서비스에서 사용자 지정 Apache Beam 파이프라인을 실행할 수 있습니다. 이 방식은 매우 유연하며, 고급 ETL 워크플로에 적합합니다.

1. 파이프라인 구현 Java runner를 사용하려면 공식 Apache Beam 커넥터인 ClickHouseIO를 사용해 Beam 파이프라인을 구현해야 합니다. 코드 예시와 ClickHouseIO 사용 방법은 ClickHouse Apache Beam을 참조하십시오.

2. 배포 파이프라인 구현과 구성이 완료되면 Google Cloud의 배포 도구를 사용해 Dataflow에 배포할 수 있습니다. 자세한 배포 지침은 Google Cloud Dataflow documentation - Java Pipeline에서 확인할 수 있습니다.

참고: 이 방식은 Beam 프레임워크에 대한 이해와 코딩 역량을 전제로 합니다. 코드 없는 솔루션을 선호한다면 ClickHouse's predefined templates의 미리 정의된 템플릿 사용을 고려하십시오.