El ejecutor de Java de Dataflow te permite ejecutar pipelines personalizadas de Apache Beam en el servicio Dataflow de Google Cloud. Este enfoque ofrece la máxima flexibilidad y es ideal para flujos de trabajo ETL avanzados.
Cómo funciona
-
Implementación del pipeline Para usar el ejecutor de Java, debes implementar tu pipeline de Beam con
ClickHouseIO, nuestro conector oficial para Apache Beam. Para ver ejemplos de código e instrucciones sobre cómo usarClickHouseIO, visita ClickHouse Apache Beam. -
Despliegue Una vez que tu pipeline esté implementado y configurado, puedes desplegarlo en Dataflow con las herramientas de despliegue de Google Cloud. Encontrarás instrucciones detalladas de despliegue en la documentación de Google Cloud Dataflow - pipeline de Java.
Nota: Este enfoque presupone familiaridad con el framework Beam y experiencia en programación. Si prefieres una solución sin código, considera usar las plantillas predefinidas de ClickHouse.