Integración con ClickHouse Cloud

ClickPipes es una plataforma de integración gestionada que hace que la ingestión de datos desde una amplia variedad de fuentes sea tan sencilla como hacer clic en unos pocos botones. Diseñada para las cargas de trabajo más exigentes, la arquitectura robusta y escalable de ClickPipes garantiza un rendimiento y una fiabilidad constantes. ClickPipes puede utilizarse para la ingestión continua de datos o para una carga puntual de datos.

ClickPipes puede implementarse y gestionarse mediante la UI de ClickPipes, así como de forma programática mediante OpenAPI y Terraform.

Conector	Ciclo de vida de la funcionalidad	Fuentes de datos
Kafka	GA	Apache Kafka, Confluent Cloud, Redpanda, AWS MSK, servicio gestionado de Google Cloud para Apache Kafka, Azure Event Hubs, WarpStream y otras fuentes de datos compatibles con la API de Kafka.
Amazon Kinesis	GA
GCP Pub/Sub	Vista previa privada

Conector	Ciclo de vida de la funcionalidad	Fuentes de datos
Amazon S3	GA	Amazon S3, Cloudflare R2, DigitalOcean Spaces, OVH Object Storage y otras fuentes de datos compatibles con la API de S3.
Google Cloud Storage	GA
Azure Blob Storage	GA

Conector	Ciclo de vida de la funcionalidad	Fuentes de datos
Postgres	GA	Amazon RDS, Amazon Aurora, Google Cloud SQL, AlloyDB, Azure Flexible Server, Supabase, Neon, Crunchy Bridge, TimescaleDB, PlanetScale, autogestionado y otras fuentes de datos compatibles.
MySQL	Beta pública	Amazon RDS, Amazon Aurora, Cloud SQL, Azure Flexible Server, MySQL autogestionado, Amazon RDS para MariaDB, MariaDB autogestionado y otras fuentes de datos compatibles.
MongoDB	Beta pública	MongoDB Atlas, Amazon DocumentDB, autogestionado y otras fuentes de datos compatibles.
BigQuery	Vista previa privada

Se irán añadiendo más conectores a ClickPipes. Puede obtener más información poniéndose en contacto con nosotros.

ClickPipes admite la autenticación de base de datos con AWS IAM para Amazon RDS y Aurora. La configuración varía según el motor de base de datos y el servicio de AWS, así que elige la guía de configuración de origen que corresponda a tu base de datos:

La lista de direcciones IP NAT estáticas de ClickPipes se ha trasladado a la documentación de redes de ClickPipes.

ClickHouse Cloud proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Sin embargo, si necesita ajustar algunos ajustes de ClickHouse para las tablas de destino de ClickPipes, un rol dedicado para ClickPipes es la solución más flexible. Pasos:

1. cree un rol personalizado CREATE ROLE my_clickpipes_role SETTINGS .... Consulte la sintaxis de CREATE ROLE para obtener más información.
2. añada el rol personalizado al usuario de ClickPipes en el paso Details and Settings durante la creación de ClickPipes.

ClickPipes proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Si su caso de uso requiere un ajuste más preciso, puede modificar la siguiente configuración:

ClickPipes almacenará los errores en dos tablas distintas, según el tipo de error que se produzca durante el proceso de ingestión.

ClickPipes creará una tabla junto a tu tabla de destino con el sufijo <destination_table_name>_clickpipes_error. Esta tabla contendrá cualquier error provocado por datos malformados o por un esquema incompatible, e incluirá el mensaje no válido completo. Esta tabla tiene un TTL de 7 días.

Los errores relacionados con el funcionamiento de ClickPipe se almacenarán en la tabla system.clickpipes_log. En ella se guardarán todos los demás errores relacionados con el funcionamiento de su ClickPipe (red, conectividad, etc.). Esta tabla tiene un TTL de 7 días.

Si ClickPipes no puede conectarse a una fuente de datos después de 15 min o a un destino después de 1 h, la instancia de ClickPipes se detendrá y almacenará un mensaje correspondiente en la tabla de errores del sistema (siempre que la instancia de ClickHouse esté disponible).

Además del monitoreo en la consola, ClickPipes expone métricas en un endpoint compatible con Prometheus para su scraping. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y le permiten integrar el monitoreo de ClickPipes con su stack de observabilidad actual (por ejemplo, Grafana, Datadog). Consulte Monitoreo de ClickPipes para ver la lista completa de métricas disponibles.

• ¿Qué es ClickPipes?

  ClickPipes es una funcionalidad de ClickHouse Cloud que facilita la conexión de sus servicios de ClickHouse con fuentes de datos externas, en concreto Kafka. Con ClickPipes for Kafka, puede cargar datos de forma continua en ClickHouse y ponerlos a disposición para análisis en tiempo real.

• ¿ClickPipes admite la transformación de datos?

  Sí, ClickPipes admite transformaciones básicas de datos al exponer la creación del DDL. Después, puede aplicar transformaciones más avanzadas a los datos a medida que se cargan en su tabla de destino en un servicio de ClickHouse Cloud, aprovechando la funcionalidad de vistas materializadas de ClickHouse.

• ¿Usar ClickPipes implica un costo adicional?

  ClickPipes se factura en dos dimensiones: Ingested Data y Compute. Los detalles completos de los precios están disponibles en esta página. Ejecutar ClickPipes también puede generar un costo indirecto de cómputo y almacenamiento en el servicio de ClickHouse Cloud de destino, como ocurre con cualquier carga de trabajo de ingesta.

• ¿Hay alguna forma de gestionar errores o fallos al usar ClickPipes for Kafka?

  Sí, ClickPipes for Kafka realizará reintentos automáticos en caso de fallos al consumir datos de Kafka debidos a cualquier problema operativo, incluidos problemas de red, de conectividad, etc. En caso de datos malformados o de un esquema no válido, ClickPipes almacenará el registro en la tabla record_error y continuará procesándolo.