Crear tu primer Kafka ClickPipe

Selecciona el botón Data Sources en el menú lateral izquierdo y haz clic en "Set up a ClickPipe".

Selecciona la fuente de datos de Kafka en la lista.

Completa el formulario asignándole a tu ClickPipe un nombre, una descripción (opcional), tus credenciales y otros datos de conexión.

Se requiere un esquema válido para los temas de Avro y Protobuf. Consulta Registros de esquemas para obtener más detalles sobre cómo configurar un registro de esquemas.

Configura un Reverse Private Endpoint para permitir que ClickPipes se conecte a tu clúster de Kafka mediante AWS PrivateLink. Consulta nuestra documentación de AWS PrivateLink para obtener más información.

Puedes usar un túnel SSH si tu broker de Kafka no es accesible públicamente. En lugar de conectarse directamente, ClickPipes establece una conexión SSH con un bastión (un servidor de tu red accesible públicamente) y luego reenvía el tráfico a través de él hasta tu broker de Kafka en la red privada.

1. Activa el interruptor "SSH Tunnel".
2. Completa los datos de la conexión SSH:
   • SSH Host: El nombre de host o la dirección IP de tu bastión; este es el servidor accesible públicamente que actúa como puerta de enlace a tu red privada.
   • SSH Port: El puerto SSH del bastión (valor predeterminado: 22).
   • SSH User: El nombre de usuario con el que te autenticarás en el bastión.

3. Para usar autenticación basada en claves, haz clic en "Revoke and regenerate key pair" para generar un nuevo par de claves y copia la clave pública generada en tu servidor SSH, en ~/.ssh/authorized_keys.
4. Haz clic en "Verify Connection" para verificar la conexión.

Selecciona tu topic y la UI mostrará un documento de ejemplo del topic.

En el siguiente paso, puede elegir si desea ingestar datos en una nueva tabla de ClickHouse o reutilizar una ya existente. Siga las instrucciones en pantalla para modificar el nombre de la tabla, el esquema y la configuración. Puede ver una vista previa en tiempo real de los cambios en la tabla de muestra de la parte superior.

También puede personalizar la configuración avanzada con los controles proporcionados

ClickPipes creará un usuario dedicado para escribir datos en la tabla de destino. Puede seleccionar un rol para este usuario interno mediante un rol personalizado o uno de los roles predefinidos:

• Full access: con acceso completo al clúster. Puede resultar útil si usa una vista materializada o un Diccionario con la tabla de destino.
• Only destination table: solo con permisos de INSERT en la tabla de destino.

Al hacer clic en "Create ClickPipe", se creará y se ejecutará su ClickPipe. A partir de ahora, aparecerá en la sección Fuentes de datos.