Criando seu primeiro ClickPipe do Kafka

Selecione o botão Data Sources no menu à esquerda e clique em "Set up a ClickPipe".

Selecione a fonte de dados do Kafka na lista.

Preencha o formulário informando um nome para o seu ClickPipe, uma descrição (opcional), suas credenciais e outros detalhes de conexão.

Um esquema válido é obrigatório para tópicos Avro e Protobuf. Consulte Registros de esquemas para mais detalhes sobre como configurar um registro de esquemas.

Configure um endpoint privado reverso para permitir que o ClickPipes se conecte ao seu cluster do Kafka usando o AWS PrivateLink. Consulte nossa documentação do AWS PrivateLink para mais informações.

Você pode usar um túnel SSH se o seu broker Kafka não estiver acessível publicamente. Em vez de se conectar diretamente, o ClickPipes estabelece uma conexão SSH com um host bastion (um servidor na sua rede que é acessível publicamente) e então encaminha o tráfego por ele até o seu broker Kafka na rede privada.

1. Ative a opção "SSH Tunnel".
2. Preencha os detalhes da conexão SSH:
   • SSH Host: O hostname ou endereço IP do seu host bastion — este é o servidor acessível publicamente que funciona como ponto de entrada para a sua rede privada.
   • SSH Port: A porta SSH no host bastion (o padrão é 22).
   • SSH User: O nome de usuário usado para autenticação no host bastion.

3. Para usar autenticação baseada em chave, clique em "Revoke and regenerate key pair" para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em ~/.ssh/authorized_keys.
4. Clique em "Verify Connection" para verificar a conexão.

Selecione seu tópico, e a UI exibirá um documento de exemplo desse tópico.

Na próxima etapa, você pode escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das alterações na tabela de amostra na parte superior.

Você também pode personalizar as configurações avançadas usando os controles disponíveis

O ClickPipes criará um usuário dedicado para gravar dados na tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

• Full access: com acesso total ao cluster. Isso pode ser útil se você usar uma visão materializada ou um Dicionário com a tabela de destino.
• Only destination table: apenas com permissões INSERT na tabela de destino.

Ao clicar em "Create ClickPipe", o ClickPipe será criado e executado. Ele passará a aparecer na seção Data Sources.