Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

Faça a ingestão de dados do Estuary usando o ClickPipes

View as MarkdownEdit this pageReport an issueSet up docs MCP
Integração com parceiro

O Estuary pode se conectar ao ClickHouse por meio do ClickPipe do Kafka.

Com essa integração, não é necessário manter seu próprio ecossistema Kafka. Em vez disso, o Estuary emite novos dados como mensagens Kafka. Você pode configurar um ClickPipe do Kafka para usar as informações do broker e do registro de esquemas do Estuary para consumir essas mensagens.

Consulte a integração direta do Estuary com o ClickHouse como alternativa.

Guia de configuração

Pré-requisitos

Você precisará de:

  • Uma conta no Estuary
  • Uma ou mais capturas no Estuary que extraiam dados das fontes desejadas
  • Uma conta do ClickHouse Cloud com permissões para ClickPipes

Criar uma materialização no Estuary

Para transferir dados das coleções de origem no Estuary para o ClickHouse, primeiro você precisará criar uma materialização.

  1. No dashboard do Estuary, acesse a página Destinations.
  2. Clique em + New Materialization.
  3. Selecione o conector ClickHouse Kafka API.
  4. Preencha os detalhes nas seções Materialization, Endpoint e Source Collections:
    • Detalhes da materialização: forneça um nome exclusivo para sua materialização e escolha um plano de dados (provedor de Cloud e região)
    • Configuração do endpoint: forneça um token de autenticação seguro
    • Coleções de origem: vincule uma captura existente ou selecione coleções de dados a serem expostas ao ClickHouse
  5. Clique em Next e em Save and Publish.
  6. Na página de detalhes da materialização, anote o nome completo da sua materialização do ClickHouse. Ele será semelhante a your-tenant/your-unique-name/dekaf-clickhouse.

O Estuary começará a transmitir as coleções selecionadas como mensagens Kafka. O ClickHouse pode acessar esses dados por meio de um ClickPipe do Kafka usando os detalhes do broker do Estuary e o token de autenticação fornecido.

Inserir os detalhes de conexão do Kafka

Configure um novo ClickPipe do Kafka no ClickHouse e informe os detalhes de conexão:

  1. No dashboard do ClickHouse Cloud, selecione Data sources.
  2. Crie um novo ClickPipe.
  3. Escolha Apache Kafka como fonte de dados.
  4. Insira os detalhes de conexão do Kafka usando as informações de broker e registro do Estuary:
    • Forneça um nome para seu ClickPipe
    • Para o broker, use: dekaf.estuary-data.com:9092
    • Mantenha a autenticação na opção padrão SASL/PLAIN
    • Para o usuário, informe o nome completo da materialização no Estuary (por exemplo, your-tenant/your-unique-name/dekaf-clickhouse)
    • Para a senha, informe o token de autenticação fornecido para sua materialização
  5. Ative a opção de registro de esquemas:
    • Para a URL do esquema, use: https://dekaf.estuary-data.com
    • A chave do esquema será a mesma do usuário do broker (o nome da sua materialização)
    • O Secret será o mesmo da senha do broker (seu token de autenticação)

Configurar os dados recebidos

  1. Selecione um dos tópicos do Kafka (uma das coleções de dados do Estuary).
  2. Escolha um offset.
  3. O ClickHouse detectará as mensagens do tópico. Você poderá continuar para a seção Parse information a fim de configurar as informações da tabela.
  4. Escolha criar uma nova tabela ou carregar os dados em uma tabela existente correspondente.
  5. Mapeie os campos de origem para as colunas da tabela, confirmando o nome, o tipo e se a coluna aceita valores nulos.
  6. Na seção final Details and settings, você poderá selecionar permissões para seu usuário de banco de dados dedicado.

Quando estiver satisfeito com a configuração, crie o ClickPipe.

O ClickHouse provisionará sua nova fonte de dados e começará a consumir mensagens do Estuary. Crie quantos ClickPipes forem necessários para transmitir todas as coleções de dados desejadas.

Recursos adicionais

Para saber mais sobre como configurar uma integração do ClickPipe com o Estuary, consulte a documentação do Estuary:

Navigation