Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

Integrando a Confluent Platform ao ClickHouse

View as MarkdownEdit this pageReport an issueSet up docs MCP

Pré-requisitos

Partimos do pressuposto de que você já esteja familiarizado com:

O conector oficial do Kafka da ClickHouse para a Confluent Platform

Instalação no Confluent Platform

Este é um guia rápido para ajudar você a começar a usar o ClickHouse Sink Connector no Confluent Platform. Para mais detalhes, consulte a documentação oficial da Confluent.

Criar um tópico

Criar um tópico na Confluent Platform é bastante simples, e há instruções detalhadas aqui.

Observações importantes

  • O nome do tópico do Kafka deve ser o mesmo da tabela do ClickHouse. A forma de ajustar isso é usando um transformador (por exemplo, ExtractTopic).
  • Mais partições nem sempre significam mais desempenho — consulte nosso próximo guia para mais detalhes e dicas de performance.

Instalar o conector

Você pode baixar o conector em nosso repositório — sinta-se à vontade para enviar comentários e relatar problemas por lá também!

Navegue até "Connector Plugins" -> "Add plugin" e use as seguintes configurações:

'Connector Class' - 'com.clickhouse.kafka.connect.ClickHouseSinkConnector'
'Connector type' - Sink
'Sensitive properties' - 'password'. This will ensure entries of the ClickHouse password are masked during configuration.

Exemplo:

IU da Confluent Platform mostrando as configurações para adicionar um conector ClickHouse personalizado

Reúna os detalhes da conexão

Para se conectar ao ClickHouse via HTTP(S), você precisa das seguintes informações:

Parâmetro(s) Descrição
HOST and PORT Normalmente, a porta é 8443 ao usar TLS ou 8123 quando não se usa TLS.
DATABASE NAME Por padrão, há um banco de dados chamado default; use o nome do banco de dados ao qual você deseja se conectar.
USERNAME and PASSWORD Por padrão, o nome de usuário é default. Use o nome de usuário apropriado para o seu caso de uso.

Os detalhes do seu serviço do ClickHouse Cloud estão disponíveis no console do ClickHouse Cloud. Selecione um serviço e clique em Connect:

botão Connect do serviço do ClickHouse Cloud

Escolha HTTPS. Os detalhes de conexão são exibidos em um comando curl de exemplo.

detalhes de conexão HTTPS do ClickHouse Cloud

Se você estiver usando ClickHouse autogerenciado, os detalhes de conexão são definidos pelo administrador do seu ClickHouse.

Configurar o conector

Acesse Connectors -> Add Connector e use as configurações a seguir (observe que os valores são apenas exemplos):

{
  "database": "<DATABASE_NAME>",
  "errors.retry.timeout": "30",
  "exactlyOnce": "false",
  "schemas.enable": "false",
  "hostname": "<CLICKHOUSE_HOSTNAME>",
  "password": "<SAMPLE_PASSWORD>",
  "port": "8443",
  "ssl": "true",
  "topics": "<TOPIC_NAME>",
  "username": "<SAMPLE_USERNAME>",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false"
}

Especifique os endpoints de conexão

Você precisa especificar a lista de permissões de endpoints que o conector pode acessar. Ao adicionar os endpoints de egress da rede, você deve usar um nome de domínio totalmente qualificado (FQDN). Example: u57swl97we.eu-west-1.aws.clickhouse.com:8443

Leia a documentação.

Tudo pronto!

Limitações conhecidas

Navigation