Conecte o Streamkap ao ClickHouse

Streamkap é uma plataforma de integração de dados em tempo real especializada em CDC (captura de alterações de dados) em streaming e processamento de streams. Ela é baseada em uma stack escalável e de alto throughput com Apache Kafka, Apache Flink e Debezium, oferecida como um serviço totalmente gerenciado em implantações SaaS ou BYOC (Bring Your Own Cloud).

O Streamkap permite transmitir cada inserção, atualização e exclusão de bancos de dados de origem, como PostgreSQL, MySQL, SQL Server, MongoDB e outros, diretamente para o ClickHouse com latência de milissegundos.

Isso o torna ideal para alimentar dashboards analíticos em tempo real, análises operacionais e modelos de machine learning com dados em tempo real.

• CDC de streaming em tempo real: O Streamkap captura alterações diretamente dos logs do seu banco de dados, garantindo que os dados no ClickHouse sejam uma réplica em tempo real da fonte. Processamento de streams simplificado: transforme, enriqueça, roteie, formate e crie embeddings a partir dos dados em tempo real antes de chegarem ao ClickHouse. Com tecnologia Flink, sem nenhuma da complexidade

• Totalmente gerenciado e escalável: Ele oferece um pipeline pronto para produção e sem necessidade de manutenção, eliminando a necessidade de gerenciar sua própria infraestrutura de Kafka, Flink, Debezium ou schema registry. A plataforma foi projetada para alto throughput e pode escalar linearmente para lidar com bilhões de eventos.

• Evolução automática de esquema: O Streamkap detecta automaticamente alterações de esquema no banco de dados de origem e as propaga para o ClickHouse. Ele consegue adicionar novas colunas ou alterar tipos de coluna sem intervenção manual.

• Otimizado para ClickHouse: A integração foi desenvolvida para funcionar com eficiência com os recursos do ClickHouse. Por padrão, ela usa o engine ReplacingMergeTree para lidar perfeitamente com atualizações e exclusões do sistema de origem.

• Entrega resiliente: A plataforma oferece garantia de entrega de pelo menos uma vez, assegurando a consistência dos dados entre sua fonte e o ClickHouse. Para operações de upsert, ela realiza desduplicação com base na chave primária.

Este guia oferece uma visão geral de como configurar um pipeline do Streamkap para carregar dados no ClickHouse.

• Uma conta do Streamkap.
• Os detalhes de conexão do seu cluster ClickHouse: Hostname, Port, Username e Password.
• Um banco de dados de origem (por exemplo, PostgreSQL, SQL Server) configurado para permitir CDC. Você pode encontrar guias de configuração detalhados na documentação do Streamkap.

SELECT * FROM your_table_name LIMIT 10;

A integração do Streamkap foi desenvolvida para gerenciar com eficiência os dados de CDC no ClickHouse.

Por padrão, o Streamkap usa o modo de ingestão upsert. Quando cria uma tabela no ClickHouse, ele usa o engine ReplacingMergeTree. Esse engine é ideal para lidar com eventos de CDC:

• A chave primária da tabela de origem é usada como chave ORDER BY na definição da tabela ReplacingMergeTree.

• Atualizações na origem são gravadas como novas linhas no ClickHouse. Durante o processo de mesclagem em segundo plano, o ReplacingMergeTree consolida essas linhas, mantendo apenas a versão mais recente com base na chave de ordenação.

• Exclusões são tratadas por uma flag de metadados que alimenta o parâmetro is_deleted do ReplacingMergeTree. As linhas excluídas na origem não são removidas imediatamente, mas são marcadas como excluídas.

  • Opcionalmente, os registros excluídos podem ser mantidos no ClickHouse para fins analíticos

O Streamkap adiciona várias colunas de metadados a cada tabela para gerenciar o estado dos dados:

Como o ReplacingMergeTree processa atualizações e exclusões em segundo plano, uma consulta SELECT * simples pode mostrar linhas históricas ou já excluídas antes que uma mesclagem seja concluída. Para obter o estado mais atual dos seus dados, você deve filtrar os registros excluídos e selecionar apenas a versão mais recente de cada linha.

Você pode fazer isso usando o modificador FINAL, o que é prático, mas pode afetar o desempenho da consulta:

-- Usando FINAL para obter o estado atual correto
SELECT * FROM your_table_name FINAL WHERE __DELETED = 'false';
SELECT * FROM your_table_name FINAL LIMIT 10;
SELECT * FROM your_table_name FINAL WHERE <filter by keys in ORDER BY clause>;
SELECT count(*) FROM your_table_name FINAL;

Para obter melhor desempenho em tabelas grandes, especialmente se você não precisar ler todas as colunas e em consultas analíticas pontuais, é possível usar a função argMax para selecionar manualmente o registro mais recente de cada chave primária:

SELECT key,
       argMax(col1, version) AS col1,
       argMax(col2, version) AS col2
FROM t
WHERE <seus predicados>
GROUP BY key;

Para casos de uso em produção e consultas recorrentes e simultâneas de usuários finais, visões materializadas podem ser usadas para modelar os dados de forma que se adaptem melhor aos padrões de acesso subsequentes.

• Site da Streamkap
• Documentação da Streamkap para ClickHouse
• Blog: Streaming com captura de alterações de dados para ClickHouse
• Documentação do ClickHouse: ReplacingMergeTree