Créer votre premier Kafka ClickPipe

Sélectionnez le bouton Data Sources dans le menu de gauche, puis cliquez sur "Set up a ClickPipe".

Sélectionnez votre source de données Kafka dans la liste.

Remplissez le formulaire en indiquant un nom pour votre ClickPipe, une description (facultative), vos identifiants et d'autres informations de connexion.

Un schéma valide est nécessaire pour les topics Avro et Protobuf. Consultez les registres de schémas pour plus de détails sur la configuration d'un registre de schémas.

Configurez un Reverse Private Endpoint pour permettre à ClickPipes de se connecter à votre cluster Kafka via AWS PrivateLink. Consultez notre documentation sur AWS PrivateLink pour plus d’informations.

Vous pouvez utiliser un tunnel SSH si votre broker Kafka n’est pas accessible publiquement. Au lieu de se connecter directement, ClickPipes établit une connexion SSH vers un hôte bastion (un serveur de votre réseau accessible publiquement), puis y fait transiter le trafic jusqu’à votre broker Kafka sur votre réseau privé.

1. Activez l’option « SSH Tunnel ».
2. Renseignez les informations de connexion SSH :
   • SSH Host : le nom d’hôte ou l’adresse IP de votre hôte bastion — il s’agit du serveur accessible publiquement qui sert de passerelle vers votre réseau privé.
   • SSH Port : le port SSH de l’hôte bastion (par défaut 22).
   • SSH User : le nom d’utilisateur à utiliser pour l’authentification sur l’hôte bastion.

3. Pour utiliser l’authentification par clé, cliquez sur « Révoquer et régénérer la paire de clés » afin de générer une nouvelle paire de clés, puis copiez la clé publique générée sur votre serveur SSH dans ~/.ssh/authorized_keys.
4. Cliquez sur « Verify Connection » pour vérifier la connexion.

Sélectionnez votre topic et l’UI affichera un exemple de document de ce topic.

À l’étape suivante, vous pouvez choisir d’ingérer les données dans une nouvelle table ClickHouse ou de réutiliser une table existante. Suivez les instructions à l’écran pour modifier le nom de la table, son schéma et ses paramètres. Un aperçu en temps réel de vos modifications s’affiche dans le tableau d’exemple en haut de la page.

Vous pouvez également personnaliser les paramètres avancés à l’aide des options proposées

ClickPipes créera un utilisateur dédié pour écrire des données dans une table de destination. Vous pouvez sélectionner un rôle pour cet utilisateur interne en utilisant un rôle personnalisé ou l'un des rôles prédéfinis :

• Full access : accorde un accès complet au cluster. Cela peut être utile si vous utilisez une vue matérialisée ou un Dictionary avec la table de destination.
• Only destination table : accorde uniquement les autorisations INSERT sur la table de destination.

Cliquez sur "Create ClickPipe" pour créer et exécuter votre ClickPipe. Il sera alors répertorié dans la section Data Sources.