Insérer des données dans ClickHouse Cloud avec clickhouse-client

clickhouse-client est l’interface en ligne de commande officielle pour se connecter à ClickHouse. Il est inclus dans le binaire ClickHouse.

Installez-le à l’aide de l’installateur universel :

curl https://clickhouse.com/ | sh

Cette commande télécharge le dernier binaire clickhouse dans votre répertoire courant. Vérifiez l’installation :

./clickhouse client --version

Vous devriez voir un résultat indiquant le numéro de version de ClickHouse, ce qui confirme que clickhouse-client est prêt à être utilisé.

Créez un petit fichier CSV d’exemple pour que ce guide de prise en main soit autonome. Exécutez ce qui suit dans votre terminal :

cat <<'EOF' > sample_data.csv
timestamp,event_type,user_id,duration_ms,status
2024-01-15 10:30:00,page_view,1001,120,success
2024-01-15 10:31:15,click,1002,45,success
2024-01-15 10:32:00,page_view,1003,200,success
2024-01-15 10:33:30,purchase,1001,1500,success
2024-01-15 10:34:00,click,1004,60,error
2024-01-15 10:35:45,page_view,1002,95,success
2024-01-15 10:36:10,purchase,1005,2200,success
2024-01-15 10:37:00,click,1003,30,success
2024-01-15 10:38:20,page_view,1004,150,error
2024-01-15 10:39:00,purchase,1002,1800,success
EOF

Les commandes ci-dessous supposent que vous avez exporté CLICKHOUSE_HOST, CLICKHOUSE_USER et CLICKHOUSE_PASSWORD comme variables d’environnement, comme indiqué dans le quickstart Obtain your Cloud connection details. Si ce n’est pas le cas, vous pouvez les remplacer directement par vos propres valeurs.

Testez la connexion en exécutant une requête simple sur votre service Cloud :

./clickhouse client \
  --host $CLICKHOUSE_HOST \
  --port 9440 \
  --user $CLICKHOUSE_USER \
  --password $CLICKHOUSE_PASSWORD \
  --secure \
  -q "SELECT 1"

Si la connexion réussit, vous verrez 1 s’afficher dans le terminal. Si vous obtenez une erreur de connexion, vérifiez que votre service est bien en cours d’exécution dans la console Cloud et que votre nom d’hôte et votre mot de passe sont corrects.

Tout d’abord, créez une table sur votre service Cloud pour recevoir les données :

./clickhouse client \
  --host $CLICKHOUSE_HOST \
  --port 9440 \
  --user $CLICKHOUSE_USER \
  --password $CLICKHOUSE_PASSWORD \
  --secure \
  -q "
    CREATE TABLE IF NOT EXISTS events (
      timestamp DateTime,
      event_type LowCardinality(String),
      user_id UInt32,
      duration_ms UInt32,
      status LowCardinality(String)
    )
    ENGINE = MergeTree
    ORDER BY (event_type, timestamp)
  "

Insérez maintenant les données de votre fichier CSV local. C’est l’étape clé : clickhouse-client lit le fichier depuis stdin et l’achemine en continu vers le service distant :

./clickhouse client \
  --host $CLICKHOUSE_HOST \
  --port 9440 \
  --user $CLICKHOUSE_USER \
  --password $CLICKHOUSE_PASSWORD \
  --secure \
  -q "INSERT INTO events FORMAT CSVWithNames" < sample_data.csv

clickhouse-client envoie directement le contenu du fichier CSV à votre service Cloud. Le format CSVWithNames indique à ClickHouse que la première ligne contient les noms des colonnes.

Interrogez votre service Cloud pour vérifier que les lignes ont bien été insérées :

./clickhouse client \
  --host $CLICKHOUSE_HOST \
  --port 9440 \
  --user $CLICKHOUSE_USER \
  --password $CLICKHOUSE_PASSWORD \
  --secure \
  -q "SELECT count() FROM events"

Vous devriez voir 10, le nombre de lignes du fichier CSV d’exemple.

Prévisualisez les données :

./clickhouse client \
  --host $CLICKHOUSE_HOST \
  --port 9440 \
  --user $CLICKHOUSE_USER \
  --password $CLICKHOUSE_PASSWORD \
  --secure \
  -q "SELECT * FROM events ORDER BY timestamp LIMIT 5"

Ce même workflow fonctionne avec Parquet, TSV, JSON, Avro, ORC et bien d’autres formats pris en charge ; il suffit de modifier la clause FORMAT et de fournir le fichier approprié en entrée.