Surveiller les métriques Redis avec ClickStack

Commencez par vérifier que vous pouvez vous connecter à Redis et que la commande INFO fonctionne :

# Test connection
redis-cli ping
# Expected output: PONG

# Test INFO command (used by metrics collector)
redis-cli INFO server
# Should display Redis server information

Si Redis nécessite une authentification :

redis-cli -a <your-password> ping

Endpoints Redis courants :

• Installation locale : localhost:6379
• Docker : utilisez le nom du conteneur ou le nom du service (par ex. redis:6379)
• À distance : <redis-host>:6379

ClickStack vous permet d’étendre la configuration de base de l’OpenTelemetry Collector en montant un fichier de configuration personnalisé et en définissant une variable d’environnement. Cette configuration personnalisée est fusionnée avec la configuration de base gérée par HyperDX via OpAMP.

Créez un fichier nommé redis-metrics.yaml avec la configuration suivante :

receivers:
  redis:
    endpoint: "localhost:6379"
    collection_interval: 10s
    # Uncomment if Redis requires authentication
    # password: ${env:REDIS_PASSWORD}
    
    # Configure which metrics to collect
    metrics:
      redis.commands.processed:
        enabled: true
      redis.clients.connected:
        enabled: true
      redis.memory.used:
        enabled: true
      redis.keyspace.hits:
        enabled: true
      redis.keyspace.misses:
        enabled: true
      redis.keys.evicted:
        enabled: true
      redis.keys.expired:
        enabled: true

processors:
  resource:
    attributes:
      - key: service.name
        value: "redis"
        action: upsert

service:
  pipelines:
    metrics/redis:
      receivers: [redis]
      processors:
        - resource
        - memory_limiter
        - batch
      exporters:
        - clickhouse

Cette configuration :

• Se connecte à Redis sur localhost:6379 (ajustez le point de terminaison à votre configuration)
• Collecte des métriques toutes les 10 secondes
• Collecte les principales métriques de performance (commandes, clients, mémoire, statistiques de l’espace de clés)
• Définit l’attribut de ressource service.name requis conformément aux conventions sémantiques OpenTelemetry
• Achemine les métriques vers l’exporter ClickHouse via un pipeline dédié

Métriques clés collectées :

• redis.commands.processed - Commandes traitées par seconde
• redis.clients.connected - Nombre de clients connectés
• redis.clients.blocked - Clients bloqués sur des appels bloquants
• redis.memory.used - Mémoire utilisée par Redis en octets
• redis.memory.peak - Pic d’utilisation de la mémoire
• redis.keyspace.hits - Recherches de clés réussies
• redis.keyspace.misses - Recherches de clés échouées (pour calculer le taux de réussite du cache)
• redis.keys.expired - Clés expirées
• redis.keys.evicted - Clés évincées en raison d’une pression mémoire
• redis.connections.received - Nombre total de connexions reçues
• redis.connections.rejected - Connexions rejetées

Pour activer une configuration personnalisée du collecteur dans votre déploiement ClickStack existant, vous devez :

1. Monter le fichier de configuration personnalisé à l’emplacement /etc/otelcol-contrib/custom.config.yaml
2. Définir la variable d’environnement CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml
3. Vérifier la connectivité réseau entre ClickStack et Redis

Option 1 : Docker Compose

Mettez à jour la configuration de votre déploiement ClickStack :

services:
  clickstack:
    # ... existing configuration ...
    environment:
      - CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml
      # Optional: If Redis requires authentication
      # - REDIS_PASSWORD=your-redis-password
      # ... other environment variables ...
    volumes:
      - ./redis-metrics.yaml:/etc/otelcol-contrib/custom.config.yaml:ro
      # ... other volumes ...
    # If Redis is in the same compose file:
    depends_on:
      - redis

  redis:
    image: redis:7-alpine
    ports:
      - "6379:6379"
    # Optional: Enable authentication
    # command: redis-server --requirepass your-redis-password

Option 2 : Docker run (image tout-en-un)

Si vous utilisez l’image tout-en-un avec docker run :

docker run --name clickstack \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  -e CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml \
  -v "$(pwd)/redis-metrics.yaml:/etc/otelcol-contrib/custom.config.yaml:ro" \
  clickhouse/clickstack-all-in-one:latest

Important : Si Redis s’exécute dans un autre conteneur, utilisez le réseau Docker :

# Create a network
docker network create monitoring

# Run Redis on the network
docker run -d --name redis --network monitoring redis:7-alpine

# Run ClickStack on the same network (update endpoint to "redis:6379" in config)
docker run --name clickstack \
  --network monitoring \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  -e CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml \
  -v "$(pwd)/redis-metrics.yaml:/etc/otelcol-contrib/custom.config.yaml:ro" \
  clickhouse/clickstack-all-in-one:latest

Une fois la configuration terminée, connectez-vous à HyperDX et vérifiez que les métriques sont bien collectées :

1. Accédez à Metrics Explorer
2. Recherchez les métriques commençant par redis. (par ex., redis.commands.processed, redis.memory.used)
3. Vous devriez voir apparaître des points de données selon l’intervalle de collecte configuré

Téléchargez les fichiers de métriques pré-générés (24 heures de Redis Metrics avec des profils réalistes) :

# Télécharger les métriques gauge (mémoire, ratio de fragmentation)
curl -O https://datasets-documentation.s3.eu-west-3.amazonaws.com/clickstack-integrations/redis/redis-metrics-gauge.csv

# Télécharger les métriques sum (commandes, connexions, statistiques keyspace)
curl -O https://datasets-documentation.s3.eu-west-3.amazonaws.com/clickstack-integrations/redis/redis-metrics-sum.csv

Le jeu de données inclut des profils réalistes :

• Échauffement du cache (06:00) - Le taux de réussite passe de 30 % à 80 %
• Pic de trafic (14:30-14:45) - Multiplication par 5 du trafic avec pression sur les connexions
• Pression mémoire (20:00) - Évictions de clés et dégradation des performances du cache
• Profils de trafic quotidiens - Pics pendant les heures ouvrées, baisse en soirée, micro-pics aléatoires

Démarrez une instance ClickStack :

docker run -d --name clickstack-demo \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  clickhouse/clickstack-all-in-one:latest

Attendez environ 30 secondes pour que ClickStack démarre complètement.

Chargez les métriques directement dans ClickHouse :

# Charger les métriques gauge (mémoire, fragmentation)
cat redis-metrics-gauge.csv | docker exec -i clickstack-demo \
  clickhouse-client --query "INSERT INTO otel_metrics_gauge FORMAT CSVWithNames"

# Charger les métriques sum (commandes, connexions, keyspace)
cat redis-metrics-sum.csv | docker exec -i clickstack-demo \
  clickhouse-client --query "INSERT INTO otel_metrics_sum FORMAT CSVWithNames"

Une fois les données chargées, le moyen le plus rapide de visualiser vos métriques est d’utiliser le tableau de bord préconfiguré.

Rendez-vous dans la section Dashboards and visualization pour importer le tableau de bord et afficher toutes les métriques Redis Metrics en une seule vue.

Télécharger le fichier de configuration du tableau de bord.

1. Ouvrez HyperDX et accédez à la section Dashboards
2. Cliquez sur Import Dashboard en haut à droite, dans le menu à points de suspension

3. Téléversez le fichier redis-metrics-dashboard.json, puis cliquez sur Finish Import

Le tableau de bord sera créé avec toutes les visualisations préconfigurées :