Мониторинг журналов хоста EC2 в ClickStack

На экземпляре EC2 убедитесь, что служба метаданных доступна:

# Get metadata token (IMDSv2)
TOKEN=$(curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600")

# Verify instance metadata
curl -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/instance-id
curl -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/placement/region
curl -H "X-aws-ec2-metadata-token: $TOKEN" http://169.254.169.254/latest/meta-data/instance-type

Вы увидите ID экземпляра, регион и тип инстанса. Если эти команды завершаются ошибкой, проверьте следующее:

• Сервис метаданных экземпляра включен
• IMDSv2 не блокируется группами безопасности или сетевыми ACL
• Вы запускаете эти команды непосредственно из самого экземпляра EC2

Убедитесь, что ваш инстанс EC2 записывает файлы syslog:

# Ubuntu instances
ls -la /var/log/syslog

# Amazon Linux / RHEL instances
ls -la /var/log/messages

# View recent entries
tail -20 /var/log/syslog
# or
tail -20 /var/log/messages

Установите дистрибутив OpenTelemetry Collector Contrib на своем экземпляре EC2:

# Download the latest release
wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.114.0/otelcol-contrib_0.114.0_linux_amd64.tar.gz

# Extract and install
tar -xvf otelcol-contrib_0.114.0_linux_amd64.tar.gz
sudo mv otelcol-contrib /usr/local/bin/

# Verify installation
otelcol-contrib --version

Создайте файл конфигурации для OpenTelemetry Collector по пути /etc/otelcol-contrib/config.yaml:

sudo mkdir -p /etc/otelcol-contrib

Выберите конфигурацию в соответствии с вашим дистрибутивом Linux:

sudo tee /etc/otelcol-contrib/config.yaml > /dev/null << 'EOF'
receivers:
  filelog/syslog:
    include:
      - /var/log/syslog
      - /var/log/**/*.log
    start_at: end
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\S+) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout_type: gotime
        layout: '2006-01-02T15:04:05.999999-07:00'
      
      - type: add
        field: attributes.source
        value: "ec2-host-logs"

processors:
  resourcedetection:
    detectors: [ec2, system]
    timeout: 5s
    override: false
    ec2:
      tags:
        - ^Name
        - ^Environment
        - ^Team
  
  batch:
    timeout: 10s
    send_batch_size: 10000

exporters:
  otlphttp:
    endpoint: "http://YOUR_CLICKSTACK_HOST:4318"
    headers:
      authorization: "${env:CLICKSTACK_API_KEY}"

service:
  pipelines:
    logs:
      receivers: [filelog/syslog]
      processors: [resourcedetection, batch]
      exporters: [otlphttp]
EOF

sudo tee /etc/otelcol-contrib/config.yaml > /dev/null << 'EOF'
receivers:
  filelog/syslog:
    include:
      - /var/log/messages
      - /var/log/**/*.log
    start_at: end
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\w+ \d+ \d{2}:\d{2}:\d{2}) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout: '%b %d %H:%M:%S'
      
      - type: add
        field: attributes.source
        value: "ec2-host-logs"

processors:
  resourcedetection:
    detectors: [ec2, system]
    timeout: 5s
    override: false
    ec2:
      tags:
        - ^Name
        - ^Environment
        - ^Team
  
  batch:
    timeout: 10s
    send_batch_size: 10000

exporters:
  otlphttp:
    endpoint: "http://YOUR_CLICKSTACK_HOST:4318"
    headers:
      authorization: "${env:CLICKSTACK_API_KEY}"

service:
  pipelines:
    logs:
      receivers: [filelog/syslog]
      processors: [resourcedetection, batch]
      exporters: [otlphttp]
EOF

Замените следующее в конфигурации:

• YOUR_CLICKSTACK_HOST: Имя хоста или IP-адрес, по которому доступен ClickStack
• Для локального тестирования можно использовать SSH-туннель (см. раздел «Устранение неполадок»)

Данная конфигурация:

• Считывает системные файлы журналов из стандартных путей (/var/log/syslog для Ubuntu, /var/log/messages для Amazon Linux/RHEL)
• Разбирает формат syslog для извлечения структурированных полей (временная метка, hostname, unit/service, PID, сообщение)
• Автоматически определяет и добавляет метаданные EC2 с помощью процессора resourcedetection
• При наличии также может включать теги EC2 (Name, Environment, Team)
• Отправляет журналы в ClickStack по OTLP HTTP

Экспортируйте API-ключ ClickStack в переменную окружения:

export CLICKSTACK_API_KEY="your-api-key-here"

Чтобы это сохранялось после перезагрузки, добавьте это в профиль оболочки:

echo 'export CLICKSTACK_API_KEY="your-api-key-here"' >> ~/.bashrc
source ~/.bashrc

Запустите OpenTelemetry Collector:

CLICKSTACK_API_KEY="your-api-key-here" /usr/local/bin/otelcol-contrib --config /etc/otelcol-contrib/config.yaml

После запуска коллектора войдите в HyperDX и убедитесь, что журналы поступают вместе с метаданными EC2:

1. Перейдите в представление Search
2. В поле source выберите Logs
3. Отфильтруйте по source:ec2-host-logs
4. Нажмите на запись в журнале, чтобы развернуть её
5. Убедитесь, что в атрибутах ресурса отображаются метаданные EC2:
   • cloud.provider
   • cloud.region
   • host.id (ID экземпляра)
   • host.type (тип инстанса)
   • cloud.availability_zone

Скачайте пример файла журнала:

curl -O https://datasets-documentation.s3.eu-west-3.amazonaws.com/clickstack-integrations/host-logs/journal.log

Набор данных включает:

• Последовательность загрузки системы
• Активность входа по SSH (успешные и неуспешные попытки)
• Инцидент безопасности (атака методом перебора и реакция fail2ban)
• Плановое обслуживание (задания cron, anacron)
• Перезапуски службы (rsyslog)
• Сообщения ядра и активность межсетевого экрана
• Сочетание штатных операций и примечательных событий

Создайте файл ec2-host-logs-demo.yaml со следующей конфигурацией:

cat > ec2-host-logs-demo.yaml << 'EOF'
receivers:
  filelog/journal:
    include:
      - /tmp/host-demo/journal.log
    start_at: beginning
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\S+) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      
      - type: time_parser
        parse_from: attributes.timestamp
        layout: '%Y-%m-%dT%H:%M:%S%z'
      
      - type: add
        field: attributes.source
        value: "ec2-demo"

processors:
  # Simulate EC2 metadata for demo (no real EC2 instance required)
  resource:
    attributes:
      - key: service.name
        value: "ec2-demo"
        action: insert
      - key: cloud.provider
        value: "aws"
        action: insert
      - key: cloud.platform
        value: "aws_ec2"
        action: insert
      - key: cloud.region
        value: "us-east-1"
        action: insert
      - key: cloud.availability_zone
        value: "us-east-1a"
        action: insert
      - key: host.id
        value: "i-0abc123def456789"
        action: insert
      - key: host.type
        value: "t3.medium"
        action: insert
      - key: host.name
        value: "prod-web-01"
        action: insert

service:
  pipelines:
    logs/ec2-demo:
      receivers: [filelog/journal]
      processors:
        - resource
        - memory_limiter
        - transform
        - batch
      exporters:
        - clickhouse
EOF

Запустите ClickStack с демонстрационными журналами и демонстрационной конфигурацией:

docker run --name clickstack-demo \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  -e CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml \
  -v "$(pwd)/ec2-host-logs-demo.yaml:/etc/otelcol-contrib/custom.config.yaml:ro" \
  -v "$(pwd)/journal.log:/tmp/host-demo/journal.log:ro" \
  docker.hyperdx.io/hyperdx/hyperdx-all-in-one:latest

После запуска collector:

1. Откройте HyperDX и войдите в свою учетную запись (возможно, сначала потребуется создать ее)
2. Перейдите в представление поиска и выберите источник Logs
3. Установите временной диапазон 2025-11-10 00:00:00 - 2025-11-13 00:00:00
4. Отфильтруйте по source:ec2-demo
5. Разверните запись в журнале, чтобы просмотреть метаданные EC2 в атрибутах ресурса

Вы должны увидеть журналы со смоделированным контекстом EC2, включая:

• ID экземпляра: i-0abc123def456789
• Регион: us-east-1
• Зона доступности: us-east-1a
• Тип инстанса: t3.medium

Скачать файл конфигурации панели мониторинга.

1. Откройте HyperDX и перейдите в раздел Dashboards
2. Нажмите Import Dashboard в правом верхнем углу в меню с многоточием

3. Загрузите файл host-logs-dashboard.json и нажмите Finish Import

Панель мониторинга будет создана со всеми преднастроенными визуализациями:

Вы можете фильтровать визуализации на панели мониторинга по контексту EC2:

• cloud.region:us-east-1 - показать журналы из конкретного региона
• host.type:t3.medium - фильтровать по типу инстанса
• host.id:i-0abc123def456 - журналы с конкретного инстанса