ClickHouse Cloud の監視

このガイドでは、ClickHouse Cloud を評価中のエンタープライズチーム向けに、本番環境へのデプロイにおける監視およびオブザーバビリティ機能に関する包括的な情報を提供します。Enterprise のお客様からは、標準で利用できる監視機能、Datadog や AWS CloudWatch などのツールを含む既存のオブザーバビリティスタックとのインテグレーション、さらに ClickHouse Cloud の監視がセルフホストのデプロイと比べてどう異なるのかについて、よく質問が寄せられます。

ClickHouse Cloud は、監視セクションからアクセスできる組み込みのダッシュボードインターフェイスを通じて、包括的な監視機能を提供します。これらのダッシュボードでは、追加の設定なしでシステムメトリクスやパフォーマンスメトリクスをリアルタイムに可視化でき、ClickHouse Cloud における本番環境のリアルタイム監視の主要なツールとして利用できます。

• 高度なダッシュボード: 監視 → 高度なダッシュボード からアクセスできるメインのダッシュボードインターフェイスです。クエリレート、リソース使用量、システムヘルス、ストレージパフォーマンスをリアルタイムで可視化できます。このダッシュボードでは別途認証は不要で、インスタンスのアイドル状態への移行を妨げることもなく、本番システムにクエリ負荷を追加することもありません。各可視化はカスタマイズ可能な SQL クエリに基づいており、すぐに使える chart は、ClickHouse 固有、システムヘルス、Cloud 固有のメトリクスごとにグループ化されています。SQL Console で直接カスタムクエリを作成して、監視を拡張することもできます。

これらの可視化をさらに拡張したいユーザーは、ClickHouse Cloud の dashboards 機能を使用して、システムテーブルに直接クエリできます。

• ネイティブの高度なダッシュボード: 監視セクション内の「You can still access the native advanced dashboard」からアクセスできる、別のダッシュボードインターフェイスです。これは認証付きで別タブに開き、システムとサービスのヘルスを監視するための代替 UI を提供します。このダッシュボードでは基盤となる SQL クエリを変更できるため、より高度な分析が可能です。

どちらのダッシュボードも、外部依存なしでサービスのヘルスとパフォーマンスを即座に可視化できる点で、ClickStack のような外部のデバッグ重視ツールとは異なります。

ダッシュボードの詳細な機能と利用可能なメトリクスについては、高度なダッシュボードのドキュメントを参照してください。

ClickHouse Cloud には、追加の監視機能が用意されています。

• クエリインサイト: クエリのパフォーマンス分析とトラブルシューティングのための組み込みインターフェイス
• リソース使用状況ダッシュボード: メモリ、CPU 割り当て、データ転送の傾向を追跡します。CPU 使用率とメモリ使用量のグラフには、特定の時間範囲における最大使用率メトリクスが表示されます。CPU 使用率グラフには、システムレベルの CPU 使用率メトリクス (ClickHouse の CPU 使用率メトリクスではありません) が表示されます。

各機能の詳細については、クエリインサイト と リソース使用状況 のドキュメントを参照してください。

ClickHouse Cloud では、Prometheus エンドポイントを提供しています。これにより、既存のワークフローを維持しながら、チームの既存スキルを活用し、ClickHouse のメトリクスを Grafana、Datadog、その他の Prometheus 互換ツールを含むエンタープライズ監視プラットフォームに統合できます。

組織レベルのエンドポイントはすべてのサービスのメトリクスを集約し、サービス単位のエンドポイントではより詳細な監視が可能です。主な特長は次のとおりです。

• フィルタ済みメトリクスのオプション: オプションの filtered_metrics=true パラメーターにより、1000 を超える利用可能なメトリクスのうち 125 個の「ミッションクリティカル」なメトリクスに payload を絞り込み、コスト最適化と監視対象の明確化を容易にします
• キャッシュされたメトリクス配信: 1 分ごとに更新される materialized view を使用して、本番システムのクエリ負荷を最小限に抑えます

外部インテグレーションを利用することで、組織は既存の監視ワークフローを維持し、使い慣れたツールに関するチームの知見を活用しながら、現在のプロセスを中断したり大規模な再トレーニングを必要としたりすることなく、ClickHouse の監視をより広範なインフラストラクチャのオブザーバビリティに組み込めます。 チームは既存のアラートルールやエスカレーション手順を ClickHouse のメトリクスに適用できるほか、統合されたオブザーバビリティプラットフォーム内で、データベースのパフォーマンスをアプリケーションやインフラストラクチャの健全性と関連付けて把握できます。このアプローチにより、既存の監視環境に対する投資対効果を最大化し、統合されたダッシュボードと使い慣れたツールのインターフェイスを通じて、より迅速なトラブルシューティングが可能になります。

Grafana は、直接的なプラグインインテグレーションと Prometheus ベースのアプローチの両方で、ClickHouse の監視を提供します。Prometheus エンドポイントのインテグレーションを使用すると、既存の Grafana Cloud インフラストラクチャ内での可視化を実現しながら、監視ワークロードと本番ワークロードを運用上分離できます。設定方法については、Grafana の ClickHouse ドキュメント を参照してください。

Datadog は現在、サービスのアイドル化動作に配慮しつつ、Cloud サービスを適切に監視できる専用 API インテグレーションを開発しています。それまでの間、チームは運用上の分離とコスト効率に優れた監視のために、ClickHouse Prometheus エンドポイントを介した OpenMetrics インテグレーション方式を利用できます。設定方法については、Datadog の Prometheus および OpenMetrics インテグレーションのドキュメントを参照してください。

ClickStack は、詳細なシステム分析やデバッグのために ClickHouse が推奨するオブザーバビリティソリューションです。ClickHouse をストレージエンジンとして利用し、ログ、メトリクス、トレースを単一のプラットフォームで扱えます。このアプローチでは、ClickStack の UI である HyperDX が ClickHouse インスタンス内のシステムテーブルに直接接続します。 HyperDX には、Selects、Inserts、Infrastructure の各タブを備えた ClickHouse 向けのダッシュボードが用意されています。また、チームは Lucene または SQL の構文を使用してシステムテーブルやログを検索できるほか、Chart Explorer でカスタムの可視化を作成して、より詳細なシステム分析を行うこともできます。 このアプローチは、リアルタイムの本番アラートよりも、複雑な問題のデバッグ、パフォーマンス分析、システム内部の詳細な調査に適しています。

• ClickHouse Cloud 上の HyperDX (プライベートプレビュー) : HyperDX は任意の ClickHouse Cloud サービス上で起動できます。
• Helm: Kubernetes ベースのデバッグ環境に推奨されます。ClickHouse Cloud とのインテグレーションをサポートし、values.yaml を使用して環境固有の設定、リソース制限、スケーリングを行えます。
• Docker Compose: 各コンポーネント (ClickHouse、HyperDX、OTel collector、MongoDB) を個別にデプロイします。ClickHouse Cloud とインテグレーションする場合は、未使用のコンポーネント、具体的には ClickHouse と OpenTelemetry Collector を削除できるように compose ファイルを変更できます。
• HyperDX Only: スタンドアロンの HyperDX コンテナー。

デプロイオプションの全体像とアーキテクチャの詳細については、ClickStack ドキュメント と データのインジェストガイド を参照してください。

Grafana用のClickHouseデータソースプラグインを使用すると、システムテーブルを使ってClickHouseから直接データを可視化・分析できます。この方法は、パフォーマンスの監視や、システムを詳細に分析するためのカスタムダッシュボードの作成に適しています。 プラグインのインストールと設定の詳細については、ClickHouseのdata source pluginを参照してください。あらかじめ用意されたダッシュボードとアラートルールを含むPrometheus-Grafana mix-inを使用した完全な監視構成については、Monitor ClickHouse with the new Prometheus-Grafana mix-inを参照してください。

Datadog は、エージェント向けにシステムテーブルを直接クエリする ClickHouse 監視プラグインを提供しています。このインテグレーションにより、clusterAllReplicas 機能を通じてクラスターを認識した包括的なデータベース監視が可能になります。

ClickHouse のシステムテーブル、特に system.query_log を直接クエリすることで、クエリパフォーマンスを詳細に分析できます。SQL コンソールまたは ClickHouse client を使用すると、チームは低速なクエリを特定し、リソース使用状況を分析し、組織全体での利用パターンを追跡できます。

クエリパフォーマンス分析

システムテーブルのクエリログを使用して、クエリパフォーマンス分析を行えます。

クエリ例: すべてのクラスター レプリカにわたって、実行時間の長いクエリの上位 5 件を見つけます。

SELECT
    type,
    event_time, 
    query_duration_ms,
    query,
    read_rows,
    tables
FROM clusterAllReplicas(default, system.query_log)
WHERE event_time >= (now() - toIntervalMinute(60)) AND type='QueryFinish'
ORDER BY query_duration_ms DESC
LIMIT 5
FORMAT VERTICAL

ClickHouseコミュニティでは、一般的なオブザーバビリティスタックと統合できる包括的な監視ソリューションが開発されています。ClickHouse Monitoring は、あらかじめ用意されたダッシュボードを備えた完全な監視環境を提供します。このオープンソースプロジェクトは、確立されたベストプラクティスと実績あるダッシュボード構成を活用してClickHouseの監視を導入したいチームに、すぐに始められるアプローチを提供します。

上記のいずれのアプローチでも、Prometheus エンドポイントの利用、ClickHouse Cloud による管理、またはシステムテーブルへの直接クエリといった方法を、単独または組み合わせて用います。 このうち最後の選択肢は、本番の ClickHouse サービスに対するクエリに依存します。そのため、監視対象システムにクエリ負荷が加わるだけでなく、ClickHouse Cloud のインスタンスがアイドル状態に入れなくなり、コスト最適化にも影響します。さらに、本番システムで障害が発生すると、両者が密結合しているため、監視にも影響が及ぶ可能性があります。このアプローチは、詳細な内部調査やデバッグには有効ですが、リアルタイムの本番監視にはあまり適していません。Grafana との直接インテグレーションと、次のセクションで説明する外部ツールとのインテグレーションアプローチを比較検討する際は、詳細なシステム分析機能と運用オーバーヘッドの間にあるこれらのトレードオフを考慮してください。