Cloud 変更履歴 - 2024

新しいマーケットプレイスサブスクリプションを、既存の ClickHouse Cloud 組織に関連付けられるようになりました。マーケットプレイスでのサブスクリプション手続きを完了し、ClickHouse Cloud にリダイレクトされた後、以前に作成した既存の組織を新しいマーケットプレイスサブスクリプションに接続できます。以降、その組織内のリソースはマーケットプレイス経由で請求されます。

API キーの有効期限オプションを制限し、有効期限のない OpenAPI キーが作成されないように設定できるようになりました。お使いの組織でこの制限を有効にするには、ClickHouse Cloud Support チームまでお問い合わせください。

Org Admin は、特定の通知に追加の受信者としてメールアドレスを追加できるようになりました。これは、通知をエイリアス宛てに送信したい場合や、ClickHouse Cloud のユーザーではない組織内の他のユーザーにも送信したい場合に便利です。設定するには、Cloud Console の Notification Settings に移動し、メール通知の受信先にしたいメールアドレスを編集します。

AWS 向けの Bring Your Own Cloud がベータとして利用可能になりました。このデプロイメントモデルでは、お客様ご自身の AWS アカウントで ClickHouse Cloud をデプロイして実行できます。現在、11 以上の AWS リージョンでのデプロイをサポートしており、対応リージョンは今後さらに拡大予定です。ご利用を希望される場合は、サポートにお問い合わせください。なお、このデプロイメントは大規模な導入向けに限定されています。

このすぐに使えるインテグレーションを利用すると、わずか数クリックで Postgres データベースを ClickHouse Cloud にレプリケートし、ClickHouse による超高速分析を活用できます。このコネクタは、Postgres からの継続的なレプリケーションにも、一回限りの移行にも使用できます。

今週、ClickHouse Cloud でダッシュボードのベータ版をリリースしたことをお知らせします。ダッシュボードを使うと、保存クエリを可視化し、それらをダッシュボードに整理して、クエリパラメータを使ってダッシュボードを操作できます。使い始めるには、ダッシュボードのドキュメントを参照してください。

ClickHouse Cloud でクエリ API エンドポイントが GA リリースとなったことをお知らせします。クエリ API エンドポイントを使うと、数クリックで保存クエリ用の RESTful API エンドポイントを作成でき、言語クライアントや認証まわりの複雑さに煩わされることなく、アプリケーションでデータを利用し始められます。初回リリース以降、以下を含むさまざまな改善を行ってきました。

• エンドポイントのレイテンシを低減 (特にコールドスタート時)
• エンドポイントの RBAC 制御を強化
• CORS で許可するドメインを設定可能
• 結果のストリーミング
• すべての ClickHouse 互換の出力フォーマットをサポート

これらの改善に加えて、既存のフレームワークを活用し、ClickHouse Cloud サービスに対して任意の SQL クエリを実行できる汎用クエリ API エンドポイントもリリースしました。汎用エンドポイントは、サービスの Settings ページから有効化および設定できます。

使い始めるには、クエリ API エンドポイントのドキュメントを参照してください。

ClickHouse Cloud でネイティブ JSON サポートのベータ提供を開始します。利用を開始するには、サポートまでご連絡のうえ、Cloud サービスを有効化してください。

近似ベクトル検索向けのベクトル類似度索引を、早期アクセス版として提供開始します。

ClickHouse はすでに、[距離関数]https://clickhouse.com/blog/reinvent-2024-product-announcements#vector-search-using-vector-similarity-indexes-early-access) の豊富なサポートと線形スキャンの実行機能により、ベクトルベースのユースケースに幅広く対応しています。さらに最近では、usearch ライブラリと Hierarchical Navigable Small Worlds (HNSW) 近似最近傍探索アルゴリズムを用いた、実験的な 近似ベクトル検索 アプローチも追加しました。

利用を開始するには、早期アクセスのウェイトリストにご登録ください。

クライアントで MEMORY_LIMIT_EXCEEDED 例外が発生する問題の影響を受けたお客様には、通知メールを送信しました。

次のバージョン以降にアップグレードしてください:

• Kafka-Connect: > 1.2.5
• ClickHouse-Connect (Java): > 0.8.6

AWS MSK のような特定のデータソースに対して、一方向のアクセスを許可できるようになりました。AWS PrivateLink と VPC Lattice を利用したクロス VPC リソースアクセスにより、VPC やアカウントの境界をまたいで個々のリソースを共有できるほか、パブリックネットワークを経由する場合でもプライバシーとセキュリティを損なうことなく、オンプレミスのネットワークから共有することもできます。利用を開始してリソース共有を設定するには、発表記事をご覧ください。

AWS MSK ClickPipes で、IAM 認証を使用して MSK ブローカーに接続できるようになりました。詳しくは、ドキュメントをご確認ください。

今後、AWS上で作成されるすべての新規サービスで、利用可能な最大レプリカサイズは236 GiBとなります。

これまで、ClickHouse server のメトリクスやハードウェアのリソース使用状況を監視できる高度オブザーバビリティダッシュボードは、オープンソース版の ClickHouse でのみ利用可能でした。この機能が ClickHouse Cloud コンソールでも利用できるようになりました。

このダッシュボードでは、system.dashboards テーブルに基づくクエリをオールインワンの UI で確認できます。今すぐ高度オブザーバビリティダッシュボードの利用を開始するには、監視 > Service Health ページにアクセスしてください。

オートコンプリートが大幅に改善され、新しい AI Copilot により、クエリの入力中にインラインで SQL の補完候補を利用できるようになりました。この機能は、任意の ClickHouse Cloud サービスで "Enable Inline Code Completion" 設定をオンにすると有効になります。

組織内のユーザーに、新しい Billing ロールを割り当てられるようになりました。このロールでは、サービスの設定や管理を行う権限を与えることなく、請求情報の閲覧と管理が可能です。新しいユーザーを招待するか、既存ユーザーのロールを編集して Billing ロールを割り当ててください。

ClickHouse Cloud では現在、いくつかの billing イベントおよびスケーリング イベントに対して、コンソール内通知とメール通知を提供しています。これらの通知は、Cloud Console の通知センターで設定でき、UI のみに表示するか、メールで受け取るか、またはその両方にするかを選べます。受信する通知のカテゴリと重大度は、service レベルで設定できます。

今後は、他のイベントに関する通知や、通知の受信方法の追加にも対応する予定です。

service の通知を有効にする方法の詳細については、ClickHouse Docsをご覧ください。

保護対象保健情報 (PHI) に対してより高いセキュリティを必要とするお客様は、Google Cloud Platform (GCP) 上の ClickHouse Cloud を利用開始できるようになりました。ClickHouse は、HIPAA Security Rule で定められた管理上、物理上、および技術上の保護措置を実装しており、現在は、お客様の具体的なユースケースやワークロードに応じて適用できる、構成可能なセキュリティ設定も提供しています。利用可能なセキュリティ設定の詳細については、セキュリティ機能ページ をご確認ください。

このサービスは GCP us-central-1 で Dedicated サービス種別のお客様向けに提供されており、Business Associate Agreement (BAA) の締結が必要です。この機能へのアクセスを希望する場合、または今後追加される GCP、AWS、Azure の各リージョンのウェイトリストへの参加を希望する場合は、sales または support にお問い合わせください。

先日、AWS 向けの Compute-Compute Separation のプライベートプレビューを発表しましたが、このたび GCP と Azure でも利用可能になりました。

Compute-compute separation を使用すると、特定のサービスを read-write または読み取り専用サービスとして指定できるため、アプリケーションに最適なコンピュート構成を設計し、コストとパフォーマンスを最適化できます。詳細については、ドキュメントをご覧ください。

多要素認証を利用しているお客様は、電話を紛失した場合やトークンを誤って削除してしまった場合に使用できるリカバリーコードを取得できるようになりました。初めてMFAを設定するお客様には、設定時にこのコードが提供されます。すでにMFAを利用しているお客様は、現在のMFAトークンを削除して新しいトークンを追加することで、リカバリーコードを取得できます。

ClickHouse サービスにデータを取り込む最も簡単な方法である ClickPipes の最新アップデートをお知らせします。これらの新機能は、データインジェストをより細かく制御できるようにし、パフォーマンスメトリクスの可視性をさらに高めることを目的としています。

Kafka 向けカスタム認証証明書

Kafka 向け ClickPipes で、SASL とパブリック SSL/TLS を使用する Kafka broker 用のカスタム認証証明書がサポートされるようになりました。ClickPipe の Setup 時に SSL Certificate セクションで独自の証明書を簡単にアップロードでき、Kafka との接続をより安全に確立できます。

Kafka と Kinesis 向けレイテンシメトリクスの導入

パフォーマンスの可視性は非常に重要です。ClickPipes ではレイテンシグラフが利用可能になり、メッセージが生成されてから (Kafka topic または Kinesis Stream) ClickHouse Cloud にインジェストされるまでの時間を把握できます。この新しいメトリクスにより、データパイプラインのパフォーマンスをこれまで以上に詳しく監視し、必要に応じて最適化できます。

Kafka と Kinesis 向けスケーリング制御 (プライベートベータ)

高スループットなワークロードでは、データ量やレイテンシの要件を満たすために、追加のリソースが必要になることがあります。ClickPipes に水平スケーリングを導入し、Cloud Console から直接利用できるようになりました。この機能は現在プライベートベータとして提供されており、要件に応じてリソースをより効果的にスケールできます。ベータへの参加をご希望の場合は、support までご連絡ください。

Kafka と Kinesis 向け raw message インジェスト

Kafka または Kinesis のメッセージ全体を、パースせずにそのまま取り込めるようになりました。ClickPipes では _raw_message virtual column がサポートされ、メッセージ全体を 1 つの String カラムにマッピングできます。これにより、必要に応じて生データを柔軟に扱えます。

Terraform を使用すると、ClickHouse Cloud サービスをプログラムで制御し、設定をコードとして管理できます。ClickHouse の Terraform プロバイダーはダウンロード数がまもなく 20 万件に達し、このたび正式に v1.0.0 となりました。この新バージョンには、再試行ロジックの改善に加え、ClickHouse Cloud サービスにプライベート エンドポイントを関連付けるための新しいリソースなどが含まれています。Terraform プロバイダーはこちらからダウンロードでき、完全な変更履歴はこちらで確認できます。

このたび、2024年版 SOC 2 Type II レポートおよび更新版 ISO 27001 証明書をご利用いただけるようになりましたので、お知らせします。これらには、新たに開始した Azure 上のサービスに加え、AWS および GCP 上のサービスも引き続き対象として含まれています。

当社の SOC 2 Type II は、ClickHouse ユーザーに提供するサービスにおけるセキュリティ、可用性、処理の完全性、機密性の確保に継続的に取り組んでいることを示すものです。詳細については、American Institute of Certified Public Accountants (AICPA) が公開している SOC 2 - SOC for Service Organizations: Trust Services Criteria および International Standards Organization (ISO) による What is ISO/IEC 27001 をご覧ください。

セキュリティおよびコンプライアンス関連の文書やレポートについては、当社の Trust Center もご確認ください。

既存の ClickHouse Cloud サービスでは、レプリカが読み取りと書き込みの両方を処理しており、特定のレプリカをどちらか一方の処理のみに割り当てることはできません。現在提供予定の新機能 Compute-compute separation では、特定のサービスを読み書き可能または読み取り専用サービスとして指定できるため、アプリケーションに合わせて最適なコンピュート構成を設計し、コストとパフォーマンスを最適化できます。

この新しい Compute-compute separation 機能により、それぞれが独自のエンドポイントを持つ複数のコンピュートノードグループを作成できます。これらは同じオブジェクトストレージフォルダーを使用するため、同じテーブルやビューなどを共有します。詳細は、Compute-compute separation はこちらをご覧ください。この機能のプライベートプレビューへのアクセスをご希望の場合は、サポートにお問い合わせください。

ClickPipes は、ClickHouse Cloud にデータを取り込む最も簡単な方法です。S3 および GCS 向けの ClickPipes が 一般提供 になったことをお知らせします。ClickPipes は、一回限りのバッチ取り込みと「continuous mode」の両方をサポートしています。取り込みタスクは、特定のリモートバケットからパターンに一致するすべてのファイルを ClickHouse の宛先テーブルに読み込みます。「continuous mode」では、ClickPipes のジョブが継続的に実行され、リモートのオブジェクトストレージバケットに追加された一致ファイルを到着に応じて取り込みます。これにより、任意のオブジェクトストレージバケットを、ClickHouse Cloud にデータを取り込むための本格的なステージング領域として利用できるようになります。ClickPipes の詳細については、ドキュメントをご覧ください。

前回のクラウド changelog では、ClickHouse Cloud から Prometheus メトリクスをエクスポートするためのプライベートプレビューを発表しました。この機能を使用すると、ClickHouse Cloud API を利用して、Grafana や Datadog などのツールでメトリクスを可視化できます。この機能が 一般提供 となったことをお知らせします。詳細は、ドキュメント をご覧ください。

ClickHouse には、DESCRIBE のように、テーブルを調べてスキーマを確認できるコマンドがあります。これらのコマンドはコンソールに出力されますが、テーブルやカラムに関する必要な情報をすべて取得するには複数のクエリを組み合わせる必要があるため、必ずしも使いやすいとは限りません。

このたび、Cloud コンソールに Table Inspector を追加しました。これにより、SQL を書かなくても、UI 上で重要なテーブル情報やカラム情報を確認できます。お使いのサービスで Table Inspector を試すには、Cloud コンソールをご利用ください。スキーマ、ストレージ、圧縮などの情報を、1 つの統合されたインターフェイスで確認できます。

当社の Java クライアント は、ClickHouse への接続に使われるクライアントの中でも特に人気の高いものの 1 つです。そこで、API の再設計や各種パフォーマンス最適化を行い、さらに使いやすく直感的に利用できるようにしました。これらの変更により、Java アプリケーションから ClickHouse への接続が大幅に簡単になります。更新版 Java クライアントの使い方について詳しくは、この ブログ記事 をご覧ください。

ここ数年にわたり、クエリ分析と最適化のための新しいアナライザの開発に取り組んできました。このアナライザによりクエリパフォーマンスが向上し、より高速で効率的な JOIN をはじめ、さらなる最適化が可能になります。これまでは、新規ユーザーは設定 allow_experimental_analyzer を使用してこの機能を有効にする必要がありました。現在、この改良されたアナライザは、新しい ClickHouse Cloud サービスでデフォルトで利用できます。

アナライザについては、今後もさらに多くの最適化を予定しています。引き続きご注目ください。

Microsoft Azure のサポートは、今年 5 月にベータ版として初めて発表しました。今回の最新リリースでは、Azure サポートがベータから一般提供へ移行したことをお知らせします。これにより、ClickHouse Cloud は AWS、Google Cloud Platform、Microsoft Azure の主要 3 大クラウドプラットフォームすべてで利用可能になりました。

このリリースには、Microsoft Azure Marketplace 経由でのサブスクリプション対応も含まれています。本サービスは、まず以下のリージョンでサポートされます。

• 米国: West US 3 (Arizona)
• 米国: East US 2 (Virginia)
• ヨーロッパ: Germany West Central (Frankfurt)

対応を希望する特定のリージョンがある場合は、お問い合わせください。

Cloud コンソール の新しいクエリインサイト UI により、ClickHouse に組み込まれたクエリログを大幅に使いやすくしました。ClickHouse の system.query_log テーブルは、クエリ最適化、デバッグ、そしてクラスター全体の健全性やパフォーマンスの監視において重要な情報源です。ただし、注意点が 1 つあります。70 を超えるフィールドがあり、さらに 1 つのクエリにつき複数のレコードが存在するため、クエリログを読み解くには高い学習コストが伴います。このクエリインサイトの初期バージョンは、クエリのデバッグや最適化パターンをよりシンプルにするための今後の取り組みの土台となるものです。今後もこの機能を継続的に改善していくにあたり、ぜひフィードバックをお寄せください。皆さまのご意見をお待ちしています。

おそらく、これまでで最も多くのご要望をいただいてきた機能の 1 つです。ClickHouse Cloud から Prometheus メトリクスを Grafana や Datadog にエクスポートして可視化できるようになりました。Prometheus は、ClickHouse を監視し、カスタムアラートを設定するためのオープンソースのソリューションです。お使いの ClickHouse Cloud サービスの Prometheus メトリクスには、ClickHouse Cloud API 経由でアクセスできます。この機能は現在プライベートプレビューです。組織でこの機能を有効にするには、サポートチーム までお問い合わせください。

• バックアップの頻度、保持期間、スケジュールなどのカスタムポリシーを設定できる設定可能なバックアップが、一般提供開始となりました。

最近まで、新しい ClickPipes 向け Kafka Connector を設定すると、常に Kafka トピックの先頭からデータを消費していました。そのため、履歴データを再処理したい場合や、新たに流入するデータを監視したい場合、あるいは正確な位置から再開したい場合など、特定のユースケースには十分な柔軟性がありませんでした。

Kafka 向け ClickPipes に、Kafka トピックからのデータ消費をより柔軟かつ細かく制御できる新機能が追加されました。これにより、どのオフセットからデータの消費を開始するかを設定できるようになりました。

利用可能なオプションは次のとおりです。

• 先頭から: Kafka トピックの先頭からデータの消費を開始します。すべての履歴データを再処理する必要がある場合に最適です。
• 最新から: 最新のオフセットからデータの消費を開始します。新しいメッセージだけを対象にしたい場合に便利です。
• タイムスタンプから: 特定のタイムスタンプ時点以降に生成されたメッセージからデータの消費を開始します。この機能により、より正確な制御が可能になり、処理を特定の時点から再開できます。

Fast release channel では、サービスが release schedule より早く更新を受け取れます。以前は、この機能を有効にするにはサポートチームの支援が必要でした。現在は、ClickHouse Cloud コンソール からサービスに対してこの機能を直接有効にできます。Settings に移動し、Enroll in fast releases をクリックするだけです。これで、サービスは更新が利用可能になり次第すぐに受け取れるようになります。

ClickHouse Cloud は、水平スケーリングに対応しており、サービスに同じサイズのレプリカを追加できます。水平スケーリングにより、同時実行されるクエリに対応するためのパフォーマンスと並列性が向上します。これまでは、レプリカを追加するには ClickHouse Cloud コンソールまたは API を使用する必要がありました。現在では、Terraform を使用してサービスのレプリカを追加または削除できるため、必要に応じて ClickHouse サービスをプログラムでスケールできるようになりました。

詳細については、ClickHouse Terraform プロバイダーを参照してください。

SQLクエリを作成すると、そのクエリはチーム内のほかのメンバーにとっても役立つことがよくあります。これまでは、クエリを Slack やメールで送る必要があり、あとから編集しても、チームメンバーがそのクエリの更新を自動的に受け取る手段はありませんでした。

このたび、ClickHouse Cloudコンソールからクエリを簡単に共有できるようになりました。クエリエディタから、チーム全体または特定のチームメンバーにクエリを直接共有できます。また、読み取り専用か書き込み可能かのアクセス権も指定できます。新しい共有クエリ機能を試すには、クエリエディタの Share ボタンをクリックしてください。

ついに、Microsoft Azure 上で ClickHouse Cloud サービスを作成できるようになりました。すでに多くのお客様が、プライベートプレビュー プログラムの一環として、Azure 上の ClickHouse Cloud を本番環境で利用しています。これで、どなたでも Azure 上に独自のサービスを作成できます。AWS と GCP でサポートされている ClickHouse の主要機能は、Azure でもすべて利用できます。

今後数週間のうちに、Azure 向け ClickHouse Cloud を一般提供できる見込みです。詳しくはこちらのブログ記事をご覧いただくか、ClickHouse Cloud コンソールから Azure を使用して新しいサービスを作成してください。

注意: 現時点では、Azure の Development サービスはサポートされていません。

プライベートリンク 機能を使用すると、ClickHouse Cloud サービスをクラウドプロバイダーアカウント内の内部サービスに、トラフィックをパブリックインターネット経由にすることなく接続できるため、コスト削減とセキュリティ強化を実現できます。従来は、この設定は難しく、ClickHouse Cloud API を使用する必要がありました。

現在では、ClickHouse Cloud コンソールから数回クリックするだけで、プライベート エンドポイントを直接設定できます。サービスの Settings に移動し、Security セクションを開いて、Set up private endpoint をクリックするだけです。

ClickPipesは、コードを書くことなくデータを取り込める ClickHouse Cloud 提供のサービスです。Amazon Kinesisは、データストリームを取り込んで保存し、処理できるようにするAWSの完全マネージド型ストリーミングサービスです。特にご要望の多かったインテグレーションの1つである、Amazon Kinesis向けClickPipesベータを公開できることを大変うれしく思います。ClickPipesには今後さらに多くのインテグレーションを追加していく予定ですので、対応してほしいデータソースがあればぜひお知らせください。この機能の詳細はこちらをご覧ください。

クラウドコンソールで、ClickPipes向けの新しいAmazon Kinesisインテグレーションを試すことができます。

バックアップは、どれほど信頼性の高いデータベースであっても重要です。ClickHouse Cloud では、サービス開始当初からバックアップを非常に重視してきました。今週、サービスのバックアップをより柔軟に設定できる「設定可能なバックアップ」をリリースしました。これにより、開始時刻、保持期間、頻度を指定できるようになりました。この機能は Production および Dedicated サービスで利用でき、Development サービスでは利用できません。現在この機能はプライベートプレビュー段階のため、ご利用のサービスで有効にするには support@clickhouse.com までお問い合わせください。設定可能なバックアップの詳細はこちらをご覧ください。

ClickHouse向けのSQLクエリを作成しても、そのクエリをアプリケーションから利用できるようにするには、引き続きドライバー経由でClickHouseに接続する必要があります。そこで、新しい Query Endpoints 機能を使えば、設定不要でAPIから直接SQLクエリを実行できます。クエリエンドポイントが JSON、CSV、または TSV を返すように指定することも可能です。お使いのクエリでこの新機能を試すには、クラウドコンソール の「Share」ボタンをクリックしてください。Query Endpoints の詳細はこちらをご覧ください。

ClickHouse Developトレーニングコースには、無料のトレーニングモジュールが12個用意されています。これまでは、ClickHouseの習熟度を公式に証明する方法はありませんでした。このたび、ClickHouse Certified Developer になるための公式試験を開始しました。この試験に合格すると、データインジェスト、モデリング、分析、パフォーマンス最適化などの分野におけるClickHouseの習熟度を、現在および将来の雇用主に示せるようになります。試験はこちらから受験でき、ClickHouse認定資格の詳細はこのブログ記事でもご覧いただけます。

新たにリリースされた クラウドコンソール に、「Data sources」という新しいセクションが追加されていることにお気づきかもしれません。「Data sources」ページは ClickPipes を基盤としており、これは ClickHouse Cloud にネイティブに備わった機能で、さまざまなソースから ClickHouse Cloud へデータを簡単に取り込めます。

今回の ClickPipes の最新アップデートでは、Amazon S3 と Google Cloud Storage からデータを直接アップロードできるようになりました。引き続き組み込みのテーブル関数を使用することもできますが、ClickPipes は UI 経由で利用できるフルマネージドサービスで、数回クリックするだけで S3 や GCS からデータを取り込めます。この機能は現在もプライベートプレビュー段階ですが、今すぐ クラウドコンソール からお試しいただけます。

ClickHouse は大規模なデータセット全体を高速にクエリできますが、当然、その前にデータを ClickHouse に挿入しておく必要があります。Fivetran の豊富なコネクタにより、500 を超えるデータソースからすばやくデータを読み込めるようになりました。Zendesk や Slack をはじめ、お使いのさまざまなアプリケーションからデータを取り込みたい場合でも、Fivetran 向けの新しい ClickHouse 宛先を使用すれば、アプリケーションデータの移行先データベースとして ClickHouse を利用できます。

これは、当社のインテグレーションチームが数か月にわたって尽力して開発したオープンソースのインテグレーションです。詳しくは、こちらの リリースブログ記事 と GitHub リポジトリ をご覧ください。

コンソールの変更点

• SQL コンソールが出力フォーマットに対応

インテグレーションの変更点

• ClickPipes Kafka コネクタがマルチブローカー構成に対応
• PowerBI コネクタで ODBC ドライバの設定オプションを指定可能に

このリリースでは、ClickHouse Cloud で新たに AWS Tokyo リージョン (ap-northeast-1) が利用可能になりました。ClickHouse を最速のデータベースにすることを目指し、レイテンシを可能な限り低減できるよう、各クラウドで対応リージョンを継続的に拡大しています。更新されたクラウドコンソールから、Tokyo に新しいサービスを作成できます。

その他の変更:

• Kafka 向け ClickPipes の Avro フォーマットのサポートが一般提供になりました
• Terraform プロバイダーでのリソース (サービスおよびプライベート エンドポイント) のインポートを完全にサポート

• NodeJS client の安定版メジャーリリース: クエリと ResultSet に対する高度な TypeScript サポート、URL 設定
• Kafka Connector: DLQ への書き込み時に例外が無視される不具合を修正し、Avro Enum 型のサポートを追加、MSK および Confluent Cloud でコネクタを使用するためのガイドを公開
• Grafana: UI での Nullable 型サポートに関する不具合を修正し、動的な OTel トレーシングテーブル名のサポートを修正
• DBT: カスタム materialization の model 設定を修正。
• Java クライアント: エラーコードのパースが正しく行われない不具合を修正
• Python クライアント: 数値型のパラメータバインドを修正し、クエリバインドにおける数値リストの不具合を修正し、SQLAlchemy Point のサポートを追加。

このリリースでは、新しい クラウドコンソール のプライベートプレビューを提供します。

ClickHouse では、開発者体験をどう向上させるかを常に考えています。最速のリアルタイムデータウェアハウスを提供するだけでは十分ではなく、使いやすく、管理しやすいことも重要だと考えています。

毎月、何千もの ClickHouse Cloud ユーザーが当社の SQL コンソール で数十億件ものクエリを実行しています。そのため、ClickHouse Cloud サービスをこれまで以上に簡単に操作できるよう、世界水準の console への投資をさらに強化することにしました。新しい クラウドコンソール では、独立した SQL エディタと管理 console を、直感的な 1 つの UI に統合しています。

一部のお客様には、新しい クラウドコンソール のプレビューをご提供します。これは、ClickHouse 内のデータを探索し、管理するための、統合された没入感のある新しい体験です。優先アクセスをご希望の場合は、support@clickhouse.com までお問い合わせください。

このリリースでは、Microsoft Azure のサポート、API を介した水平スケーリング、ならびにプライベートプレビューとしてリリースチャネルのサポートが追加されました。

• Microsoft Azure のサポートをプライベートプレビューとして提供開始しました。利用を希望する場合は、アカウント管理またはサポートまでお問い合わせいただくか、ウェイトリストにご登録ください。
• Release Channels を導入しました。これにより、環境の種類に応じてアップグレードのタイミングを指定できます。このリリースでは "fast" release channel を追加し、本番環境より前に非本番環境をアップグレードできるようになりました (有効にするにはサポートにお問い合わせください) 。

• API 経由で水平スケーリングを設定できるようになりました (プライベートプレビュー。利用を有効にするにはサポートにお問い合わせください)
• 起動時にメモリ不足エラーが発生するサービスをスケールアップできるよう、オートスケーリングを改善しました
• Terraform プロバイダー経由で AWS の CMEK をサポートしました

• Microsoft のソーシャルログインのサポートを追加
• SQL コンソールにパラメータ化クエリの共有機能を追加
• クエリエディタのパフォーマンスを大幅に改善 (一部の EU リージョンではレイテンシが 5 秒から 1.5 秒に短縮)

• ClickHouse OpenTelemetry エクスポーター: ClickHouse のレプリケーションテーブルエンジンのサポートを追加し、結合テストを追加
• ClickHouse DBT アダプター: Dictionaries 用の materialization マクロと、有効期限 (TTL) 式のサポートに関するテストを追加
• ClickHouse Kafka Connect Sink: Kafka プラグイン discovery との互換性を追加 (コミュニティからの貢献)
• ClickHouse Java Client: 新しいクライアント API 向けの新しいパッケージを導入し、Cloud テスト向けのテストカバレッジを追加
• ClickHouse NodeJS Client: 新しい HTTP keep-alive の挙動に関するテストとドキュメントを拡充。v0.3.0 リリース以降で利用可能
• ClickHouse Golang Client: Map のキーとして Enum を使用した場合の不具合を修正し、エラーが発生した接続が接続プールに残る場合の不具合を修正 (コミュニティからの貢献)
• ClickHouse Python クライアント: PyArrow を介したクエリ streaming のサポートを追加 (コミュニティからの貢献)

• ClickHouse Cloud を更新し、"クエリキャッシュが有効な場合にロールベースのアクセス制御がバイパスされる" 問題を防止しました (CVE-2024-22412)

このリリースでは、新しい Cloud コンソール エクスペリエンス、S3 および GCS からの一括ロード向け ClickPipes、Kafka 向け ClickPipes での Avro フォーマットのサポートを早期アクセスとして提供します。また、ClickHouse データベースのバージョンを 24.1 に更新し、新しい関数のサポートに加え、パフォーマンスとリソース使用量の最適化も実現しています。

• 新しい Cloud コンソールのエクスペリエンスが早期アクセスで利用可能になりました (参加にご興味がある場合は、サポートまでお問い合わせください) 。
• S3 および GCS からの一括ロード向け ClickPipes が早期アクセスで利用可能になりました (参加にご興味がある場合は、サポートまでお問い合わせください) 。
• Kafka 向け ClickPipes での Avro フォーマットのサポートが早期アクセスで利用可能になりました (参加にご興味がある場合は、サポートまでお問い合わせください) 。

• FINAL の最適化、ベクトル化の改善、集計の高速化については、詳細は 23.12 release blog を参照してください。
• punycode の処理、文字列類似度、外れ値検出のための新しい関数に加え、merges と Keeper のメモリ最適化については、詳細は 24.1 release blog および プレゼンテーション を参照してください。
• この ClickHouse Cloud バージョンは 24.1 をベースとしており、多数の新機能、パフォーマンス改善、バグ修正が含まれています。詳細はコアデータベースの 変更履歴 を参照してください。

• Grafana: v4 向けのダッシュボードの移行とアドホックフィルタリングロジックを修正
• Tableau Connector: DATENAME 関数と "real" 引数の丸め処理を修正
• Kafka Connector: 接続初期化時の NPE を修正し、JDBC ドライバーのオプションを指定できるように改善
• Golang client: レスポンス処理時のメモリ使用量を削減し、Date32 の極端な値を修正し、圧縮有効時のエラー報告を修正
• Python クライアント: datetime パラメーターにおけるタイムゾーンのサポートを改善し、Pandas DataFrame のパフォーマンスを向上

このリリースでは、SQL コンソール アプリケーションの読み込み時間が改善され、ClickPipes での SCRAM-SHA-256 認証がサポートされるようになり、Kafka Connect におけるネスト構造のサポートが拡張されました。

• SQL コンソールの初期ロード時間を最適化
• 'authentication failed' エラーの原因となっていた SQL コンソールのレースコンディションを修正
• 監視ページで、最新のメモリ割り当て値が誤って表示されることがあった問題を修正
• SQL コンソールが KILL QUERY コマンドを重複して発行することがあった問題を修正
• ClickPipes で、Kafka ベースのデータソース向けに SCRAM-SHA-256 認証方式のサポートを追加

• Kafka Connector: 複雑なネスト構造 (Array、Map) のサポートを拡張し、FixedString 型と複数のデータベースへのインジェストに対応
• Metabase: バージョン 23.8 未満の ClickHouse との非互換性を修正
• DBT: model 作成時に設定を渡せるように改善
• Node.js client: 長時間実行されるクエリ (>1時間) をサポートし、空の値も適切に処理するよう改善

このリリースでは、コアデータベースのバージョンをアップグレードし、Terraform 経由でプライベートリンクを設定する機能を追加するとともに、Kafka Connect を介した非同期挿入の exactly-once セマンティクスをサポートしています。

• S3 からの継続的かつ定期的なデータ読み込みに対応する S3Queue テーブルエンジン が本番環境で利用可能になりました - 詳細は 23.11 release blog を参照してください。
• FINAL の大幅なパフォーマンス改善と SIMD 命令のベクトル化の改善により、クエリが高速化されました - 詳細は 23.12 release blog を参照してください。
• この ClickHouse Cloud のバージョンは 23.12 をベースとしており、多数の新機能、パフォーマンス改善、バグ修正が含まれています。詳細は core database changelogs を参照してください。

• Terraform プロバイダー経由で AWS プライベートリンク と GCP Private Service Connect を設定できるようになりました
• リモートファイルからのデータインポートの耐障害性を向上しました
• すべてのデータインポートに、インポートステータスの詳細を表示するフライアウトを追加しました
• S3 データインポートでアクセスキー/シークレットキー認証情報をサポートしました

• Kafka Connect
  • exactly once 向けの async_insert をサポート (デフォルトでは無効)
• Golang クライアント
  • DateTime のバインディングを修正
  • バッチ挿入のパフォーマンスを改善
• Java クライアント
  • リクエスト圧縮の問題を修正

• use_mysql_types_in_show_columns は不要になりました。MySQL インターフェイス経由で接続すると、自動的に有効になります。
• async_insert_max_data_size のデフォルト値が 10 MiB になりました

このリリースでは、Azure Event Hub向けのClickPipesが利用可能になったほか、v4 ClickHouse Grafanaコネクタを使用したログやトレースのナビゲーションワークフローが大幅に改善され、FlywayおよびAtlasのデータベーススキーマ管理ツールのサポートも新たに追加されました。

• Azure Event Hub 向けの ClickPipes サポートを追加
• 新しいサービスは、デフォルトのアイドル移行時間を 15 分に設定して起動されます

• Grafana 向け ClickHouse データソース v4 リリース
  • Table、ログ、時系列、トレース向けの専用エディターを備えたクエリビルダーに全面刷新
  • より複雑で動的なクエリをサポートするため、SQL ジェネレーターを全面刷新
  • ログビューとトレースビューで OpenTelemetry のネイティブサポートを追加
  • ログとトレースのデフォルトのテーブルとカラムを指定できるよう、設定を拡張
  • カスタム HTTP ヘッダーを指定する機能を追加
  • このほかにも多数の改善 - 詳細は完全な変更履歴を参照
• データベーススキーマ管理ツール
  • Flyway が ClickHouse のサポートを追加
  • Ariga Atlas が ClickHouse のサポートを追加
• Kafka Connector Sink
  • デフォルト値を持つテーブルへのインジェストを最適化
  • DateTime64 で文字列形式の日付をサポート
• Metabase
  • 複数のデータベースへの接続をサポート

このリリースでは、AWS の新しいリージョン (ロンドン / eu-west-2) が追加されたほか、Redpanda、Upstash、Warpstream 向けの ClickPipes サポートが追加され、データベースの中核機能である is_deleted の信頼性も向上しました。

• 新しい AWS リージョン: ロンドン (eu-west-2)

• Redpanda、Upstash、Warpstream 向けの ClickPipes サポートを追加
• UI で ClickPipes の認証方式を設定できるようにしました

• Java クライアント:
  • 破壊的変更: 呼び出し時にランダムな URL ハンドルを指定する機能を削除しました。この機能は ClickHouse からも削除されています
  • 非推奨: Java CLI クライアントおよび GRPC パッケージ
  • バッチサイズと ClickHouse インスタンスへの負荷を軽減するため、RowBinaryWithDefaults フォーマットのサポートを追加しました (Exabeam からの要望)
  • Date32 と DateTime64 の範囲境界を ClickHouse と互換性のあるものにし、Spark の Array string type との互換性およびノード選択メカニズムを改善しました
• Kafka Connector: Grafana 用の JMX 監視ダッシュボードを追加しました
• PowerBI: UI で ODBC ドライバの設定を変更できるようにしました
• JavaScript クライアント: クエリの要約情報を公開し、挿入時に特定のカラムのサブセットを指定できるようにし、Web クライアントで keep_alive を設定可能にしました
• Python クライアント: SQLAlchemy の Nothing 型のサポートを追加しました

• ユーザー向けの後方互換性を持たない変更: これまで、2 つの機能 (is_deleted と OPTIMIZE CLEANUP) は、特定の条件下で ClickHouse のデータ破損を引き起こす可能性がありました。ユーザーのデータ整合性を保護しつつ機能の中核は維持するため、この機能の動作を調整しました。具体的には、MergeTree の設定 clean_deleted_rows は現在非推奨で、すでに効果はありません。CLEANUP キーワードはデフォルトでは使用できません (使用するには allow_experimental_replacing_merge_with_cleanup を有効にする必要があります) 。CLEANUP を使用する場合は、必ず FINAL と組み合わせて使用し、さらに OPTIMIZE FINAL CLEANUP の実行後に古いバージョンの行が挿入されないことを保証する必要があります。