MongoDB ClickPipeのライフサイクル

このドキュメントでは、MongoDB ClickPipeの各フェーズ、取り得るステータスの種類、およびそれぞれの意味について説明します。

Create ClickPipe ボタンをクリックすると、ClickPipe は Provisioning 状態で作成されます。プロビジョニング処理では、サービスで ClickPipes を実行するための基盤となるインフラストラクチャを立ち上げるとともに、パイプの初期メタデータを登録します。サービス内の ClickPipes 用コンピュートは共有されるため、2 つ目の ClickPipe は 1 つ目よりもはるかに速く作成されます。これは、インフラストラクチャがすでに構築されているためです。

パイプがプロビジョニングされると、Setup 状態になります。この状態では、宛先の ClickHouse テーブルを作成します。

セットアップが完了すると、Snapshot 状態に入ります (CDC のみのパイプである場合は、Running に遷移します) 。Snapshot、Initial Snapshot、Initial Load (より一般的な呼び方) は、いずれも同じ意味で使われます。この状態では、ソースの MongoDB コレクションのスナップショットを取得し、それらを ClickHouse にロードします。oplog の保持期間の設定では、初期ロードにかかる時間を考慮する必要があります。再同期がトリガーされた場合や、既存のパイプに新しいテーブルが追加された場合にも、パイプは Snapshot 状態に入ります。

初期ロードが完了すると、パイプは Running 状態になります (スナップショットのみのパイプを除き、その場合は Completed に遷移します) 。この時点で、パイプは Change-Data Capture を開始します。この状態では、ソースの MongoDB クラスターから ClickHouse への変更のストリーミングが始まります。CDC の制御方法については、CDC の制御に関するドキュメントを参照してください。

パイプがRunning状態になると、一時停止できるようになります。これによりCDC (変更データキャプチャ) プロセスが停止し、パイプはPaused状態に移行します。この状態では、ソースのMongoDBから新しいデータは取り込まれませんが、ClickHouse内の既存データはそのまま保持されます。この状態からパイプを再開できます。

Pause ボタンをクリックすると、パイプは Pausing 状態に入ります。これは一時的な状態で、CDC プロセスの停止処理中であることを示します。CDC プロセスが完全に停止すると、パイプは Paused 状態に入ります。

現在、これはパイプがテーブルを削除している途中であることを示します。

この状態は、パイプが再同期のフェーズにあり、_resync テーブルと元のテーブルのアトミックスワップを実行していることを示します。再同期の詳細については、再同期のドキュメント を参照してください。

この状態はスナップショット専用のパイプに適用され、スナップショットが完了していて、これ以上実行する処理がないことを示します。

パイプで回復不能なエラーが発生すると、Failed 状態になります。この状態から復旧するには、サポートに問い合わせるか、パイプを再同期してください。