max_streams_* セッション設定

これらの設定は system.settings で参照でき、ソースコード から自動生成されています。

0 以外の場合、*Cluster table functions でファイルからデータを読み取るスレッド数を制限します。

0 以外の場合、MergeTree テーブルの読み取りストリーム数を制限します。

UNION ステップで同時にアクティブになるデータストリーム数を制限します (UNION DISTINCT は UNION ALL ステップの後に DISTINCT ステップを適用して実装されているため、UNION ALL と UNION DISTINCT の両方に適用されます) 。UNION クエリに多数のサブクエリがある場合、それらはすべて同時に読み取りバッファを開くため、メモリ使用量はサブクエリ数に比例して増加します。この設定では Concat プロセッサを挿入してパイプラインを絞り込み、同時にアクティブなストリーム数がこの値を超えないようにすることで、ピークメモリを大幅に削減します。実際の制限値は、この値と max_threads * max_streams_for_union_step_to_max_threads_ratio の小さい方です (どちらか一方が 0 の場合は無視されます) 。両方が 0 の場合、絞り込みは適用されません。また、クエリプラン上、UNION の各出力ストリームを個別にソート済みの状態で維持する必要がある場合 (たとえば、read-in-order 最適化が UNION 全体に適用される場合) 、この制限は適用されません。その場合は順序の正しさが優先され、絞り込みはスキップされます。

この比率に max_threads を掛けた値によって、UNION ステップで同時にアクティブなストリーム数の上限が決まります (UNION ALL と UNION DISTINCT の両方に適用されます) 。実際の上限は、この計算値と max_streams_for_union_step のうち小さい方です (どちらか一方が 0 の場合は無視されます) 。たとえば、max_threads = 8 でこの比率を 1 に設定すると、同時にアクティブになるストリームは最大 8 個です。この比率ベースの上限を無効にするには、0 に設定します。max_streams_for_union_step と同様に、クエリプラン上、UNION の各出力ストリームをそれぞれソート済みの状態に保つ必要がある場合、この上限は適用されません。

Merge table から読み取る際に、より多くのストリームを要求します。ストリームは、Merge table が使用する各テーブルに分散されます。これにより、スレッド間で処理をより均等に分散でき、特に結合対象のテーブル間でサイズに差がある場合に効果的です。

スレッド数を上回る数のソースを使用できるようにし、処理をスレッド間でより均等に分散できるようにします。将来的には、ソース数をスレッド数と同じにしつつ、各ソースが利用可能な処理を動的に自ら選択できるようになる見込みであるため、これは一時的な対策と想定されています。