input_format_* フォーマット設定

これらの設定は、ソースから自動生成されています。

テキストフォーマット (CSV、TSV など) の読み込み時に許容されるエラーの最大数を設定します。

デフォルト値は 0 です。

必ず input_format_allow_errors_ratio と組み合わせて使用してください。

行の読み込み中にエラーが発生しても、エラーカウンターが input_format_allow_errors_num 未満であれば、ClickHouse はその行を無視して次の行へ進みます。

input_format_allow_errors_num と input_format_allow_errors_ratio の両方のしきい値を超えると、ClickHouse は例外をスローします。

テキストフォーマット (CSV、TSV など) の読み取り時に許容されるエラーの最大割合を設定します。 エラーの割合は、0 から 1 までの浮動小数点数で指定します。

デフォルト値は 0 です。

必ず input_format_allow_errors_num と組み合わせて使用してください。

行の読み取り中にエラーが発生しても、エラーカウンターが input_format_allow_errors_ratio 未満であれば、ClickHouse はその行を無視して次の行へ進みます。

input_format_allow_errors_num と input_format_allow_errors_ratio の両方を超えた場合、ClickHouse は例外をスローします。

ORC、Parquet、Arrow の入力フォーマットの読み取り時に、seek (または範囲読み取り) を許可します。 有効にすると、かつ読み取り元がこれをサポートしている場合 (例: ローカルファイル、S3、範囲指定をサポートしサイズが既知の HTTP) 、 ClickHouse は必要なバイト範囲だけを読み取り、メモリ使用量を抑えることができます。 無効な場合、または読み取り元が seek をサポートしていない場合 (例: ファイルサイズが不明、または stream が seek できない場合) 、 一部のリーダーはファイル全体をメモリに読み込む動作にフォールバックすることがあります。 デフォルトで有効です。

Arrow 入力フォーマットの読み取り時に、欠落しているカラムを許可します

ArrowカラムとCH columnsの照合時に、大文字と小文字を区別しません。

Arrowフォーマットのスキーマ推論時に、未対応の型のカラムをスキップします

Avro/AvroConfluent フォーマットでは、フィールドがスキーマ内に見つからない場合、エラーではなくデフォルト値を使用します

Avro/AvroConfluent フォーマット: NULL かつ非 Nullable 列の場合、デフォルト値を挿入します

RowBinaryWithNamesAndTypes 入力フォーマットで、型名ではなくデータ型をバイナリ形式で読み取ります

バイナリ型のデコード時における型ノードの最大数 (深さではなく、総数) 。Map(String, UInt32) = 3 ノード。悪意のある入力を防ぎます。0 = 無制限。

RowBinary入力フォーマットで、JSON データ型の値を JSON String 値として読み取ります。

BSONフォーマットのスキーマ推論時に、未対応の型を持つフィールドをスキップします。

CapnProtoフォーマットのスキーマ推論時に、サポートされていない型のカラムをスキップします

さまざまなフォーマット (JSONEachRow、CSVWithNames、JSONColumns、BSONEachRow、RowBinaryWithNames など) でデータを取り込む際のカラム名の照合モードを定義します。 サポートされるモードは次のとおりです。

• match_case: 大文字・小文字を区別して照合
  • ignore_case: 大文字・小文字を区別せずに照合
  • auto: まず大文字・小文字を区別して照合を試み、失敗した場合は大文字・小文字を区別しない照合を試みます。

このオプションを有効にすると、接続が予期せず切断された場合でも、バッファ内に残っているデータはエラーとして扱われず、パースおよび処理されます

これを true に設定すると、後続に何もない行末の \r が許可されます

CSV入力で余分なカラムを無視し (ファイルのカラム数が想定より多い場合) 、CSV入力で欠落しているフィールドはデフォルト値として扱います

CSV文字列で、スペースおよびタブ(\t)をフィールド区切り文字として使用できるようにします

CSV から Array を読み取る際、要素はネストされた CSV としてシリアライズされたうえで文字列に格納されているものとして扱います。例: "[""Hello"", ""world"", ""42"""" TV""]"。配列を囲む角括弧は省略できます。

true に設定すると、CSVフォーマットで記述された個別のカラムを Tuple カラムにデシリアライズできます。

これは単体の Tuple にのみ適用されます。Nullable(Tuple) は常に単一の CSV フィールドとして書き込まれ (output_format_csv_serialize_tuple_into_separate_columns を参照) 、同様に単一のフィールドからのみ読み戻されます。この設定にかかわらず、個別のカラムから読み取られることはありません。先頭の \N フィールドが曖昧になるため、Nullable(Tuple) では個別カラムからのパースはサポートされません (タプル全体の外側の NULL を表す場合もあれば、最初の要素の NULL を表す場合もあるためです) 。

単体の Tuple では各要素が 1 つのフィールドを占めるため、直接の最上位要素のフィールドにある \N はカラム全体ではなくその要素を表します。したがって、input_format_null_as_default はその要素に適用されます。タプル全体に単一のフィールドを指定する行は、残りの要素が不足しているため、カラムのデフォルト値を使用するのではなく拒否されます。このようなフィールドを再びカラム全体として読み取るには、この設定を 0 にします。ネストされた Tuple の要素のフィールドにある \N は、引き続きそのネストされた要素全体として読み取られます。

CSVフォーマットの名前と型を含むヘッダーを自動的に検出します

CSV入力内の空のフィールドはデフォルト値として扱います。

CSVフォーマットで挿入される enum 値を enum インデックスとして扱います

CSV で Nullable(String) の欠損値をどのように読み取るかを制御します。欠損値とは、引用符で囲まれていない、カンマの間・前・後にある空の項目のことです。この設定を有効にすると、input_format_csv_empty_as_default の値にかかわらず、Nullable(String) の欠損値は NULL ではなく空の String として解釈されます。

CSVフォーマットのデータ先頭で、指定した行数をスキップします

CSVフォーマットの末尾にある空行をスキップします

CSV文字列の先頭と末尾にあるスペースおよびタブ文字 (\t) を削除します

有効にすると、スキーマ推論時に ClickHouse は文字列フィールドから数値を推論します。 CSV データに引用符で囲まれた UInt64 の数値が含まれている場合に役立ちます。

既定では無効です。

入力データ内の引用符で囲まれた Tuple を、String 型の値として解釈します。

CSVフォーマットでのスキーマ推論に、いくつかの調整とヒューリスティックを使用します

不正な値が原因でCSVフィールドのデシリアライゼーションに失敗した場合に、カラムにデフォルト値を設定できるようにします

CustomSeparated 入力で余分なカラム (ファイルのカラム数が想定より多い場合) を無視し、CustomSeparated 入力で不足しているフィールドはデフォルト値として扱います

CustomSeparated フォーマットの名前と型を含むヘッダーを自動的に検出します

CustomSeparated フォーマットの末尾にある空行をスキップします

INSERT クエリの実行時に、省略された入力カラムの値を、対応するカラムのデフォルト値に置き換えます。このオプションは、JSONEachRow (およびその他の JSON フォーマット) 、CSV、TabSeparated、TSKV、Parquet、Arrow、Avro、ORC、Native フォーマット、および WithNames/WithNamesAndTypes 接尾辞を持つフォーマットに適用されます。

設定可能な値:

• 0 — 無効。
• 1 — 有効。

省略されたフィールドを強制的に NULL 値で初期化します

GeoJSON 入力の読み込み時に、ClickHouse の Geometry 型で表現できない有効な GeoJSON のジオメトリ型 (GeometryCollection など) を geometry カラムに格納する必要がある場合の動作を制御します。

設定可能な値:

• 'throw' (デフォルト) — 例外をスローします。
• 'null' — geometry カラムに NULL 値を挿入し、パースを続行します。

これは geometry カラムが materialized されている場合にのみ適用されます。要求された出力カラムでない場合、そのようなジオメトリは形式の妥当性のみ検証され、この処理はトリガーされません。

Hive Text の入力時に余分なカラムを無視し (ファイルのカラム数が想定より多い場合) 、Hive Text の入力時に欠落しているフィールドをデフォルト値として扱います

Hive テキストファイルでのコレクション (array または map) の項目間の区切り文字

Hive テキストファイルにおけるフィールド間の区切り文字

Hive テキストファイルにおける map のキーと値のペア間の区切り文字

ネストされたオブジェクトを含む JSON データの挿入を有効または無効にします。

対応フォーマット:

• JSONEachRow

設定可能な値:

• 0 — 無効。
• 1 — 有効。

関連項目:

• JSONEachRow フォーマットでの Nested 構造の使用。

IPv4 のデシリアライゼーションでは、変換エラーが発生した場合、例外をスローする代わりにデフォルト値を使用します。

デフォルトでは無効です。

IPv6 のデシリアライゼーションでは、変換エラー時に例外をスローする代わりに、デフォルト値が使用されます。

デフォルトでは無効です。

JSONCompact/JSONCompactEachRow 入力フォーマットの行で、カラム数が可変であることを許可します。 想定より多くのカラムを含む行では余分なカラムを無視し、不足しているカラムはデフォルト値として扱います。

デフォルトでは無効です。

名前付きタプル のパース時に、JSON オブジェクト内で欠落している要素にデフォルト値を挿入します。 この設定は、input_format_json_named_tuples_as_objects 設定が有効な場合にのみ機能します。

デフォルトで有効です。

有効にすると、JSON 入力内の空フィールドをデフォルト値に置き換えます。複雑なデフォルト式を使用する場合は、input_format_defaults_for_omitted_fields も有効にする必要があります。

設定可能な値:

• 0 — 無効。
• 1 — 有効。

名前付きタプル内の JSON オブジェクトで、不明なキーを無視します。

デフォルトで有効です。

不要なフィールドは無視し、パースしません。これを有効にすると、無効な形式の JSON 文字列や重複したフィールドを含む JSON 文字列でも例外がスローされない場合があります

有効な場合、スキーマ推論時に、ClickHouse は値のデータ型が異なる JSON 配列に Array(Dynamic) 型を使用します。

例:

SET input_format_json_infer_array_of_dynamic_from_array_of_different_types=1;
DESC format(JSONEachRow, '{"a" : [42, "hello", [1, 2, 3]]}');

┌─name─┬─type───────────┐
│ a    │ Array(Dynamic) │
└──────┴────────────────┘

SET input_format_json_infer_array_of_dynamic_from_array_of_different_types=0;
DESC format(JSONEachRow, '{"a" : [42, "hello", [1, 2, 3]]}');

┌─name─┬─type─────────────────────────────────────────────────────────────┐
│ a    │ Tuple(Nullable(Int64), Nullable(String), Array(Nullable(Int64))) │
└──────┴──────────────────────────────────────────────────────────────────┘

デフォルトで有効です。

スキーマ推論時に、データサンプル内で Null/{}/[] のみを含む JSON キーに対して String 型を使用できるようにします。 JSON フォーマットでは任意の値を String として読み取れるため、型が不明なキーに String 型を使うことで、スキーマ推論時に Cannot determine type for column 'column_name' by first 25000 rows of data, most likely this column contains only Nulls or empty Arrays/Maps のようなエラーを回避できます。

例:

SET input_format_json_infer_incomplete_types_as_strings = 1, input_format_json_try_infer_named_tuples_from_objects = 1;
DESCRIBE format(JSONEachRow, '{"obj" : {"a" : [1,2,3], "b" : "hello", "c" : null, "d" : {}, "e" : []}}');
SELECT * FROM format(JSONEachRow, '{"obj" : {"a" : [1,2,3], "b" : "hello", "c" : null, "d" : {}, "e" : []}}');

結果:

┌─name─┬─type───────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ obj  │ Tuple(a Array(Nullable(Int64)), b Nullable(String), c Nullable(String), d Nullable(String), e Array(Nullable(String))) │              │                    │         │                  │                │
└──────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

┌─obj────────────────────────────┐
│ ([1,2,3],'hello',NULL,'{}',[]) │
└────────────────────────────────┘

デフォルトで有効です。

Map型のカラムを、タプルのJSON配列としてデシリアライズします。

デフォルトでは無効です。

JSON 内のフィールドの最大深度です。これは厳密な上限ではないため、必ずしも正確に適用されるわけではありません。

単一の JSON オブジェクトに許容される最大サイズ (バイト単位) 。この制限を超えるオブジェクトは、形式が不正である可能性が高いとして拒否されます。これにより、不正な JSON ドキュメントが単一のオブジェクトとしてパースされた際のメモリ枯渇を防ぎます。この制限は、並列パースと非並列パースの両方に適用されます。チェックを無効にするには、0 に設定します。

文字列から JSON をパースする際に JSON カラムの内部 String バッファを構築するとき、2 のべき乗による増加をこのバイト数で上限にします。予約済みサイズがこの値に達すると、バッファは倍増する代わりにこのサイズ単位で増加します。これにより、大きな JSON カラムでの過剰な割り当てを抑制します。0 は無制限 (常に倍増) を意味します。

名前付きタプルのカラムを JSON オブジェクトとしてパースします。

デフォルトで有効です。

JSON 入力フォーマットで、JSON 配列を文字列としてパースできるようにします。

例:

SET input_format_json_read_arrays_as_strings = 1;
SELECT arr, toTypeName(arr), JSONExtractArrayRaw(arr)[3] from format(JSONEachRow, 'arr String', '{"arr" : [1, "Hello", [1,2,3]]}');

結果:

┌─arr───────────────────┬─toTypeName(arr)─┬─arrayElement(JSONExtractArrayRaw(arr), 3)─┐
│ [1, "Hello", [1,2,3]] │ String          │ [1,2,3]                                   │
└───────────────────────┴─────────────────┴───────────────────────────────────────────┘

デフォルトで有効です。

JSON入力フォーマットで、bool を数値としてパースできるようにします。

既定で有効です。

JSON 入力フォーマットで、bool 値を文字列としてパースすることを許可します。

デフォルトで有効です。

JSON 入力フォーマットで、数値を文字列としてパースできるようにします。

デフォルトで有効です。

JSON 入力フォーマット で JSON オブジェクトを文字列としてパースできるようにします。

例:

SET input_format_json_read_objects_as_strings = 1;
CREATE TABLE test (id UInt64, obj String, date Date) ENGINE=Memory();
INSERT INTO test FORMAT JSONEachRow {"id" : 1, "obj" : {"a" : 1, "b" : "Hello"}, "date" : "2020-01-01"};
SELECT * FROM test;

結果:

┌─id─┬─obj──────────────────────┬───────date─┐
│  1 │ {"a" : 1, "b" : "Hello"} │ 2020-01-01 │
└────┴──────────────────────────┴────────────┘

デフォルトで有効です。

JSON入力フォーマットで、JSON文字列に不正なエスケープシーケンスが含まれている場合は例外を発生させます。無効にすると、不正なエスケープシーケンスはデータ内にそのまま残ります。

デフォルトで有効です。

有効にすると、スキーマ推論時に ClickHouse は JSON オブジェクトから named Tuple を推論します。 生成される named Tuple には、サンプルデータ内の対応するすべての JSON オブジェクトに含まれる全要素が含まれます。

例:

SET input_format_json_try_infer_named_tuples_from_objects = 1;
DESC format(JSONEachRow, '{"obj" : {"a" : 42, "b" : "Hello"}}, {"obj" : {"a" : 43, "c" : [1, 2, 3]}}, {"obj" : {"d" : {"e" : 42}}}')

結果:

┌─name─┬─type───────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ obj  │ Tuple(a Nullable(Int64), b Nullable(String), c Array(Nullable(Int64)), d Tuple(e Nullable(Int64))) │              │                    │         │                  │                │
└──────┴────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

デフォルトで有効です。

有効にすると、スキーマ推論時に ClickHouse は文字列フィールドから数値を推論しようとします。 これは、JSON データに引用符で囲まれた UInt64 の数値が含まれている場合に役立ちます。

デフォルトでは無効です。

JSON オブジェクトから named tuple を推論する際、あいまいなパスでは例外の代わりに String 型を使用します

JSON/JSONCompact/JSONColumnsWithMetadata の入力フォーマットでは、この設定が 1 に設定されている場合、 入力データ内のメタデータに含まれる型が、テーブル内の対応するカラムの型と比較されます。

デフォルトで有効です。

入力フォーマットでデータをパースする際に生成されるブロックのサイズを、バイト単位で制限します。これは、ブロックが ClickHouse 側で生成される行ベースの入力フォーマットで使用されます。 0 は、バイト数の制限がないことを意味します。

行ベースの入力フォーマットで、パース中にブロックを出力するまでの最大待機時間をミリ秒単位で制限します。0 は制限なしを意味します。

例: Wikipedia の recent changes を ClickHouse にストリーミングする

clickhouse-client --query 'CREATE TABLE wikipedia_edits (data JSON)'

curl -sS --globoff -H 'Accept: application/json' --no-buffer \
  'https://stream.wikimedia.org/v2/stream/recentchange' \
  | clickhouse-client \
      --query 'INSERT INTO wikipedia_edits FORMAT JSONAsObject' \
      --input_format_max_block_wait_ms 1000 \
      --input_format_connection_handling 1 \
      --min_insert_block_size_rows 0 \
      --min_insert_block_size_bytes 0

自動スキーマ推論のために読み取るデータの最大バイト数。

自動スキーマ推論のために読み取るデータの最大行数です。

挿入される MsgPack データのカラム数です。データからの自動スキーマ推論に使用されます。

MySQL dump 内のテーブルのカラム名と ClickHouse テーブルのカラム名を照合します

データの読み取り元となる MySQL dump 内のテーブル名

Native入力フォーマットでのデータ型変換を許可します

Native入力フォーマット で、型名の代わりにデータ型をバイナリ形式で読み取ります

これらのフィールドのデータ型が Nullable でない場合に、NULL フィールドをデフォルト値で初期化するかどうかを切り替えます。 カラム型が Nullable でなく、この設定が無効な場合、NULL を挿入すると例外が発生します。カラム型が Nullable の場合は、この設定に関係なく、NULL 値はそのまま挿入されます。

この設定は、ほとんどの入力フォーマットに適用されます。

複雑なデフォルト式を使用する場合は、input_format_defaults_for_omitted_fields も有効にする必要があります。

設定可能な値:

• 0 — Nullable でないカラムに NULL を挿入すると例外が発生します。
• 1 — NULL フィールドはカラムのデフォルト値で初期化されます。

ORC入力フォーマットの読み取り時に欠落カラムを許可します

ORC カラムと CH カラムの照合時に、大文字と小文字を区別しません。

ORCファイルの読み取り時に、ORCで辞書エンコードされたカラムをLowCardinalityカラムとして扱います。

ORCファイルの読み取り時に、ORCのメタデータ内のWHERE/PREWHERE式、min/max統計、または ブルームフィルタ に基づいて、ストライプ全体または行グループ全体をスキップします。

ORC の行リーダーで使用するタイムゾーン名です。デフォルトのタイムゾーンは GMT です。

ORCストライプを読み込む際のバッチサイズ。

ORC フォーマットのスキーマ推論時に、サポートされていない型のカラムをスキップします

データフォーマットの順序を保持した並列パースを有効または無効にします。TabSeparated (TSV)、TSKV、CSV、JSONEachRow フォーマットでのみサポートされます。

設定可能な値:

• 1 — 有効。
• 0 — 無効。

geoカラムパーサーを使用して、Array(UInt8) を Point/MultiPoint/Linestring/Polygon/MultiLineString/MultiPolygon 型に変換します

Parquet 入力フォーマットの読み取り時に欠落したカラムを許可します

Parquetファイルの読み取り時に、Parquet メタデータ内の WHERE 式と ブルームフィルタ に基づいて、行グループ全体をスキップします。

Parquet のカラムを CH のカラムと照合する際に、大文字と小文字を区別しません。

Parquet ファイルを読み取る際 (reader v3) 、カラム chunk のすべてのデータページが辞書エンコードされている場合、WHERE/PREWHERE 式と辞書ページの内容に基づいて行グループ全体をスキップします。この値は、この最適化が適用される辞書ページの最大サイズ (バイト単位) です。無効にするには 0 を設定します。ブルームフィルタ と両方を利用できる場合は、こちらが優先されます。

Parquet ファイルを読み取る際、JSON カラムを ClickHouse の JSON カラムとしてパースします。

Parquet のパース時に行グループのプリフェッチを有効にします。現在、プリフェッチに対応しているのはシングルスレッドのパースのみです。

Parquetファイルの読み込み時に、Parquetメタデータ内のWHERE/PREWHERE式と最小値/最大値の統計情報に基づいて、行グループ全体をスキップします。

Parquet入力フォーマットで、読み飛ばしながら読み取る代わりにseekを行うために必要な、ローカル読み取り (file) の最小バイト数

isAdjustedToUTC=false の Parquet timestamp に対して、スキーマ推論で使用するデータ型を決定します。true の場合は DateTime64(…, 'UTC')、false の場合は DateTime64(…) です。ClickHouse にはローカルの wall-clock time を表すデータ型がないため、どちらの動作も完全に正しいわけではありません。直感に反しますが、おそらく 'true' のほうがまだ誤りの少ない選択肢です。これは、'UTC' timestamp を String としてフォーマットすると、正しいローカル時刻の表現になるためです。

Parquet リーダーの最大ブロックサイズです。

Parquet リーダー v3 のおおよそのメモリ制限です。並列に読み取ることができる行グループまたはカラムの数を制限します。1 つのクエリで複数のファイルを読み取る場合、この制限はそれらのファイル全体での総メモリ使用量に適用されます。

メモリ使用量がしきい値を下回っている場合、より積極的にプリフェッチをスケジュールします。ネットワーク越しに読み取る小さなブルームフィルタが多数ある場合などに役立つ可能性があります。

カラム索引の最小値/最大値を使用してページをスキップします。

Parquet リーダーが出力する平均ブロックサイズ (バイト)

Parquet ファイルの読み取り時に行を並べ替えないようにします。通常、行順は保証されず、クエリパイプラインの他の部分で順序が崩れる可能性もあるため、推奨されません。代わりに ORDER BY _row_number を使用してください。

Parquetフォーマットのスキーマ推論時に、サポートされていない型のカラムをスキップします

GeoParquetファイルの読み取り時に、WHERE句内の空間プレディケートとParquetメタデータ内のジオメトリのバウンディングボックス統計 (geospatial_statistics.bboxまたはcovering.bboxカラム) に基づき、行グループ全体をスキップします。また、input_format_parquet_page_filter_push_downと組み合わせることで、個々のページもスキップします。

ページフィルタリングを使用しない場合のParquetファイルからのページ読み取り方法に関する軽微な調整。

Parquetファイルの読み取り時にページのチェックサムを検証します。

通常の非ネスト カラムに対して Google wrapper を有効にします。たとえば、String カラム 'str' に対する google.protobuf.StringValue 'str' です。Nullable カラムでは、空の wrapper はデフォルト値として認識され、存在しないものは null として認識されます

特別な列に enum 値を設定して、protobuf の oneof でどのフィールドが見つかったかを示します

Protobufフォーマットのスキーマ推論時に、サポートされていない型のフィールドをスキップします

DateTime/DateTime64 カラムの引用符なし整数を、秒単位の Unix timestamp ではなく、生の内部値 (DateTime では秒、 DateTime64 ではカラムの精度における tick) として読み取ります。

デフォルトでは無効です。引用符なし数値は、オプションの秒未満精度を含む秒単位の Unix timestamp として扱われ、 Values フォーマット、CAST、toDateTime64 と同様です。これを有効にする (または SET compatibility = '26.7' を設定する) と、 DateTime64 カラムに渡された引用符なし整数が生のスケーリング済み値 (tick) として解釈されていた、26.7 以前のバージョンの 動作を復元できます。レガシーパスで受け入れられるのは、このような引用符なし整数のみです。 この設定を有効にすると、小数部または指数部を含む数値は行入力パスで拒否されます (26.8 より前と同様) 。一方、JSONExtract と型付き JSON 型では、小数は引き続き DateTime64 では秒として読み取られ、DateTime では拒否されます (これも 26.8 より前と同様です) 。Values フォーマット自体では、 ストリーミングパーサーが拒否した数値は SQL 式評価にフォールバックし、秒として読み取られます。 これは 26.8 より前でも、この設定を有効にした場合でも同じです。そのため、小数を含む数値に対する Values の動作は すべての構成で同一です。

この設定が適用されるのは、JSON、Values/Quoted、および JSONExtract/型付き JSON のパスのみです (Quoted パスは、 Quoted エスケープ規則でフィールドをパースするすべてのフォーマットを対象とします: Values、MySQLDump、および Quoted フィールドエスケープを設定した Template/CustomSeparated/Regexp) 。タブ区切り、CSV、その他の エスケープ済み/テキスト全体を扱うフォーマットは影響を受けません。これらでは、大きな引用符なしの DateTime64 数値は引き続き tick として読み取られます。

テキストフォーマット (CSV、TSV) の読み取り中に発生したエラーを記録するために使用するファイルのパス。

余分なデータの挿入をスキップする機能を有効または無効にします。

データの書き込み時に、入力データにターゲットテーブルに存在しないカラムが含まれている場合、ClickHouse は例外をスローします。スキップを有効にすると、ClickHouse は余分なデータを挿入せず、例外もスローしません。

対応フォーマット:

• JSONEachRow (およびその他の JSON フォーマット)
• BSONEachRow (およびその他の JSON フォーマット)
• TSKV
• WithNames/WithNamesAndTypes の接尾辞を持つすべてのフォーマット
• MySQLDump
• Native

設定可能な値:

• 0 — 無効。
• 1 — 有効。

有効にすると、ClickHouse はテキストフォーマットのスキーマ推論で、文字列フィールドから型 Date を推論しようとします。入力データ内のあるカラムのすべてのフィールドが日付として正常に解析された場合、結果の型は Date になります。少なくとも 1 つのフィールドが日付として解析されなかった場合、結果の型は String になります。

デフォルトで有効です。

有効な場合、ClickHouse はテキストフォーマットのスキーマ推論で、文字列フィールドから DateTime64 型を推論しようとします。入力データ内のあるカラムのすべてのフィールドを日時として正常に解析できた場合、結果の型は DateTime64 になります。1 つでも日時として解析できないフィールドがある場合、結果の型は String になります。

デフォルトで有効です。

input_format_try_infer_datetimes が有効な場合、DateTime 型は推論せず、DateTime64 のみを推論します

テキストフォーマットでスキーマ推論を行う際に、指数表記の浮動小数点数も推論するよう試みます (JSON を除く。JSON では指数表記の数値は常に推論されます)

有効な場合、ClickHouse はテキストフォーマットのスキーマ推論で、浮動小数点数ではなく整数として推論を試みます。入力データのそのカラム内の数値がすべて整数であれば、結果の型は Int64 になります。少なくとも 1 つが浮動小数点数であれば、結果の型は Float64 になります。

デフォルトで有効です。

有効にすると、ClickHouse は、カラム/Array の要素に複数の型候補がある場合、テキストフォーマットのスキーマ推論で Variant 型の推論を試みます。

設定可能な値:

• 0 — 無効。
• 1 — 有効。

TSV入力で余分なカラム (ファイルのカラム数が想定より多い場合) を無視し、欠落しているフィールドはデフォルト値として扱います

true に設定すると、file 関数は \n ではなく \r\n を行末とする TSV フォーマットを読み取ります。

TSVフォーマットの名前と型を含むヘッダーを自動的に検出します

TSV入力内の空のフィールドをデフォルト値として扱います。

TSVフォーマットで挿入されるenum値を、enumのインデックスとして扱います。

TSVフォーマットのデータ先頭で、指定した行数をスキップします

TSVフォーマットの末尾にある空行をスキップします

TSVフォーマットでのスキーマ推論に、いくつかの調整とヒューリスティックを使用します

Values フォーマットの場合: テンプレートを使用して式をパースおよび解釈する際は、オーバーフローや精度の問題を回避するため、リテラルの実際の型を確認します。

Values フォーマットでは、フィールドをストリーミングパーサーでパースできない場合、SQL パーサーを実行して SQL 式のテンプレートを推定し、そのテンプレートを使ってすべての行のパースを試みたうえで、すべての行について式を解釈します。

Valuesフォーマットでは、フィールドをストリーミングパーサーで解析できない場合、SQLパーサーを実行し、SQL式として解釈を試みます。

データ挿入時に、カラムの順序をチェックするかどうかを有効または無効にします。

insert のパフォーマンスを向上させるには、入力データのカラム順序がターゲットテーブルと同じであることが確実な場合、このチェックを無効にすることを推奨します。

対応フォーマット:

• CSVWithNames
• CSVWithNamesAndTypes
• TabSeparatedWithNames
• TabSeparatedWithNamesAndTypes
• JSONCompactEachRowWithNames
• JSONCompactEachRowWithNamesAndTypes
• JSONCompactStringsEachRowWithNames
• JSONCompactStringsEachRowWithNamesAndTypes
• RowBinaryWithNames
• RowBinaryWithNamesAndTypes
• CustomSeparatedWithNames
• CustomSeparatedWithNamesAndTypes

設定可能な値:

• 0 — 無効。
• 1 — 有効。

フォーマットパーサーが、入力データのデータ型とターゲットテーブルのデータ型が一致しているかどうかを確認するかを制御します。

対応フォーマット:

• CSVWithNamesAndTypes
• TabSeparatedWithNamesAndTypes
• JSONCompactEachRowWithNamesAndTypes
• JSONCompactStringsEachRowWithNamesAndTypes
• RowBinaryWithNamesAndTypes
• CustomSeparatedWithNamesAndTypes

設定可能な値:

• 0 — 無効。
• 1 — 有効。