настройки сеанса s3_*

Эти настройки доступны в system.settings и автоматически генерируются из исходного кода.

Базовый URL для разрешения относительных URL в табличной функции s3 и движке таблицы S3, а также в табличных функциях, использующих ту же конфигурацию (s3Cluster, gcs, oss).

Если настройка задана, URL без схемы разрешается относительно s3_base в соответствии с RFC 3986 по тем же правилам, что и url_base. URL, уже содержащие схему, используются без изменений.

Например, если s3_base имеет значение s3://clickhouse-public-datasets/, то s3('hits_compatible/hits.csv') читает данные из s3://clickhouse-public-datasets/hits_compatible/hits.csv.

Базовый URL может быть задан в любом формате, поддерживаемом табличной функцией s3, например s3://bucket/, https://bucket.s3.amazonaws.com/ или https://endpoint/bucket/.

Проверять каждый объект, загруженный в S3, с помощью запроса head, чтобы убедиться, что загрузка выполнена успешно

Тайм-аут подключения к хосту, используемому S3-дисками.

Включает или отключает создание нового файла при каждой вставке в таблицы с движком S3. Если параметр включен, при каждой вставке будет создаваться новый объект S3 с ключом по следующему шаблону:

исходно: data.Parquet.gz -> data.1.Parquet.gz -> data.2.Parquet.gz и т. д.

Возможные значения:

• 0 — запрос INSERT создает новый файл или завершается ошибкой, если файл уже существует и параметр s3_truncate_on_insert не задан.
• 1 — запрос INSERT создает новый файл при каждой вставке, используя суффикс (начиная со второго файла), если параметр s3_truncate_on_insert не задан.

Подробнее см. здесь.

Не вычислять контрольную сумму при отправке файла в S3. Это ускоряет операции записи, так как позволяет избежать лишних проходов по файлу при его обработке. В большинстве случаев это безопасно, поскольку данные таблиц семейства MergeTree в любом случае защищены контрольными суммами в ClickHouse, а при доступе к S3 по HTTPS уровень TLS уже обеспечивает целостность данных при передаче по сети. При этом дополнительные контрольные суммы в S3 обеспечивают эшелонированную защиту.

Игнорирует отсутствие файла при чтении определённых ключей, если файл не существует.

Возможные значения:

• 1 — SELECT возвращает пустой результат.
• 0 — SELECT генерирует исключение.

Максимальное количество файлов, которое запрос ListObject может вернуть в одном батче

Минимальный размер части, загружаемой при multipart-загрузке в S3.

Максимальное количество значений _path, которые можно извлечь из фильтров запроса, чтобы использовать их при переборе файлов вместо перечисления через glob. 0 означает, что параметр отключён.

Тайм-аут простоя при отправке и получении данных в/из S3. Операция завершается с ошибкой, если один вызов TCP на чтение или запись блокируется на это время.

Включает или отключает пропуск пустых файлов в таблицах с движком S3.

Возможные значения:

• 0 — SELECT генерирует исключение, если пустой файл несовместим с запрошенным форматом.
• 1 — SELECT возвращает пустой результат для пустого файла.

Если установлено значение true, все потоки, выполняющие S3-запросы к одной и той же конечной точке резервной копии, замедляются после того, как в любом отдельном S3-запросе возникает сетевая ошибка, допускающая повторную попытку, например тайм-аут сокета. Если установлено значение false, каждый поток обрабатывает задержку S3-запросов независимо от остальных.

Точный размер части, загружаемой при multipart-загрузке в S3 (некоторые реализации не поддерживают части переменного размера).

Сгенерировать исключение, если запрос ListObjects не находит ни одного подходящего файла

Включает или отключает усечение перед вставкой в таблицы с движком S3. Если параметр отключён, при попытке вставки будет сгенерировано исключение, если объект S3 уже существует.

Возможные значения:

• 0 — запрос INSERT создаёт новый файл или завершается ошибкой, если файл уже существует и параметр s3_create_new_file_on_insert не задан.
• 1 — запрос INSERT заменяет существующее содержимое файла новыми данными.

Подробнее см. здесь.

Принудительно задаёт стиль адресации для конечной точки S3. Возможные значения: auto, virtual_hosted, path.

Если установлено значение true, то для всех запросов к S3 первые две попытки выполняются с короткими тайм-аутами отправки и получения. Если установлено значение false, то все попытки выполняются с одинаковыми тайм-аутами.