paramètres de session s3_*

Ces paramètres sont disponibles dans system.settings et sont générés automatiquement à partir du code source.

URL de base utilisée pour résoudre les URL relatives dans la fonction de table s3 et le moteur de table S3, ainsi que dans les fonctions de table partageant leur configuration (s3Cluster, gcs, oss).

Lorsqu’elle est définie, une URL sans schéma est résolue par rapport à s3_base conformément à la RFC 3986, selon les mêmes règles que url_base. Les URL contenant déjà un schéma sont utilisées telles quelles.

Par exemple, si s3_base est défini sur s3://clickhouse-public-datasets/, alors s3('hits_compatible/hits.csv') lit s3://clickhouse-public-datasets/hits_compatible/hits.csv.

L’URL de base peut prendre toute forme acceptée par la fonction de table s3, par exemple s3://bucket/, https://bucket.s3.amazonaws.com/ ou https://endpoint/bucket/.

Vérifiez chaque objet téléversé vers S3 à l’aide d’une requête head pour vous assurer que le téléversement a bien réussi

Délai d’expiration de connexion à l’hôte pour les disques S3.

Active ou désactive la création d’un nouveau fichier à chaque insertion dans les tables du moteur S3. Si cette option est activée, un nouvel objet S3 est créé à chaque insertion avec cette clé, selon un schéma comme celui-ci :

initial : data.Parquet.gz -> data.1.Parquet.gz -> data.2.Parquet.gz, etc.

Valeurs possibles :

• 0 — la requête INSERT crée un nouveau fichier, ou échoue si le fichier existe et que s3_truncate_on_insert n’est pas défini.
• 1 — la requête INSERT crée un nouveau fichier à chaque insertion en utilisant un suffixe (à partir du deuxième) si s3_truncate_on_insert n’est pas défini.

Voir plus de détails ici.

Ne calcule pas de somme de contrôle lors de l’envoi d’un fichier vers S3. Cela accélère les écritures en évitant des traitements excessifs sur le fichier. C’est généralement sûr, car les données des tables MergeTree sont de toute façon protégées par des sommes de contrôle calculées par ClickHouse et, lorsque S3 est accessible via HTTPS, la couche TLS garantit déjà l’intégrité pendant le transfert sur le réseau. Des sommes de contrôle supplémentaires sur S3 ajoutent toutefois une défense en profondeur.

Ignorer l'absence d'un fichier lors de la lecture de certaines clés.

Valeurs possibles :

• 1 — SELECT renvoie un résultat vide.
• 0 — SELECT lève une exception.

Nombre maximal de fichiers pouvant être renvoyés en lot par la requête ListObject

La taille minimale de la partie à téléverser lors d’un téléversement multipartite vers S3.

Nombre maximal de valeurs _path pouvant être extraites des filtres de requête pour parcourir les fichiers au lieu d’utiliser un listage par glob. 0 signifie désactivé.

Délai d’expiration d’inactivité pour l’envoi et la réception de données vers/depuis S3. L’opération échoue si un seul appel TCP de lecture ou d’écriture reste bloqué aussi longtemps.

Active ou désactive l’ignorance des fichiers vides dans les tables utilisant le moteur S3.

Valeurs possibles :

• 0 — SELECT lève une exception si le fichier vide n’est pas compatible avec le format demandé.
• 1 — SELECT renvoie un résultat vide pour un fichier vide.

Lorsque cette option est définie sur true, tous les threads exécutant des requêtes S3 vers le même endpoint de sauvegarde sont ralentis dès qu’une seule requête S3 rencontre une erreur réseau pouvant donner lieu à un réessai, comme un timeout de socket. Lorsque cette option est définie sur false, chaque thread gère le backoff des requêtes S3 indépendamment des autres.

La taille exacte de la partie à téléverser lors d'un téléversement multipartite vers S3 (certaines implémentations ne prennent pas en charge les parties de taille variable).

Déclenche une erreur lorsque la requête ListObjects ne correspond à aucun fichier

Active ou désactive la troncature avant les insertions dans les tables utilisant le moteur S3. Si cette option est désactivée, une exception sera levée lors d’une tentative d’insertion si un objet S3 existe déjà.

Valeurs possibles :

• 0 — la requête INSERT crée un nouveau fichier, ou échoue si le fichier existe et que s3_create_new_file_on_insert n’est pas défini.
• 1 — la requête INSERT remplace le contenu existant du fichier par les nouvelles données.

Voir plus de détails ici.

Force le style de l’endpoint S3. Valeurs possibles : auto, virtual_hosted, path.

Lorsque ce paramètre est défini sur true, les deux premières tentatives de toutes les requêtes S3 utilisent des délais d'envoi et de réception courts. Lorsque ce paramètre est défini sur false, toutes les tentatives utilisent des délais identiques.