system.tokenizers

View as MarkdownEdit this pageReport an issueSet up docs MCP

Description

Affiche tous les tokenizers disponibles. Ils s’utilisent dans les fonctions tokens, hasAllTokens, hasAnyTokens et dans l’index de texte.

Colonnes

name (String) — Nom du tokenizer

Exemple

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘