system.tokenizers

View as MarkdownEdit this pageReport an issueSet up docs MCP

Описание

Показывает все доступные токенизаторы. Их можно использовать в функциях tokens, hasAllTokens, hasAnyTokens, а также в текстовом индексе.

Столбцы

name (String) — Имя токенизатора

Пример

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘