Set up docs MCP描述
显示所有可用的分词器。 这些分词器可用于函数 tokens、hasAllTokens、hasAnyTokens 以及 文本索引。
列
name(String) — 分词器名称
示例
SELECT * FROM system.tokenizers;┌─name────────────┐
│ ngrams │
│ splitByNonAlpha │
│ sparseGrams │
│ tokenbf_v1 │
│ ngrambf_v1 │
│ array │
│ splitByString │
│ sparse_grams │
│ asciiCJK │
│ icu │
│ japanese │
└─────────────────┘