Set up docs MCPالوصف
يعرض جميع مُقسِّمات الرموز المتاحة. يمكن استخدام هذه الأدوات في الدوال tokens، وhasAllTokens، وhasAnyTokens، وفي الفهرس النصي.
الأعمدة
name(String) — اسم مُقسِّم الرموز
مثال
SELECT * FROM system.tokenizers;┌─name────────────┐
│ ngrams │
│ splitByNonAlpha │
│ sparseGrams │
│ tokenbf_v1 │
│ ngrambf_v1 │
│ array │
│ splitByString │
│ sparse_grams │
│ asciiCJK │
│ icu │
│ japanese │
└─────────────────┘