system.tokenizers

View as MarkdownEdit this pageReport an issueSet up docs MCP

설명

사용 가능한 모든 토크나이저를 표시합니다. 이 토크나이저는 tokens, hasAllTokens, hasAnyTokens 함수와 텍스트 인덱스에서 사용할 수 있습니다.

컬럼

name (String) — 토크나이저 이름

예시

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘