Можно ли использовать ClickHouse для векторного поиска?

Ваши данные (документы, изображения или структурированные данные) нужно преобразовать в эмбеддинги. Мы рекомендуем создавать эмбеддинги с помощью OpenAI Embeddings API или библиотеки Python с открытым исходным кодом SentenceTransformers.

Эмбеддинг можно представить как большой массив чисел с плавающей запятой, который представляет ваши данные. Ознакомьтесь с этим руководством OpenAI, чтобы узнать больше об эмбеддингах.

После того как эмбеддинги сгенерированы, их нужно сохранить в ClickHouse. Каждый эмбеддинг следует хранить в отдельной строке; также можно добавить метаданные для фильтрации, агрегаций или аналитики. Вот пример таблицы для хранения изображений с подписями:

CREATE TABLE images
(
	`_file` LowCardinality(String),
	`caption` String,
	`image_embedding` Array(Float32)
)
ENGINE = MergeTree;

Допустим, вы хотите найти в своем датасете изображения собак. Для этого можно использовать функцию расстояния, например cosineDistance: взять эмбеддинг изображения собаки и найти похожие изображения:

SELECT
    _file,
	caption,
	cosineDistance(
        -- Эмбеддинг вашего "входного" изображения собаки
        [0.5736801028251648, 0.2516217529773712, ...,  -0.6825592517852783],
        image_embedding
    ) AS score
FROM images
ORDER BY score ASC
LIMIT 10

Этот запрос возвращает имена _file и caption 10 изображений, которые с наибольшей вероятностью соответствуют заданному изображению собаки.