Npy

Ввод	Вывод	Псевдоним
✔	✔

Описание

Формат Npy предназначен для загрузки массива NumPy из файла .npy в ClickHouse. Формат файлов NumPy — бинарный формат, используемый для эффективного хранения массивов числовых данных. При импорте ClickHouse рассматривает размерность верхнего уровня как массив строк с одним столбцом.

В таблице ниже приведены поддерживаемые типы данных Npy и соответствующие им типы в ClickHouse:

Сопоставление типов данных

Тип данных Npy (`INSERT`)	Тип данных ClickHouse	Тип данных Npy (`SELECT`)
`i1`	Int8	`i1`
`i2`	Int16	`i2`
`i4`	Int32	`i4`
`i8`	Int64	`i8`
`u1`, `b1`	UInt8	`u1`
`u2`	UInt16	`u2`
`u4`	UInt32	`u4`
`u8`	UInt64	`u8`
`f2`, `f4`	Float32	`f4`
`f8`	Float64	`f8`
`S`, `U`	String	`S`
	FixedString	`S`

Пример использования

Сохранение массива в формате .npy с помощью Python

import numpy as np

arr = np.array([[[1],[2],[3]],[[4],[5],[6]]])
np.save('example_array.npy', arr)

Чтение файла NumPy в ClickHouse

Querysql

SELECT *
FROM file('example_array.npy', Npy)

Responseresponse

┌─array─────────┐
│ [[1],[2],[3]] │
│ [[4],[5],[6]] │
└───────────────┘

Выбор данных

Вы можете выбрать данные из таблицы ClickHouse и сохранить их в файл в формате Npy с помощью следующей команды clickhouse-client:

$ clickhouse-client --query="SELECT {column} FROM {some_table} FORMAT Npy" > {filename.npy}