ArrowStream

ArrowStream es el formato de Apache Arrow para el «modo stream». Está diseñado para procesar flujos en memoria.

En el siguiente ejemplo usamos el conjunto de datos forex, que está disponible en el Playground de SQL de ClickHouse. Puede conectarse a él de forma remota con clickhouse-client usando el host sql-clickhouse.clickhouse.com y el usuario demo (que no tiene contraseña). La tabla forex se encuentra en la base de datos forex, así que la seleccionamos como base de datos predeterminada:

clickhouse-client --secure --host sql-clickhouse.clickhouse.com --user demo --database forex

La tabla forex almacena tipos de cambio de divisas. Podemos comprobar su tamaño y el nivel de compresión en disco consultando system.columns:

SELECT
    table,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size,
    sum(data_compressed_bytes) / sum(data_uncompressed_bytes) AS compression_ratio
FROM system.columns
WHERE (database = 'forex') AND (table = 'forex')
GROUP BY table
ORDER BY table ASC

   ┌─table─┬─compressed_size─┬─uncompressed_size─┬───compression_ratio─┐
1. │ forex │ 63.69 GiB       │ 280.48 GiB        │ 0.22708227109363446 │
   └───────┴─────────────────┴───────────────────┴─────────────────────┘

A diferencia del formato Arrow en "modo archivo", que requiere el resultado completo antes de poder leerse, ArrowStream se entrega como una secuencia de lotes de registros que un consumidor puede leer de forma incremental a medida que llegan. Esto lo hace muy adecuado para transmitir el resultado de una consulta directamente a una herramienta de visualización o analítica sin materializar antes el conjunto de datos completo.

Para transmitir el resultado, envíe la consulta a través de la interfaz HTTP de ClickHouse con una solicitud POST y lea la respuesta como un flujo Arrow. Desactivamos la compresión de la salida Arrow mediante la opción output_format_arrow_compression_method para que los consumidores puedan decodificar los lotes directamente a medida que se reciben.

La salida de ArrowStream es binaria sin procesar, así que, en lugar de imprimirla en la terminal, la canalizamos a un consumidor. El flujo es autodescriptivo (lleva su propio esquema), así que aquí lo canalizamos directamente a clickhouse-local, que lee los lotes entrantes con --input-format ArrowStream y los consulta como una tabla. La tabla forex es grande, así que acotamos la consulta remota con un predicado WHERE y un LIMIT para que este ejemplo sea breve:

curl "https://sql-clickhouse.clickhouse.com:8443/?user=demo&database=forex" \
    --data-binary "
        SELECT
            concat(base, '.', quote) AS base_quote,
            datetime AS last_update,
            CAST(bid, 'Float32') AS bid,
            CAST(ask, 'Float32') AS ask,
            ask - bid AS spread
        FROM forex
        WHERE base = 'USD' AND quote = 'CHF'
        ORDER BY datetime ASC
        LIMIT 5
        FORMAT ArrowStream
        SETTINGS output_format_arrow_compression_method='none'" \
  | clickhouse-local --input-format ArrowStream \
      --query "SELECT * FROM table ORDER BY last_update ASC FORMAT PrettyCompact"

   ┌─base_quote─┬─────────────last_update─┬────bid─┬────ask─┬────────────────spread─┐
1. │ USD.CHF    │ 2000-05-30 17:23:44.000 │  1.688 │ 1.6885 │ 0.0005000829696655273 │
2. │ USD.CHF    │ 2000-05-30 17:23:46.000 │ 1.6885 │  1.689 │ 0.0004999637603759766 │
3. │ USD.CHF    │ 2000-05-30 17:23:48.000 │ 1.6886 │ 1.6891 │ 0.0005000829696655273 │
4. │ USD.CHF    │ 2000-05-30 17:23:49.000 │ 1.6888 │ 1.6893 │ 0.0004999637603759766 │
5. │ USD.CHF    │ 2000-05-30 17:24:45.000 │  1.689 │ 1.6895 │ 0.0004999637603759766 │
   └────────────┴─────────────────────────┴────────┴────────┴───────────────────────┘

El mismo flujo puede consumirse de forma incremental con cualquier client compatible con Arrow, que lo lee lote por lote en lugar de almacenar en un búfer todo el resultado. Por ejemplo, con la biblioteca Apache Arrow para JavaScript, un RecordBatchReader genera cada lote de registros en cuanto se transmite desde el servidor:

const reader = await RecordBatchReader.from(response);
await reader.open();
for await (const recordBatch of reader) {
    const batchTable = new Table(recordBatch);
    const ipcStream = tableToIPC(batchTable, 'stream');
    const bytes = new Uint8Array(ipcStream);
    table.update(bytes);
}

Para ver una guía completa sobre cómo transmitir datos ArrowStream desde ClickHouse a una visualización en tiempo real con Perspective, consulta la entrada del blog Visualizaciones en tiempo real en streaming con ClickHouse, Apache Arrow y Perspective.

ArrowStream comparte la misma configuración de formato que Arrow.