Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

chDBでApache Arrowをクエリする方法

View as MarkdownEdit this pageReport an issueSet up docs MCP

Apache Arrow は、データ分野で広く利用されている標準化された列指向メモリフォーマットです。 このガイドでは、Python テーブル関数を使って Apache Arrow をクエリする方法を学びます。

セットアップ

まず、仮想環境を作成します。

python -m venv .venv
source .venv/bin/activate

それでは、chDB をインストールしましょう。 バージョン 2.0.2 以降であることを確認してください。

pip install "chdb>=2.0.2"

それでは、PyArrow、pandas、ipython をインストールしましょう。

pip install pyarrow pandas ipython

このガイドの以降では、コマンドの実行に ipython を使用します。次を実行して起動できます。

ipython

このコードは、Pythonスクリプトや使い慣れたノートブックでも使用できます。

ファイルから Apache Arrow テーブルを作成する

まず、AWS CLI ツール を使って、Ookla データセット の Parquet ファイルを 1 つダウンロードします。

aws s3 cp \
  --no-sign \
  s3://ookla-open-data/parquet/performance/type=mobile/year=2023/quarter=2/2023-04-01_performance_mobile_tiles.parquet .

次に、pyarrow パッケージから Parquet モジュールをインポートします。

import pyarrow.parquet as pq

次に、ParquetファイルをApache Arrowテーブルに読み込みます:

arrow_table = pq.read_table("./2023-04-01_performance_mobile_tiles.parquet")

スキーマを以下に示します。

arrow_table.schema
quadkey: string
tile: string
tile_x: double
tile_y: double
avg_d_kbps: int64
avg_u_kbps: int64
avg_lat_ms: int64
avg_lat_down_ms: int32
avg_lat_up_ms: int32
tests: int64
devices: int64

また、shape 属性を使うことで、行数とカラム数を取得できます:

arrow_table.shape
(3864546, 11)

Apache Arrow をクエリする

それでは、chDB から Arrow テーブルをクエリしてみましょう。 まず、chDB をインポートします：

import chdb

次に、テーブルは次のように記述できます:

chdb.query("""
DESCRIBE Python(arrow_table)
SETTINGS describe_compact_output=1
""", "DataFrame")
               name     type
0           quadkey   String
1              tile   String
2            tile_x  Float64
3            tile_y  Float64
4        avg_d_kbps    Int64
5        avg_u_kbps    Int64
6        avg_lat_ms    Int64
7   avg_lat_down_ms    Int32
8     avg_lat_up_ms    Int32
9             tests    Int64
10          devices    Int64

行数をカウントすることもできます。

chdb.query("SELECT count() FROM Python(arrow_table)", "DataFrame")
   count()
0  3864546

では、もう少し面白いことをしてみましょう。 次のクエリでは、quadkey と tile.* のカラムを除外したうえで、残りのすべてのカラムについて平均値と最大値を計算します。

chdb.query("""
WITH numericColumns AS (
  SELECT * EXCEPT ('tile.*') EXCEPT(quadkey)
  FROM Python(arrow_table)
)
SELECT * APPLY(max), * APPLY(avg) APPLY(x -> round(x, 2))
FROM numericColumns
""", "Vertical")
Row 1:
──────
max(avg_d_kbps):                4155282
max(avg_u_kbps):                1036628
max(avg_lat_ms):                2911
max(avg_lat_down_ms):           2146959360
max(avg_lat_up_ms):             2146959360
max(tests):                     111266
max(devices):                   1226
round(avg(avg_d_kbps), 2):      84393.52
round(avg(avg_u_kbps), 2):      15540.4
round(avg(avg_lat_ms), 2):      41.25
round(avg(avg_lat_down_ms), 2): 554355225.76
round(avg(avg_lat_up_ms), 2):   552843178.3
round(avg(tests), 2):           6.31
round(avg(devices), 2):         2.88
Navigation