Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

Практические рецепты Pandas

View as MarkdownEdit this pageReport an issueSet up docs MCP

Типовые приёмы Pandas и их эквиваленты в DataStore. Большая часть кода работает без изменений!

Загрузка данных

Чтение CSV

# Pandas
import pandas as pd

df = pd.read_csv("data.csv")

# DataStore — то же самое!
from chdb import datastore as pd
df = pd.read_csv("data.csv")

Чтение нескольких файлов

# Pandas
import glob

dfs = [pd.read_csv(f) for f in glob.glob("data/*.csv")]
df = pd.concat(dfs)

# DataStore — эффективнее с glob pattern
df = pd.read_csv("data/*.csv")

Фильтрация

Одно условие

# Pandas и DataStore — идентично
df[df['age'] > 25]
df[df['city'] == 'NYC']
df[df['name'].str.contains('John')]

Несколько условий

# побитовое И
df[(df['age'] > 25) & (df['city'] == 'NYC')]

# OR
df[(df['age'] < 18) | (df['age'] > 65)]

# NOT
df[~(df['status'] == 'inactive')]

Использование query()

# Pandas и DataStore — идентично
df.query('age > 25 and city == "NYC"')
df.query('salary > 50000')

isin()

# Pandas и DataStore — идентично
df[df['city'].isin(['NYC', 'LA', 'SF'])]

between()

# Pandas и DataStore — идентично
df[df['age'].between(18, 65)]

Выбор столбцов

Один столбец

# Pandas и DataStore — идентично
df['name']
df.name  # доступ через атрибут

Несколько столбцов

# Pandas и DataStore — идентично
df[['name', 'age', 'city']]

Выборка и фильтрация

# Pandas и DataStore — идентично
df[df['age'] > 25][['name', 'salary']]

# DataStore также поддерживает SQL-стиль
df.filter(df['age'] > 25).select('name', 'salary')

Сортировка

Один столбец

# Pandas и DataStore — идентично
df.sort_values('salary')
df.sort_values('salary', ascending=False)

Несколько столбцов

# Pandas и DataStore — идентично
df.sort_values(['city', 'salary'], ascending=[True, False])

Получение N наибольших/наименьших значений

# Pandas и DataStore — идентично
df.nlargest(10, 'salary')
df.nsmallest(5, 'age')

GroupBy и агрегация

Простой GroupBy

# Pandas и DataStore — идентично
df.groupby('city')['salary'].mean()
df.groupby('city')['salary'].sum()
df.groupby('city').size()  # количество

Несколько агрегаций

# Pandas и DataStore — идентично
df.groupby('city')['salary'].agg(['sum', 'mean', 'count'])

df.groupby('city').agg({
    'salary': ['sum', 'mean'],
    'age': ['min', 'max']
})

Именованные агрегации

# Pandas и DataStore — идентично
df.groupby('city').agg(
    total_salary=('salary', 'sum'),
    avg_salary=('salary', 'mean'),
    employee_count=('id', 'count')
)

Несколько ключей в GroupBy

# Pandas и DataStore — идентично
df.groupby(['city', 'department'])['salary'].mean()

Соединение данных

INNER JOIN

# Pandas
pd.merge(df1, df2, on='id')

# DataStore — тот же API
pd.merge(df1, df2, on='id')

# DataStore также поддерживает
df1.join(df2, on='id')

Левое JOIN

# Pandas и DataStore — идентично
pd.merge(df1, df2, on='id', how='left')

JOIN по разным столбцам

# Pandas и DataStore — идентично
pd.merge(df1, df2, left_on='emp_id', right_on='id')

Конкатенация

# Pandas и DataStore — идентично
pd.concat([df1, df2, df3])
pd.concat([df1, df2], axis=1)

Операции со строками

Преобразование регистра

# Pandas и DataStore — идентично
df['name'].str.upper()
df['name'].str.lower()
df['name'].str.title()

Подстрока

# Pandas и DataStore — идентично
df['name'].str[:3]        # Первые 3 символа
df['name'].str.slice(0, 3)
# Pandas и DataStore — идентично
df['name'].str.contains('John')
df['name'].str.startswith('A')
df['name'].str.endswith('son')

Замена

# Pandas и DataStore — идентично
df['text'].str.replace('old', 'new')
df['text'].str.replace(r'\d+', '', regex=True)  # Удалить цифры

Разбиение

# Pandas и DataStore — идентично
df['name'].str.split(' ')
df['name'].str.split(' ', expand=True)

Длительность

# Pandas и DataStore — идентично
df['name'].str.len()

Операции с DateTime

Извлечение компонентов

# Pandas и DataStore — идентично
df['date'].dt.year
df['date'].dt.month
df['date'].dt.day
df['date'].dt.dayofweek
df['date'].dt.hour

Форматирование

# Pandas и DataStore — идентично
df['date'].dt.strftime('%Y-%m-%d')

Отсутствующие данные

Проверка наличия пропусков

# Pandas и DataStore — идентично
df['col'].isna()
df['col'].notna()
df.isna().sum()

Удаление пропусков

# Pandas и DataStore — идентично
df.dropna()
df.dropna(subset=['col1', 'col2'])

Заполнение пропущенных значений

# Pandas и DataStore — идентично
df.fillna(0)
df.fillna({'col1': 0, 'col2': 'Unknown'})
df.fillna(method='ffill')

Создание новых столбцов

Простое присваивание

# Pandas и DataStore — идентично
df['total'] = df['price'] * df['quantity']
df['age_group'] = df['age'] // 10 * 10

Использование метода assign()

# Pandas и DataStore — идентично
df = df.assign(
    total=df['price'] * df['quantity'],
    is_adult=df['age'] >= 18
)

Условная логика (where/mask)

# Pandas и DataStore — идентично
df['status'] = df['age'].where(df['age'] >= 18, 'minor')

apply() для собственной логики

# Работает, но запускает выполнение pandas
df['category'] = df['amount'].apply(lambda x: 'high' if x > 1000 else 'low')

# Альтернатива DataStore (остаётся ленивой)
df['category'] = (
    df.when(df['amount'] > 1000, 'high')
      .otherwise('low')
)

Преобразование данных

Сводная таблица

# Pandas и DataStore — идентично
df.pivot_table(
    values='amount',
    index='region',
    columns='product',
    aggfunc='sum'
)

Melt (unpivot)

# Pandas и DataStore — идентично
df.melt(
    id_vars=['name'],
    value_vars=['score1', 'score2', 'score3'],
    var_name='test',
    value_name='score'
)

Раскрытие

# Pandas и DataStore — идентично
df.explode('tags')  # Развернуть столбец типа Array

Оконные функции

Скользящее

# Pandas и DataStore — идентично
df['rolling_avg'] = df['price'].rolling(window=7).mean()
df['rolling_sum'] = df['amount'].rolling(window=30).sum()

Расширение

# Pandas и DataStore — идентично
df['cumsum'] = df['amount'].expanding().sum()
df['cummax'] = df['amount'].expanding().max()

Сдвиг

# Pandas и DataStore — идентично
df['prev_value'] = df['value'].shift(1)   # Lag
df['next_value'] = df['value'].shift(-1)  # Lead

Различия

# Pandas и DataStore — идентично
df['change'] = df['value'].diff()
df['pct_change'] = df['value'].pct_change()

Вывод

В формате CSV

# Pandas и DataStore — идентично
df.to_csv("output.csv", index=False)

В формат Parquet

# Pandas и DataStore — идентично
df.to_parquet("output.parquet")

В DataFrame pandas

# Специфично для DataStore
pandas_df = ds.to_df()
pandas_df = ds.to_pandas()

Дополнительные возможности DataStore

Просмотр SQL

# Только DataStore
print(ds.to_sql())

План выполнения

# Только DataStore
ds.explain()

Функции ClickHouse

# Только для DataStore — дополнительные аксессоры
df['domain'] = df['url'].url.domain()
df['json_value'] = df['data'].json.get_string('key')
df['ip_valid'] = df['ip'].ip.is_ipv4_string()

Универсальный URI

# Только DataStore — чтение из любого источника
ds = DataStore.uri("s3://bucket/data.parquet")
ds = DataStore.uri("mysql://user:pass@host/db/table")
Navigation