DataStore: واجهة برمجة تطبيقات متوافقة مع pandas مع تحسينات SQL

DataStore هي واجهة برمجة تطبيقات chDB المتوافقة مع pandas، وتجمع بين واجهة pandas DataFrame المألوفة وقوة تحسين استعلامات SQL، ما يتيح لك كتابة شيفرة بأسلوب pandas مع الحصول على أداء ClickHouse.

• التوافق مع pandas: ‏209 طريقة في pandas DataFrame، و56 طريقة لـ .str، وأكثر من 42 طريقة لـ .dt
• تحسين SQL: تُترجَم العمليات تلقائيًا إلى استعلامات SQL مُحسَّنة
• التقييم الكسول: تُؤجَّل العمليات إلى أن تصبح النتائج مطلوبة
• أكثر من 630 طريقة في واجهة برمجة تطبيقات: واجهة برمجة تطبيقات شاملة لمعالجة البيانات
• امتدادات ClickHouse: ملحقات إضافية (.arr, .json, .url, .ip, .geo) غير متوفرة في pandas

يستخدم DataStore التقييم الكسول مع تنفيذ ثنائي المحرك:

1. سلسلة عمليات كسولة: تُسجَّل العمليات ولا تُنفَّذ فورًا
2. اختيار ذكي للمحرك: يوجّه QueryPlanner كل جزء إلى المحرك الأنسب (chDB لـ SQL، وPandas للعمليات المعقدة)
3. تخزين مؤقت وسيط: تُخزَّن النتائج مؤقتًا عند كل خطوة لتسريع الاستكشاف التكراري

راجع نموذج التنفيذ لمزيد من التفاصيل.

# Before (pandas)
import pandas as pd

df = pd.read_csv("data.csv")
result = df[df['age'] > 25].groupby('city')['salary'].mean()

# After (DataStore) - just change the import!
from chdb import datastore as pd
df = pd.read_csv("data.csv")
result = df[df['age'] > 25].groupby('city')['salary'].mean()

تعمل شيفرة pandas الحالية لديك كما هي، لكنها تعمل الآن على محرك ClickHouse.

يوفّر DataStore تحسينات ملحوظة في الأداء مقارنةً بـ pandas، لا سيما في عمليات التجميع ومسارات المعالجة المعقّدة:

اختبار قياس أداء على 10M صف. راجع برنامج نصي لقياس الأداء ودليل الأداء للاطلاع على التفاصيل.

استخدم DataStore عندما:

• تعمل مع مجموعات بيانات كبيرة (ملايين الصفوف)
• تُجري عمليات التجميع وGroupBy
• تستعلم عن البيانات من الملفات أو قواعد البيانات أو التخزين السحابي
• تبني مسارات بيانات معقدة
• تريد واجهة pandas البرمجية مع أداء أفضل

استخدم واجهة برمجة تطبيقات Raw SQL عندما:

• تفضل كتابة SQL مباشرةً
• تحتاج إلى تحكم دقيق في تنفيذ الاستعلامات
• تعمل مع ميزات خاصة بـ ClickHouse غير المتاحة في واجهة pandas البرمجية

• البدء السريع - التثبيت والاستخدام الأساسي
• الترحيل من Pandas - دليل الترحيل خطوة بخطوة

• دوال المصنع - إنشاء DataStore من مصادر متنوعة
• بناء الاستعلامات - عمليات استعلام بأسلوب SQL
• التوافق مع pandas - جميع الأساليب الـ 209 المتوافقة مع pandas
• Accessors - ملحقات String وDateTime وArray وJSON وURL وIP وGeo
• التجميع - الدوال التجميعية ودوال النافذة
• عمليات الإدخال والإخراج - قراءة البيانات وكتابتها

• نموذج التنفيذ - التقييم الكسول والتخزين المؤقت
• مرجع الفئة - المرجع الكامل لواجهة برمجة التطبيقات

• الإعداد - جميع خيارات الإعداد
• وضع الأداء - وضع يعتمد على SQL أولًا لتحقيق أقصى معدل نقل
• استكشاف الأخطاء وإصلاحها - Explain، وتحليل الأداء، والتسجيل

• دليل وصفات Pandas - الأنماط الشائعة
• الاختلافات الرئيسية - اختلافات مهمة عن pandas
• دليل الأداء - نصائح لتحسين الأداء
• SQL لمستخدمي Pandas - فهم SQL وراء عمليات pandas

from chdb import datastore as pd

# Read data from various sources
ds = pd.read_csv("sales.csv")
# or: ds = pd.DataStore.uri("s3://bucket/sales.parquet")
# or: ds = pd.DataStore.from_mysql("mysql://user:pass@host/db/table")

# Familiar pandas operations - automatically optimized to SQL
result = (ds
    .filter(ds['amount'] > 1000)           # WHERE amount > 1000
    .groupby('region')                      # GROUP BY region
    .agg({'amount': ['sum', 'mean']})       # SUM(amount), AVG(amount)
    .sort_values('sum', ascending=False)    # ORDER BY sum DESC
    .head(10)                               # LIMIT 10
)

# View the generated SQL
print(result.to_sql())

# Execute and get results
df = result.to_df()  # Returns pandas DataFrame

• هل تستخدم DataStore للمرة الأولى؟ ابدأ بـدليل البدء السريع
• هل تنتقل من pandas؟ اقرأ دليل الترحيل
• هل تريد معرفة المزيد؟ اطّلع على مرجع واجهة برمجة التطبيقات