- ارفع أو اسحب ملف Parquet — اسحب ملف
.parquetالثنائي إلى منطقة الإفلات، أو انقر على تصفح ملفاً من جهازك. إذا لم يكن لديك ملف جاهز، انقر على أي من البيانات النموذجية الجاهزة للتجربة الفورية. - فحص المخطط والبيانات الوصفية — انتقل إلى تبويب المخطط والبيانات الوصفية لمعاينة الأنواع الفيزيائية (
INT64،DOUBLE،BYTE_ARRAY) والأنواع المنطقيّة، وخوارزميات الضغط (Snappy و Zstd و Gzip). - تصفح والبحث في شبكة البيانات — تصفح السجلات في شبكة تفاعلية سريعة. انقر على أي عمود للترتيب تصاعدياً أو تنازلياً، وابحث عبر كافة الأعمدة لحظياً، وحدد عدد السجلات في كل صفحة.
- تشغيل استعلامات SQL المحلية — استخدم كونسول SQL لكتابة استعلامات قياسية على جدول
parquetمع دوال التجميع مثلCOUNT(*)وSUM()وAVG()وتجميعGROUP BYبسرعة فائقة. - تصدير البيانات ونتائج الاستعلام — صدّر البيانات المفحوصة أو نتائج الاستعلام بضغطة زر إلى ملفات CSV أو JSON أو NDJSON أو جمل SQL INSERT جاهزة لقواعد البيانات.
ما هو مستعرض ملفات Parquet واستوديو استعلامات SQL؟
يُعد مستعرض ملفات Parquet واستوديو استعلامات SQL أداة هندسية متقدمة تعمل محلياً بالكامل داخل متصفحك دون الحاجة لأي سيرفر خلفي، صُممت خصيصاً لفك تشفير وفحص واستعلام وتحويل ملفات Apache Parquet الثنائية. أصبحت صيغة Parquet العامودية المعيار الذهبي المعتمد عالمياً في بحيرات البيانات الضخمة (Data Lakes على AWS و Google Cloud و Azure)، ومستودعات البيانات التحليلية الحديثة مثل Snowflake و Databricks و DuckDB و BigQuery، بالإضافة إلى مجموعات تدريب الذكاء الاصطناعي على Hugging Face و PySpark و Polars. ولكن نظراً لأن ملفات Parquet ثنائية ومضغوطة ومعقدة البنية، فإن فحصها السريع عادة ما يتطلب تشغيل بيئات بايثون ثقيلة أو تثبيت برامج مكتبية ضخمة.
تقضي أداتنا على هذا التعقيد تماماً؛ حيث تتيح لمهندسي ومحللي البيانات والباحثين سحب ملف .parquet وإفلاته داخل المتصفح فوراً، لتقوم تقنيات WebAssembly والذاكرة المحلية بقراءة الملف وتحليل مخططاته وعرض بياناته وتشغيل استعلامات SQL عليه في أجزاء من الألف من الثانية، وبأمان تام دون خروج أي بايت من جهازك.
كيف تعمل المعالجة العامودية ومحرك الاستعلامات داخل المتصفح
تعمل الأداة عبر خط معالجة محلي عالي الأداء:
- قراءة تذييل الملف الوصفي (FileMetaData): تحليل البنية الثنائية بترميز Thrift واستخراج المخططات العامودية وإحصائيات القيم الدنيا والقصوى.
- فك ضغط كتل الصفوف (Row Groups): فك ضغط البيانات العامودية باستخدام خوارزميات Snappy و Zstd و Gzip المترجمة إلى WebAssembly.
- بناء الجداول المتجهة بالذاكرة: ربط الحقول بمصفوفات بايتات تفاعلية لتسريع عمليات الفرز والبحث.
- تنفيذ استعلامات SQL الحية: تشغيل دوال التجميع والتصفية مباشرة على الأعمدة دون استهلاك موارد المعالج.
دليل عملي خطوة بخطوة لاستعراض واستعلام ملفات Parquet
- فتح الملف: اسحب ملف
.parquetوأفلته في منطقة الإفلات ليتم تحميله فوراً في الذاكرة. - فحص المخطط: استعرض تبويب المخطط والبيانات الوصفية لمعرفة أسماء الأعمدة وأنواعها الفيزيائية.
- فرز وبحث السجلات: تصفح شبكة البيانات واستخدم شريط البحث السريع لتصفية السجلات.
- تشغيل استعلامات SQL: افتح كونسول SQL واكتب استعلامات مخصصة لحساب الإجماليات والتجميع.
- تصدير النتائج: صدّر البيانات المصفاة بصيغة CSV أو JSON أو NDJSON أو كود SQL INSERT.
مقارنة معمارية: التخزين العامودي (Parquet) مقابل التخزين الأفقي (SQLite و CSV)
| المعيار التقني | Apache Parquet (عامودي) | SQLite (أفقي B-Tree) | CSV / JSON (نصي مسطح) |
|---|---|---|---|
| طبيعة الاستخدام الأساسية | الاستعلامات التحليلية الضخمة (OLAP) وبحيرات البيانات | العمليات التبادلية اليومية وقواعد البيانات المحلية (OLTP) | تبادل البيانات السريع والإعدادات والفحص البصري |
| بنية التخزين على القرص | تخزين قيم كل عمود متتالية معاً في كتل عامودية | تخزين حقول كل سجل كاملة بجوار بعضها في صفحات | أسطر نصية متتالية مفصولة بفواصل أو أقواس |
| كفاءة وضغط البيانات | فائقة جداً (Snappy و Zstd وترميز القاموس و RLE) | متوسطة عبر ضغط الصفحات أو ملفات النظام | منخفضة مع تكرار أسماء الحقول واستهلاك مساحة زائدة |
| كفاءة عمليات التجميع | يقرأ فقط بايتات الأعمدة المطلوبة دون هدر في الإدخال/الإخراج | يضطر لقراءة صفحات السجلات بالكامل في الذاكرة | يتطلب قراءة وتفسير الملف النصي سطراً بسطر |
المواصفات التقنية وتوافق أنساق Parquet
| المجال التقني | المواصفات المدعومة | ملاحظات الأداء |
|---|---|---|
| إصدارات Parquet | Apache Parquet v1.0 و v2.0 | توافق تام مع مواصفات Thrift و Metadata |
| خوارزميات الضغط | Snappy و Zstandard و Gzip والبيانات الخام | فك ضغط فوري عبر WebAssembly في الذاكرة |
| الأنواع الفيزيائية | BOOLEAN و INT32 و INT64 و FLOAT و DOUBLE و BYTE_ARRAY | تمثيل دقيق لمصفوفات البيانات في المتصفح |
| صيغ التصدير | CSV و JSON و NDJSON وجمل SQL INSERT | تنزيل ملفات محلية بضغطة زر واحدة |
أبرز الميزات والقدرات الهندسية للمستعرض
- خصوصية مطلقة (Air-Gapped): معالجة بياناتك الحساسة وسجلاتك بالكامل داخل جهازك دون رفع أي بيانات لأي خادم.
- فحص فوري للمخطط العامودي: استعراض الأنواع الفيزيائية والمنطقية وخوارزميات الضغط ومجموعات الصفوف.
- شبكة بيانات تفاعلية: تصفح آلاف الصفوف مع فرز الأعمدة والبحث الشامل وترقيم الصفحات الذكي.
- محرك استعلامات SQL مدمج: تنفيذ استعلامات SQL قياسية تشمل التجميع وحساب الإجماليات والمتوسطات لحظياً.
سيناريوهات الاستخدام العملي في هندسة البيانات
- التحقق من خطوط أنابيب البيانات: فحص مخرجات Parquet الناتجة عن مهام PySpark و dbt و Airflow و AWS Glue دون انتظار بيئات ضخمة.
- تدقيق مجموعات بيانات الذكاء الاصطناعي: مراجعة بيانات Hugging Face والتأكد من توزيع الميزات وسلامة المخططات قبل تدريب النماذج.
- تحليل سجلات السحابة المضغوطة: استعلام سجلات الشبكة والوصول المصدرة من AWS Athena و BigQuery بسرعة وسهولة.
استكشاف الأخطاء الشائعة وحلول مشاكل الاستعلام
- حدود الذاكرة للملفات الضخمة: الملفات التي تزيد عن 300 ميغابايت قد تستهلك ذاكرة المتصفح؛ يُفضل تصفية البيانات في دفعات.
- طوابع الوقت القديمة INT96: تقوم الأداة بفك تشفير طوابع الوقت القديمة الناتجة عن إصدارات سبارك السابقة وعرضها بنسق ISO 8601 القياسي.
- اسم الجدول في استعلامات SQL: استخدم دائماً الاسم
parquetللإشارة إلى الجدول في كونسول الاستعلامات.
نصائح الخبراء للتحليل العامودي عالي الأداء
- طلب الأعمدة المطلوبة فقط: في استعلامات SQL حدد الأعمدة المعنية بدلاً من
SELECT *لمضاعفة سرعة الاستعلام. - استخدام فلاتر WHERE مبكراً: تصفية السجلات قبل إجراء التجميع يقلل زمن الحسابات بنسبة كبيرة.
- تصدير NDJSON للأنظمة السحابية: اختر صيغة خطوط JSON عند نقل البيانات لمحركات البحث أو السجلات السحابية.
الخصوصية الكاملة ومعمارية المعالجة المحلية (Zero-Knowledge)
في بيئات الأعمال الحساسة، يشكل رفع التقارير المالية وسجلات المستخدمين إلى أدوات سحابية طرف ثالث خطراً كبيراً على الامتثال والسرية (GDPR و HIPAA). تطبق أداتنا نموذج أمان محلي صارم بنسبة 100%، حيث تتم كافة العمليات داخل المتصفح، ويمكنك استخدام الأداة بالكامل دون اتصال بالإنترنت.
الأدوات المكملة في منصة Serverless Tools
عزز مسارات معالجة البيانات وإدارتها عبر استخدام الأدوات المتكاملة في منصتنا:
- مستعرض قواعد بيانات SQLite: لفحص واستعلام قواعد البيانات العلائقية محلياً في المتصفح.
- محول مخططات SQL إلى Drizzle و Prisma: لتحويل مخططات قواعد البيانات إلى شفرات TypeScript و Zod.
- محول ملفات HAR للشبكة: لفحص وتحليل حركة طلبات الويب وسجلات استجابة الخوادم.
- محول cURL إلى لغات البرمجة: لاختبار واجهات برمجة التطبيقات واستدعاءات استيراد البيانات في بايثون وجو.