تحليل البيانات
انظر إلى أعلى الصفحة: التحليل التنبؤي يستخدم النتائج التاريخية لتوقع ما سيحدث غداً، مثل توقع حالة الطقس أو سياسات التأمين. أما التحليل التوجيهي فهو المرحلة الأخيرة التي تبحث عن مسار العمل الأمثل وتقدم توصيات للخطوات المستقبلية كما يحتاج القطاع الصحي لتوصل إلى توصيات طبية آمنة. انظر الآن إلى خطوات عملية تحليل البيانات في الشكل ٣.٢: نبدأ أولاً بتعريف المشكلة وصياغتها، ثم جمع البيانات، ثم تجهيز البيانات وتنظيفها بإزالة المسافات الزائدة، ثم يأتي التحليل الاستكشافي، وأخيراً تصوير البيانات باستخدام المخططات والرسوم البيانية لتصبح سهلة الفهم.
يقوم تحليل البيانات على استخلاص رؤى مفيدة من السجلات عبر مراحل تشمل تعريف المشكلة، وجمع البيانات، وتجهيزها وتنظيفها، ثم التحليل الاستكشافيي، وأخيراً تصوير البيانات. يبدأ العمل بتنظيف الجداول من المسافات والأخطاء، ثم استخدام التحليل الاستكشافيي لفهم الأنماط واكتشاف الحالات الشاذة عبر الطرق الرسومية وغير الرسومية، كاستخدام المخطط الشريطي أو المخطط النقطي. لتطبيق ذلك برمجياً، نستخدم لغة البايثون ومكتباتها الشهيرة مثل نكumpy للعمليات الحسابية، وpandas للتعامل مع الجداول، ومات بلوت ليب للتصوير، داخل بيئة تفاعلية مثل مفكرة جوبيتر التي تتيح كتابة الأوامر وتشغيلها في خلايا منفصلة.
الفكرة الأساسية
تعتمد عملية تحليل البيانات على تحويل الأرقام الخام إلى معلومات قابلة للفهم والاستخدام في اتخاذ القرارات. تبدأ الرحلة بدورة حياة علم البيانات من تعريف المشكلة، ثم جمع البيانات، مروراً بتجهيزها وتنظيفها لإزالة الأخطاء والسجلات المكررة، ثم تنفيذ التحليل الاستكشافيي لفهم خصائص البيانات، وانتهاءً بتصوير البيانات عبر المخططات والرسوم البيانية لتسهيل قراءتها واستخلاص النتائج.
الشرح
تنقسم أنواع التحليل إلى عدة مستويات تبدأ بالتحليل الوصفي والتشخيصي لمعرفة ما حدث ولماذا حدث، وتتطور إلى التحليل التنبؤي الذي يحاول توقع النتائج المستقبلية بناءً على السوابق باستخدام النمذجة والإحصاء. أما المرحلة الأكثر تعقيداً فهي التحليل التوجيهي الذي يبحث عن مسار العمل الأمثل ويقدم توصيات للخطوات المستقبلية.
في قلب هذه العملية يقع التحليل الاستكشافيي للبيانات، وهو المنهج المتبع لتلخيص خصائص البيانات واكتشاف الاتجاهات والحالات الشاذة. ينقسم هذا التحليل إلى نوعين رئيسيين: تحليل غير رسومي مثل دراسة تأثير العمر على مرض الزهايمر في متغير أحادي، أو دراسة النظام الغذائي والتمارين معاً في متغيرات متعددة. والنوع الثاني هو التحليل الرسومي، مثل المخطط الشريطي الذي يمثل نسبة السكر في خمسة أنواع من الحلوى لمتغير واحد، أو المخطط النقطي الذي يربط بين السكر والسعر وحضور الشوكولاتة لثلاثة متغيرات معا.
لتنفيذ ذلك عملياً، نستخدم لغة البايثون ومكتباتها المتخصصة؛ فالمكتبة هي مجموعة من المقاطع البرمجية الجاهزة التي تبسط العمل. من أبرز هذه المكتبات مكتبة نمباي للعمليات الحسابية والرياضية، ومكتبة بانداس للتعامل مع الجداول، ومكتبة مات بلوت ليب للتصوير. يتم تنفيذ الأوامر داخل مفكرة جوبيتر، وهي تطبيق إلكتروني يتيح إنشاء مستندات تحتوي على مقاطع برمجية تسمى خلايا، حيث تكتب الأمر داخل الخلية وتضغط على زر التشغيل لتظهر النتيجة تحتها مباشرة.
مثال محلول خطوة بخطوة
إذا أردت إنشاء قائمة بسيطة من الأرقام في مفكرة جوبيتر وتطبيق وظيفة القيمة المطلقة عليها باستخدام مكتبة نمباي، فاتبع الآتي:
- أنشئ قائمة جديدة في الخلية البرمجية عبر كتابة:
myList = [-3, -2, -1, 0, 1, 2, 3, 4, 5, 5, 6, 7, 8]
- استورد مكتبة نمباي باختصار متعارف عليه:
import numpy as np
- طبق وظيفة القيمة المطلقة على القائمة باستخدام دالة المكتبة:
a = np.absolute(myList)
- اطبع النتيجة:
print(a)
وستكون النتيجة إرجاع القيم الموجبة لكل عنصر في المصفوفة المدخلة.
أخطاء شائعة
- الاعتقاد بأن التحليل الاستكشافيي يقتصر على الرسوم فقط، بينما يتضمن أيضاً فحوصات إحصائية غير رسومية.
- الخلط بين التحليل التنبؤي والتحليل التوجيهي؛ فالأول يتنبأ بالنتائج المستقبلية، بينما الثاني يقدم مسار العمل الأمثل والتوصيات.
- نسيان استيراد المكتبة البرمجية في بداية المقطع قبل محاولة استخدام الدوال التابعة لها.
- كتابة اسم الدالة أو المكتبة بخطأ إملائي يجعل المترجم البرمجي يعيد رسالة خطأ.
سؤالان للتدريب مع الإجابة
السؤال الأول: ما الفرق الأساسي بين التحليل التنبؤي والتحليل التوجيهي؟ الإجابة: التحليل التنبؤي يهتم بمحاولة التنبؤ بالنتائج المستقبلية بناءً على الاتجاهات والبيانات التاريخية، بينما يهتم التحليل التوجيهي بإيجاد مسار العمل الأمثل وتقديم توصيات للخطوات المستقبلية بناءً على مخرجات المراحل السابقة.
السؤال الثاني: كيف تقوم بتشغيل مقطع برمجي داخل مفكرة جوبيتر بعد كتابة الأوامر داخله؟ الإجابة: تضغط على زر التشغيل أو تستخدم اختصار لوحة المفاتيح عبر الضغط على مفتاح Shift مع مفتاح Enter.