نمذجة البيانات التنبؤية

تقوم نمذجة البيانات التنبؤية على الوصول إلى دالة تربط متغيرات الإدخال بالمخرجات باستخدام بيانات التدريب. تنقسم النماذج إلى معاملية تفترض شكلاً مسبقاً للدالة، وغير معاملية تتعلم مباشرة من البيانات دون افتراضات سابقة. كما تتعدد مهامها بين التصنيف لربط المدخلات بمتغيرات متقطعة، والانحذار لربطها بقيم مستمرة. وتمر العملية بأربع خطوات أساسية تبدأ بجمع البيانات وتنظيفها، ثم تحويلها، وصياغة النموذج وتدريبه، وصولاً إلى استخراج الاستنتاجات. مثال سريع: تدريب نموذج على صور جدار خرساني لتصنيفه إيجابياً إذا احتوى على شقوق وسلبياً إذا خلا منها.

الفكرة الأساسية

تعتمد نمذجة البيانات التنبؤية على الوصول إلى دالة تربط متغيرات الإدخال بالمخرجات بناء على بيانات التدريب، لتوقع قيم المخرجات للمستقبل أو لبيانات جديدة.

الشرح

تنقسم النماذج التنبؤية إلى فئتين رئيسيتين: النماذج المعاملية التي تفترض مسبقاً مجموعة من المعاملات وشكل الدالة وتلخص البيانات من خلالها، والنماذج غير المعاملية التي لا تضع افتراضات مسبقة وتتعلم من البيانات مباشرة دون معرفة سابقة. وفي المهام التنبؤية، تستخدم نماذج التصنيف لربط متغير المدخلات بمتغير مخرج متقطع يجب أن يكون عدداً صحيحاً أو إجابة مثل نعم أو لا، بينما تستخدم نماذج الانحذار للربط بمتغير مخرج مستمر بقيم حقيقية. وتتم عملية النمذجة عبر أربع خطوات متسلسلة تبدأ بجمع البيانات وتنظيفها من الشوائب واليبيانات الشاذة، ثم تحويل البيانات وتوحيد بنيتها وإزالة القيم الغريبة عبر تحليل الارتباط، يلي ذلك صياغة النموذج وتدريبه واختباره باستخدام خوارزمية محددة، وتنتهي باستخراج الاستنتاجات للإجابة عن أسئلة الأعمال.

مثال محلول خطوة بخطوة

إذا أردت إنشاء نموذج تنبؤي لتصنيف الهياكل الخرسانية إلى فئتين لاكتشاف الشقوق، فاتبع الآتي:

1. اجمع مجموعة صور لخرسانة سليمة خالية من الشقوق، ومجموعة أخرى لصور خرسانة تحتوي على شقوق.
2. قسّم الصور إلى مجموعة تدريب لتدريب نموذج الآلة، ومجموعة اختبار تحتوي صوراً جديدة لم تستخدم في التدريب لتقييم الأداء.
3. استخدم منصة لتعليم الآلة، وأنشئ مشروع صور قياسياً، ثم سم الفئة الأولى إيجابي للصور التي تحتوي على شقوق، والفئة الثانية سلبي للصور التي لا تحتوي على شقوق.
4. حمّل صور التدريب لكل فئة في مكانها المخصص.
5. اضغط على زر تدريب النموذج، وبعد انتهائه، اختبره عبر رفع صورة جديدة من مجلد اختبار للتأكد من تصنيفها الصحيح بنسبة يقين تصل إلى 100 بالمئة.

أخطاء شائعة

• الاعتقاد بأن النماذج المعاملية تتطلب بيانات تدريب أكثر من النماذج غير المعاملية، والصحيح العكس تماماً.
• الخلط بين التصنيف والانحذار، باعتبار أن التصنيف يتعامل مع قيم مستمرة بينما الانحذار يتعامل مع قيم متقطعة.
• إهمال خطوة تنظيف البيانات وإزالة القيم الشاذة قبل التدريب، مما يؤدي إلى فشل النموذج وعدم دقته.
• الوقوع في مشكلة فرط التخصيص عندما تتطابق النماذج تماماً مع دالة التعيين فتفقد مرونتها مع البيانات الجديدة.

سؤالان للتدريب مع الإجابة

السؤال الأول: ما الفرق الأساسي بين نماذج التصنيف ونماذج الانحذار في المخرجات؟ الإجابة: متغير المخرج في التصنيف يجب أن يكون فئة متقطعة أو عدداً صحيحاً، بينما متغير المخرج في الانحذار يكون قيمة مستمرة أو عدداً حقيقياً.

السؤال الثاني: ما الخطوة الأولى والأساسية في عملية النمذجة التنبؤية؟ الإجابة: جمع البيانات وتنظيفها من جميع المصادر المتاحة واستخراج المعلومات اللازمة مع إزالة الشوائب والقيم الشاذة.