الدرس الأول (٢)
انظر إلى الشيفرة البرمجية: الدالة predict_proba تأخذ نصاً إنجليزياً مثل One of the best movies وتحدد احتمالية تصنيفه. انظر إلى مخرجات array: النتيجة الأولى للتقييم الثاني، و للأول. في شكل ٣.٧ المخطط الدائري، يظهر أن التقييم الأول يحمل نسبة كإيجابي و كسلبي، بينما التقييم الثاني يحمل سلبي و إيجابي. الآن نختبر خط الأنابيب على مجموعة بيانات اختبار IMDb عبر دالة predict، فتعطينا مصفوفة نتائج الأرقام صفر. ولمعرفة دقة هذا التنبوء، نستخدم دالة accuracy_score من مكتبة سكيلمن بمعالجة Y_test وpredictions_v1، فتظهر النتيجة أخيراً برقم الدقة أي ما يقارب ٨٥ بالمئة من الصحة.
يقوم هذا الدرس على شرح كيفية تفسير وتوضيح تنبؤات نماذج الذكاء الاصطناعي التي تعتبر صابداً أسود، بحيث لا نعرف كيف اتخذت قرارها مباشرة. نستخدم هنا مكتبة النموذج المحايد المحلي القابل للتفسير والشرح لكي نعرف أي الكلمات أو الخصائص في النص كان لها التأثير الأكبر والأقوى في دفع النموذج نحو اتخاذ قرار معين، سواء كان إيجابياً أو سلبياً. يعتمد المبدأ على تدريب نموذج خطي بسيط على تغييرات بسيطة حول نقطة بيانات معينة لنستنتج أسباب التنبؤ. على سبيل المثال، إذا أعطى النموذج تقييماً سلبياً لفيلم بسبب كلمات مثل رهيب أو فظيع، فإن هذه المكتبة توضح لنا بالرسم والأرقام مدى تأثير كل كلمة بشكل دقيق، مما يساعدنا على اكتشاف أخطاء النموذج وتحسين دقة التنبؤ مستقبلاً ومعالجة النصوص بشكل أفضل.
الفكرة الأساسية
يقوم الدرس على حل مشكلة عجز بعض نماذج الذكاء الاصطناعي عن تفسير أسباب قراراتها، مستخدماً أدوات مثل مكتبة النموذج المحايد المحلي القابل للتفسير والشرح لفهم الكلمات التي دفعت النموذج لإعطاء تنبؤ معين.
الشرح
عندما يعطي النموذج تنبؤاً بناء على نص، فإننا لا نرى بوضوح لِمَ اتخذ هذا القرار. هنا يأتي دور مكتبة النموذج المحايد المحلي القابل للتفسير والشرح التي تقوم بتثبيت نقطة بيانات واحدة، ثم إجراء تغييرات بسيطة عليها لتدريب نموذج خطي بسيط يعطينا وزناً لكل كلمة. الكلمة ذات المعامل السالب تزيد من احتمال التصنيف السلبى، بينما الكلمة ذات المعامل الموجب تزيد من احتمال التصنيف الإيجابي. كما نتعلم أن تكرار الكلمة لا يعني دائماً أهميتها المطلقة، ولهذا نلجأ لتحسين البرمجة الاتجاهية للنصوص عبر تقنيات التقسيم والتعبير النمطي.
مثال محلول خطوة بخطوة
إذا كان لدينا نص تقييم سلبي مثل: This movie was horrible. The actors were terrible and the plot was very boring. ١. نقوم بتشغيل التنبؤ بالاحتمالات عبر خط الأنابيب فنحصل على نسبة عالية جداً للتنبؤ السلبي. ٢. نطبق دالة التفسير لنستخرج الكلمات العشر الأكثر تأثيراً في هذا القرار. ٣. يظهر لنا أن كلمة terrible أعطت معامل تأثير سالب بقيمة تقريبية تعادل بينما أعطت كلمة very معامل تأثير موجب ضعيف بقيمة . ٤. هذا يوضح لنا أن الكلمات السلبية ثقيلة الوزن في قرار النموذج مقارنة بغيرها.
أخطاء شائعة
- الاعتقاد بأن تكرار الكلمة في النص يعني دائماً أنها تحمل نفس الأهمية بغض النظر عن طول المستند.
- الظن أن النموذج الخطي البسيط يفسر كامل بنية الشبكة العميقة المعقدة، بينما هو يعطي تفسيراً محلياً حول نقطة بيانات واحدة.
سؤالان للتدريب مع الإجابة
السؤال الأول: ما هي الوظيفة الأساسية لمكتبة النموذج المحايد المحلي القابل للتفسير والشرح؟ الإجابة: تفسير تنبؤات نماذج الصندوق الأسود من خلال معرفة الكلمات أو العبارات التي كان لها الأثر الأكبر على قيام النموذج بالتنبؤ في نقطة بيانات واحدة.
السؤال الثاني: ماذا يقصد بمصطلح التقسيم في معالجة النصوص؟ الإجابة: عملية تقسيم البيانات النصية إلى أجزاء مثل كلمات وجمل ورموز وعناصر أخرى يطلق عليها الرموز.