الدرس الثالث (٢)
انظر إلى الشيفرة البرمجية في الصفحة. دالة evaluate_sentences تبدأ بتقسيم المستند إلى جمل مستقلة، ثم تحسب مؤشر الأهمية لكل جملة بالاعتماد على الكلمات التي تتضمنها. انظر إلى طريقة الحساب في المثال المكتوب: إذا كانت لديك جملة مكونة من خمسة كلمات، والكلمات w1 وw2 تنتميان إلى مجتمع بمؤشر قيمته ٢٥، والكلمتان w3 وw4 تنتميان إلى مجتمع بمؤشر قيمته ٣٠، والكلمة w5 تنتمي إلى مجتمع بمؤشر قيمته ١٥، فإن مجموع مؤشرات الجملة هو حاصل جمع تلك القيم وهو ٢٥ زائد ٢٥ زائد ٣٠ زائد ٣٠ زائد ١٥ ليساوي ١٢٥. تستخدم الدالة بعد ذلك هذه المؤشرات لتصنيف الجمل في ترتيب تنازلي من الأكثر إلى الأقل أهمية.
يقوم الدرس على بناء روبوتات دردشة ذكية وتقنيات توليد اللغات الطبيعية عبر قواعد المعرفة ونماذج الذكاء الاصطناعي المتقدمة. يبدأ بإنشاء قاعدة معرفة مرتبطة بأسئلة وأجوبة وخيارات دلالية، ثم استخدام نماذج تعلم الآلة مثل شبكات الذاكرة الطويلة قصيرة المدى (LSTM) ونماذج المحولات مثل GPT-2 لتوليد النصوص وفهم السياق. لو كان لديك 4 أسئلة، وكل سؤال له خيارات متعددة بقيم رقمية ونصوص معرفة، فإن دالة البحث تقارن رد المستخدم دلاليا مع الخيارات وتختار الأقرب لتحديد الخطوة التالية في المحادثة.
الفكرة الأساسية
تعتمد الفكرة الأساسية على بناء أنظمة روبوتات دردشة ذكية تستخدم قواعد المعرفة وتقنيات توليد اللغات الطبيعية، مع الانتقال من الطرق المبنية على القواعد البسيطة إلى تقنيات تعلم الآلة المتقدمة مثل شبكات الذاكرة الطويلة قصيرة المدى ونماذج المحولات.
الشرح
تتكون قاعدة المعرفة من أسئلة وأجوبة وخيارات مقبولة. عند تلقي رد من المستخدم، تعتمد دالة المعالجة على تقييم التشابه الدلالي بين الرد وخيارات الإجابة باستخدام النماذج الرياضية وتمسيد الكلمات. إذا تجاوز التشابه الحد الأدنى المطلوب، ينتقل روبوت الدردشة إلى السؤال التالي. أما في حال تطور التقنية واستخدام تعلم الآلة لتوليد النص الواقعي، فتتدخل شبكات الذاكرة الطويلة قصيرة المدى لمعالجة العناصر المتسلسلة وتحديث خلايا الذاكرة، بينما تعتمد نماذج المحولات على تقنية الانتباه الذاتي لفهم العلاقات بين الكلمات المختلفة في الجملة وتوليد النصوص بكفاءة عالية.
مثال محلول خطوة بخطوة
لو كانت لديك جملة مكونة من خمس كلمات تنتمي إلى مجتمعات مختلفة بمؤشرات أهمية كالتالي: ثلاث كلمات تنتمي لمجتمع مؤشره 25، وكلمتان تنتميان لمجتمع مؤشره 30، فإن مجموع مؤشرات الجملة يحسب بالعملية التالية: 25+25+25+30+30 = 135، ثم تستخدم الدالة لترتيب الجمل تنازليا من الأكثر إلى الأقل أهمية.
أخطاء شائعة
الاعتقاد بأن روبوت الدردشة يعتمد على مطابقة الكلمات بالحرف بدلاً من التشابه الدلالي، مما يؤدي إلى فشل النظام في فهم الرد إذا استعمل المستخدم مرادفات مختلفة لنفس المعنى.
سؤالان للتدريب مع الإجابة
السؤال الأول: ما الوظيفة الأساسية لدالة تقييم الجمل؟ الإجابة: تبدأ بتقسيم المستند إلى جمل، ثم حساب مؤشر الأهمية لكل جملة استنادا إلى الكلمات التي تتضمنها. السؤال الثاني: ما الميزة الرئيسية لاستخدام تقنية الانتباه الذاتي في نموذج المحولات؟ الإجابة: تمكن النموذج من فهم العلاقات بين الكلمات المختلفة في الجمل وتجاهل الأجزاء الأقل دلالة.