الدرس الثاني (٢)
انظر إلى الجملتين في أعلى الصفحة: الأولى تقول إن الشخص لديه حمى شديدة ويجب عليه زيارة الطبيب، والثانية تحمل نفس المعنى بكلمات مختلفة تماماً مثل ارتفاع حرارة الجسم ورعاية أخصائية صحية. لو اعتمدنا على تكرار المصطلحات بالطريقة التقليدية، فلن تجد أي كلمة مشتركة بين الجملتين، وبالتالي ستفشل الخوارزمية في ربطهما. لمعالجة هذا القصور، يأتي نموذج الكلمة إلى المتجه Word2Vec الذي يعتمد على فكرة أن الكلمات المتشابهة دلالياً تحاط بكلمات مماثلة في السياق. انظر إلى الصندوق الأزرق الخاص بالكلمات المستبعدة Stopwords، فهي كلمات شائعة مثل أدوات التعريف وحروف الجر التي لا تحمل معنى مستقلاً بذاتها في النص بل تُستبعد أثناء المعالجة المسبقة. وفي الصندوق الأسفل يظهر المقطع البرمجي الذي يحمل النموذج المدرب مسبقاً على أخبار جوجل، ويطبع طول المتجه الناتج لكلمة fox وهو ٣٠٠ بعد.
يقوم الدرس على معالجة الكلمات والجمل عبر تحويلها إلى متجهات رقمية لتفهم الشبكات العصبية معانيها ودلالاتها. يعتمد الدرس على طريقتين رئيسيتين: الأولى نموذج الكلمة إلى المتجه (Word2Vec) الذي يتعامل مع الكلمات المفردة ويعاني أحيانا من تجاهل السياق وتكرار الكلمات، والثانية تمثيلات ترميز الجمل ثنائية الاتجاه من المحولات (SBERT) التي تعالج الجمل الكاملة وتفهم سياقها بدقة عالية لتحسين نتائج تصنيف النصوص وتجميعها. مثال على ذلك: حساب درجة التشابه بين الكلمات أو الجمل رقميا مثل مقارنة كلمة سيارة بكلمات أخرى للحصول على قيم تتراوح بين صفر وواحد.
الفكرة الأساسية
تعتمد فكرة الدرس على تحويل الكلمات والجمل النصية إلى متجهات رقمية عبر تقنيات التعلم العميق والشبكات العصبية، لتمكين الحاسوب من فهم العلاقات الدلالية والمعاني وسياق النصوص بدلا من الاعتماد فقط على التكرار الحرفي.
الشرح
تستند البرمجة الاتجاهية لتكرار المصطلح-تكرار المستند العكسي إلى حساب تكرار الكلمات، لكنها تتجاهل أحيانا العلاقات الدلالية مثل اعتبار كلمتين مترادفتين منفصلتين تماما. لتجاوز ذلك، ظهر نموذج الكلمة إلى المتجه (Word2Vec) الذي يستند إلى فكرة أن الكلمات المتشابهة دلاليا تحاط بكلمات مماثلة في السياق نفسه، حيث يربط كل كلمة بتضمين مكون من ٣٠٠ بعد لتحديد مدى تشابهها مع الكلمات الأخرى بقيم تقع دوما بين ٠ و ١. ولأن الجمل تحتاج إلى فهم أعمق لسياقها الكامل، يتم استخدام تمثيلات ترميز الجمل ثنائية الاتجاه من المحولات (SBERT) التي تنتج تضمينات لأجزاء النصوص الأطول من الجمل وتتفوق في دقتها على الطرق التقليدية. تُستخدم أدوات مثل تضمين المجاور العشوائي الموزع على شكل T لتقليص الأبعاد من ٣٠٠ بعد إلى نقطة ثنائية الأبعاد لتصوير النقاط في مخطط انتشار بسيط.
مثال محلول خطوة والثانية
إذا أردت تقييم درجة التشابه بين كلمة كار والكلمات الأخرى، يمكنك تمريرها في مقبرة برمجية تستخدم نموذج تضمينات الكلمات بحيث تقارن كار بكل من ميني فان وبايسكل وايروبلان وستريت وابل. ستجد أن النتيجة تعطي قيما عددية مثل 0.69 لسيارة الميني فان و0.12 لتقاطعها مع التفاحة، مما يثبت أن نموذج الكلمة إلى المتجه يفهم أن السيارة أقرب دلاليا لوسائل النقل منها للفواكه.
أخطاء شائعة
الاعتقاد بأن البرمجة الاتجاهية لتكرار المصطلح-تكرار المستند العكسي تفهم المعاني والدلالات العميقة للكلمات، والصحيح أنها تعتمد فقط على تكرار الكلمات وتتجاهل العلاقات الدلالية. خطأ آخر يتمثل في الظن أن نموذج الكلمة إلى المتجه يعالج الجمل الكاملة بسياقها، بينما هو مخصص للكلمات المفردة بخلاف تمثيلات ترميز الجمل ثنائية الاتجاه من المحولات المخصصة للجمل.
سؤالان للتدريب مع الإجابة
السؤال الأول: ما الفرق الأساسي بين نموذج الكلمة إلى المتجه ونموذج ترميز الجمل ثنائية الاتجاه من المحولات من حيث وحدة المعالجة؟ الإجابة: نموذج الكلمة إلى المتجه يعالج الكلمات المفردة، بينما نموذج ترميز الجمل ثنائية الاتجاه من المحولات يعالج النصوص والجمل الكاملة لفهم سياقها. السؤال الثاني: ماذا تمثل القيمة الناتجة عندما نقيس درجة التشابه بين كلمتين باستخدام تضمينات نموذج الكلمة إلى المتجه؟ الإجابة: تمثل قيمة عددية تقع دوما بين ٠ و ١ تدل على مدى التشابه الدلالي بين الكلمتين.