طرق تحليل المعنويات النصية (3) - طرق تحليل المعنويات العميقة القائمة على التعلم

Introduction of deep learning-based sentiment analysis methods

يتم تنفيذ طرق تحليل المشاعر القائمة على التعلم العميق باستخدام الشبكات العصبية ، وطرق تعلم الشبكة العصبية النموذجية هي: الشبكة العصبية التلافيفية (CNN) ، والشبكة العصبية المتكررة (RNN) ، والذاكرة طويلة الأجل طويلة الأجل (LSTM) وما إلى ذلك.

من خلال تقسيم أساليب تحليل المشاعر العميقة القائمة على التعلم ، يمكن تقسيمها إلى: طرق تحليل معنويات الشبكة العصبية الفردية ، وطرق تحليل معنويات الشبكة العصبية الهجينة (مجتمعة ، الانصهار) ، وتحليل المشاعر من خلال إدخال آلية الانتباه وتحليل المشاعر باستخدام النماذج التي تم تدريبها مسبقًا..

1. تحليل معنويات الشبكة العصبية الفردية:

في عام 2003 Bengio et al.اقترح نموذج لغة الشبكة العصبية ، والذي يستخدم شبكة عصبية من ثلاث طبقات لتصميم اللغة.تتكون الشبكة العصبية بشكل أساسي من طبقة إدخال ، وطبقة مخفية ، وطبقة إخراج.

تمثل كل خلية عصبية في طبقة الإدخال للشبكة سمة ، ويتم تعيين عدد الطبقات المخفية والخلايا العصبية للطبقة المخفية يدويًا ، وتمثل طبقة الإخراج عدد الملصقات الفئوية ، ويرد أدناه شبكة عصبية ثلاثية الطبقات.

يتمثل جوهر نموذج اللغة في التنبؤ بمحتوى الكلمة التالية بناءً على المعلومات السياقية دون الاعتماد على المجموعة المسمى يدويًا ، والتي يمكن العثور عليها من أن ميزة نموذج اللغة هي القدرة على تعلم المعرفة الغنية منمجموعة واسعة النطاق.

يمكن أن يحل هذا النهج بشكل فعال مشكلة تجاهل الدلالات السياقية في الأساليب التقليدية القائمة على تحليل المشاعر.

2. تحليل المشاعر عن طريق الشبكات العصبية الهجينة (مجتمعة ، تنصهر):

بالإضافة إلى البحث عن مقاربات الشبكات العصبية المفردة ، قام عدد من العلماء بدمج هذه الأساليب وتحسينها واستخدموها في تحليل المشاعر بعد النظر في مزايا الأساليب المختلفة.

بالمقارنة مع أساليب تحليل المشاعر القائمة على معجم المعنويات والتعلم الآلي التقليدي ، فإن النهج باستخدام الشبكات العصبية له مزايا كبيرة في تعلم ميزة النص ، والتي يمكن أن تتعلم بشكل نشط المعلومات والاحتفاظ بنشاط حول الكلمات في النص لاستخراج المعلومات الدلالية بشكل أفضلالكلمات لتحقيق تصنيف المعنويات بشكل فعال للنص.

مع اقتراح مفهوم التعلم العميق ، استكشفه العديد من الباحثين بشكل مستمر وحصلوا على الكثير من النتائج ، وبالتالي فإن أساليب تصنيف المعنويات النصية القائمة على التعلم العميق تتوسع.

3. تحليل المشاعر مع إدخال آلية الانتباه:

بناءً على الشبكات العصبية ، في عام 2006 ، هينتون وآخرون.كان رائدًا في مفهوم التعلم العميق لتحسين أداء التعلم من خلال تعلم المعلومات الرئيسية في البيانات من خلال نماذج الشبكة العميقة لتعكس خصائص البيانات.

تستخدم الأساليب العميقة القائمة على التعلم متجهات مستمرة منخفضة الأبعاد لتمثيل المستندات والكلمات ، وبالتالي يمكنها حل مشكلة البيانات المتفرقة بشكل فعال.بالإضافة إلى ذلك ، فإن الأساليب العميقة القائمة على التعلم هي طرق شاملة تستخرج تلقائيًا ميزات النص وتقلل من تعقيد ميزات إنشاء النص.

أحرزت أساليب التعلم العميق تقدمًا كبيرًا في مجال معالجة اللغة الطبيعية ، مثل الترجمة الآلية ، وتصنيف النص ، والتعرف على الكيان ، بالإضافة إلى نتائج ملحوظة في مجالات الكلام والصورة.ينتمي البحث عن أساليب تحليل المعنويات النصية إلى فرع صغير من تصنيف النص.

من خلال إضافة آلية الانتباه إلى أساليب التعلم العميق لمهام تحليل المشاعر ، يمكنه الحصول على المعلومات ذات الصلة بشكل أفضل في السياق ، واستخراج المعلومات الدلالية ومنع فقدان المعلومات المهمة ، والتي يمكن أن تحسن بشكل فعال من دقة تصنيف المعنويات النصية.

تتعلق المرحلة الحالية من البحث بشكل أكبر وتحسين نموذج ما قبل التدريب لتعزيز التجارب بشكل أكثر فعالية.

4. تحليل المشاعر باستخدام النماذج التي تم تدريبها مسبقًا:

النموذج الذي تم تدريبه مسبقًا هو نموذج تم تدريبه مع مجموعة بيانات.من خلال ضبط النموذج الذي تم تدريبه مسبقًا ، يمكن تحقيق نتائج تصنيف المشاعر الأفضل ، لذلك تستخدم معظم الطرق الأخيرة النماذج التي تم تدريبها مسبقًا ، وأحدث النماذج التي تم تدريبها قبل التدريب هي: Elmo ، Bert ، XL-NET ، Albert ، إلخ.

من خلال الاستفادة الكاملة من المجموعة أحادية النطاق على نطاق واسع مقارنة بالطرق التقليدية ، يمكن أن تعتبر طريقة التدريب قبل التدريب باستخدام نماذج اللغة معانيًا متعددة للكلمة ، ويمكن اعتبار عملية التدريب المسبق باستخدام نماذج اللغة جملة-مستوى تمثيل الكلمات السياقية.

من خلال تدريب مجموعة واسعة النطاق باستخدام نموذج موحد أو إضافة ميزات إلى بعض النماذج البسيطة ، تم تحقيق نتائج جيدة في العديد من مهام NLP ، مما يشير إلى أن هذا النهج فعال إلى حد كبير في تخفيف مشكلة الاعتماد على بنية النموذج.

سيكون هناك المزيد من الأبحاث حول مهام معالجة اللغة الطبيعية في المستقبل ، وخاصة حول تعدين المشاعر للنص.تستند معظم الأساليب الأخيرة لتحليل المشاعر إلى صقل النماذج التي تم تدريبها مسبقًا وحققت نتائج جيدة.

لذلك ، يمكن التنبؤ بأن أساليب تحليل المعنويات المستقبلية ستركز أكثر على البحث في الأساليب العميقة القائمة على التعلم وتحقيق نتائج تحليل المشاعر بشكل أفضل من خلال صياغة نماذج ما قبل التدريب.