Méthodes d'analyse du sentiment de texte (3) - méthodes d'analyse des sentiments basés sur l'apprentissage en profondeur

Introduction of deep learning-based sentiment analysis methods

Les méthodes d'analyse des sentiments basées sur l'apprentissage en profondeur sont effectuées à l'aide de réseaux de neurones, et les méthodes d'apprentissage du réseau neuronal typiques sont: le réseau neuronal convolutionnel (CNN), le réseau neuronal récurrent (RNN), la mémoire à long terme (LSTM), etc.

En subdivisant les méthodes d'analyse des sentiments basés sur l'apprentissage en profondeur, ils peuvent être divisés en: méthodes d'analyse de sentiment de réseaux neuronaux, hybrides (combinés, fusion) Méthodes d'analyse des sentiments du réseau neuron.

1. Analyse des sentiments du réseau neuronal unique:

En 2003, Bengio et al.a proposé un modèle de langage de réseau neuronal, qui utilise un réseau neuronal à trois couches pour modéliser la langue.Le réseau neuronal se compose principalement d'une couche d'entrée, d'une couche cachée et d'une couche de sortie.

Chaque neurone de la couche d'entrée du réseau représente un trait, le nombre de couches cachées et de neurones de couche cachée est réglé manuellement et la couche de sortie représente le nombre d'étiquettes catégoriques, un réseau neuronal de base à trois couches est illustré ci-dessous.

L'essence du modèle de langue consiste à prédire le contenu du mot suivant basé sur les informations contextuelles sans s'appuyer sur le corpus étiqueté manuellement, à partir de laquelle il peut être constaté que l'avantage du modèle de langue est la capacité d'apprendre des connaissances riches de laCorpus à grande échelle.

Cette approche peut résoudre efficacement le problème de l'ignorance de la sémantique contextuelle dans les méthodes basées sur l'analyse des sentiments traditionnels.

2. Analyse des sentiments par réseaux neuronaux hybrides (combinés, fusionnés):

En plus des recherches sur les approches des réseaux de neurones uniques, un certain nombre de chercheurs ont combiné et amélioré ces approches et les ont utilisés dans l'analyse des sentiments après avoir pris en compte les avantages de différentes approches.

Par rapport aux méthodes d'analyse des sentiments basées sur les lexiques de sentiment et l'apprentissage automatique traditionnel, l'approche utilisant des réseaux de neurones présente des avantages importants dans l'apprentissage des fonctionnalités de texte, qui peut apprendre activement les fonctionnalités et conserver activement des informations sur les mots dans le texte pour mieux extraire les informations sémantiques des informations correspondantesmots pour réaliser efficacement la classification des sentiments du texte.

Comme le concept d'apprentissage en profondeur a été proposé, de nombreux chercheurs l'ont continuellement exploré et ont obtenu beaucoup de résultats, de sorte que les méthodes de classification du sentiment de texte basées sur l'apprentissage en profondeur se développent.

3. Analyse des sentiments avec l'introduction du mécanisme d'attention:

Sur la base des réseaux de neurones, en 2006, Hinton et al.Pionnier du concept d'apprentissage en profondeur pour améliorer les performances de l'apprentissage en apprenant les informations clés dans les données via des modèles de réseau profonds pour refléter les caractéristiques des données.

Les méthodes basées sur l'apprentissage en profondeur utilisent des vecteurs continus et de faible dimension pour représenter des documents et des mots, et peuvent donc résoudre efficacement le problème des données clairsemées.De plus, les méthodes basées sur l'apprentissage en profondeur sont des méthodes de bout en bout qui extraient automatiquement les fonctionnalités du texte et réduisent la complexité des caractéristiques de construction de texte.

Les méthodes d'apprentissage en profondeur ont fait des progrès significatifs dans le domaine du traitement du langage naturel, tels que la traduction automatique, la classification du texte et la reconnaissance des entités, en plus de résultats remarquables dans les domaines de la parole et de l'image.La recherche sur les méthodes d'analyse du sentiment de texte appartient à une petite branche de la classification du texte.

En ajoutant un mécanisme d'attention aux méthodes d'apprentissage en profondeur pour les tâches d'analyse des sentiments, il peut mieux capturer des informations contextuellement pertinentes, extraire des informations sémantiques et empêcher la perte d'informations importantes, ce qui peut améliorer efficacement la précision de la classification des sentiments du texte.

L'étape actuelle de la recherche concerne davantage le réglage et l'amélioration du modèle de pré-formation afin d'améliorer les expériences plus efficacement.

4. Analyse des sentiments à l'aide de modèles pré-formés:

Un modèle pré-formé est un modèle formé avec un ensemble de données.En réglant le modèle pré-formé, de meilleurs résultats de classification des sentiments peuvent être obtenus, de sorte que la plupart des dernières méthodes utilisent des modèles pré-formés, et les derniers modèles pré-formés sont: Elmo, Bert, XL-Net, Albert, etc..

En utilisant pleinement le corpus monolingue à grande échelle par rapport aux méthodes traditionnelles, la méthode de pré-formation utilisant des modèles de langage peut modéliser plusieurs significations d'un mot, et le processus de pré-formation à l'aide de modèles de langage peut être considéré comme une phrase-Niveau Représentation des mots contextuels.

En pré-formation d'un corpus à grande échelle à l'aide d'un modèle unifié ou en ajoutant des caractéristiques à certains modèles simples, de bons résultats ont été obtenus dans de nombreuses tâches PNL, ce qui indique que cette approche est significativement efficace pour soulager le problème de la dépendance à la structure du modèle.

Il y aura plus de recherches sur les tâches de traitement du langage naturel à l'avenir, en particulier sur l'exploitation des sentiments du texte.La plupart des dernières approches de l'analyse des sentiments sont basées sur le réglage fin des modèles pré-formés et ont obtenu de bons résultats.

Par conséquent, on peut prédire que les méthodes d'analyse future des sentiments se concentreront davantage sur la recherche de méthodes basées sur l'apprentissage en profondeur et la réalisation de résultats d'analyse des sentiments en amenant les modèles pré-formation.