Métodos de análise de sentimentos de texto (3) - Métodos de análise de sentimentos baseados em aprendizado profundo

Introduction of deep learning-based sentiment analysis methods

Os métodos de análise de sentimentos baseados no aprendizado profundo são realizados usando redes neurais, e os métodos típicos de aprendizado de rede neural são: Rede Neural Convolucional (CNN), Rede Neural Recorrente (RNN), Memória de Longo Prazo (LSTM) e assim por diante.

Ao subdividir os métodos de análise de sentimentos baseados em aprendizado profundo, eles podem ser divididos em: métodos de análise de sentimentos de rede neural única, métodos de análise de sentimentos de rede neural híbrida (combinada, fusão), análise de sentimentos de sentimento, introduzindo mecanismo de atenção e análise de sentimentos usando modelos pré-treinados.

1. Análise de sentimento de rede neural única:

Em 2003, Bengio et al.propuseram um modelo de linguagem de rede neural, que utiliza uma rede neural feedforward de três camadas para modelar o idioma.A rede neural consiste principalmente em uma camada de entrada, uma camada oculta e uma camada de saída.

Cada neurônio na camada de entrada da rede representa uma característica, o número de camadas ocultas e neurônios da camada oculta são definidos manualmente, e a camada de saída representa o número de rótulos categóricos, uma rede neural básica de três camadas é mostrada abaixo.

A essência do modelo de idioma é prever o conteúdo da próxima palavra com base nas informações contextuais sem depender do corpus rotulado manualmente, do qual se pode descobrir que a vantagem do modelo de linguagem é a capacidade de aprender rico conhecimento com ocorpus em larga escala.

Essa abordagem pode efetivamente resolver o problema de ignorar a semântica contextual nos métodos tradicionais baseados em análise de sentimentos.

2. Análise de sentimentos por redes neurais híbridas (combinadas, fundidas):

Além da pesquisa sobre abordagens de redes neurais únicas, vários estudiosos combinaram e melhoraram essas abordagens e as usaram na análise de sentimentos depois de considerar as vantagens de diferentes abordagens.

Comparado aos métodos de análise de sentimentos baseados em lexicons de sentimentos e aprendizado de máquina tradicional, a abordagem usando redes neurais tem vantagens significativas no aprendizado de recursos de texto, que podem aprender ativamente recursos e reter ativamente informações sobre palavras no texto para extrair melhor as informações semânticas dos correspondentespalavras para alcançar efetivamente a classificação de sentimentos do texto.

Como o conceito de aprendizado profundo foi proposto, muitos pesquisadores o exploraram continuamente e obtiveram muitos resultados, de modo que os métodos de classificação de sentimentos de texto baseados em aprendizado profundo estão se expandindo.

3. Análise de sentimentos com a introdução do mecanismo de atenção:

Com base em redes neurais, em 2006, Hinton et al.Pioneiro o conceito de aprendizado profundo para melhorar o desempenho da aprendizagem, aprendendo informações importantes nos dados por meio de modelos de rede profundos para refletir as características dos dados.

Os métodos profundos baseados em aprendizado usam vetores contínuos e de baixa dimensão para representar documentos e palavras e, portanto, podem resolver efetivamente o problema de dados escassos.Além disso, métodos profundos baseados em aprendizado são métodos de ponta a ponta que extraem automaticamente os recursos de texto e reduzem a complexidade dos recursos de construção de texto.

Os métodos de aprendizado profundo fizeram progresso significativo no campo do processamento de linguagem natural, como tradução de máquinas, classificação de texto e reconhecimento de entidades, além de resultados notáveis nos campos da fala e da imagem.A pesquisa sobre métodos de análise de sentimentos de texto pertence a um pequeno ramo da classificação de texto.

Ao adicionar mecanismo de atenção a métodos de aprendizado profundo para tarefas de análise de sentimentos, ele pode capturar melhor informações contextualmente relevantes, extrair informações semânticas e impedir a perda de informações importantes, que podem melhorar efetivamente a precisão da classificação do sentimento de texto.

O estágio atual da pesquisa é mais sobre ajuste fino e melhorar o modelo de pré-treinamento, a fim de melhorar os experimentos com mais eficácia.

4. Análise de sentimentos usando modelos pré-treinados:

Um modelo pré-treinado é um modelo que foi treinado com um conjunto de dados.Ao ajustar o modelo pré-treinado, melhores resultados de classificação de sentimentos podem ser alcançados; portanto, a maioria dos métodos mais recentes usa modelos pré-treinados, e os mais recentes modelos pré-treinados são: Elmo, Bert, XL-Net, Albert, etc..

Ao fazer pleno uso do corpus monolíngue em larga escala em comparação com os métodos tradicionais, o método de pré-treinamento usando modelos de linguagem pode modelar múltiplos significados de uma palavra, e o processo de pré-treinamento usando modelos de linguagem pode ser considerado como uma frase-Representação de palavras contextuais de nível.

Ao pré-treinar um corpus em larga escala usando um modelo unificado ou adicionar recursos a alguns modelos simples, bons resultados foram alcançados em muitas tarefas de PNL, indicando que essa abordagem é significativamente eficaz na aliviação do problema de confiança na estrutura do modelo.

Haverá mais pesquisas sobre tarefas de processamento de linguagem natural no futuro, especialmente na mineração de sentimentos de texto.A maioria das abordagens mais recentes para a análise de sentimentos baseia-se no ajuste fino dos modelos pré-treinados e alcançou bons resultados.

Portanto, pode-se prever que os métodos futuros de análise de sentimentos se concentrarão mais na pesquisa de métodos profundos baseados em aprendizado e na obtenção de melhores resultados de análise de sentimentos, ajustando os modelos de pré-treinamento.