Métodos de análisis de sentimientos de texto (3) - Métodos de análisis de sentimientos basados en el aprendizaje profundo

Introduction of deep learning-based sentiment analysis methods

Los métodos de análisis de sentimientos basados en el aprendizaje profundo se realizan utilizando redes neuronales, y los métodos típicos de aprendizaje de redes neuronales son: red neuronal convolucional (CNN), red neuronal recurrente (RNN), memoria a largo plazo (LSTM), etc.

Al subdividir los métodos de análisis de sentimientos basados en el aprendizaje profundo, se pueden dividir en: métodos de análisis de sentimientos de red neuronal individual, métodos de análisis de sentimientos de redes neuronales híbridos (combinados, fusiones), análisis de sentimientos mediante la introducción de mecanismo de atención y análisis de sentimientos utilizando modelos previamente capacitados.

1. Análisis de sentimientos de red neuronal individual:

En 2003, Bengio et al.propuso un modelo de lenguaje de red neuronal, que utiliza una red neuronal de feedsward de tres capas para modelar el lenguaje.La red neuronal consiste principalmente en una capa de entrada, una capa oculta y una capa de salida.

Cada neurona en la capa de entrada de la red representa un rasgo, el número de capas ocultas y las neuronas de capa oculta se establecen manualmente, y la capa de salida representa el número de etiquetas categóricas, se muestra una red neural básica de tres capas a continuación.

La esencia del modelo de lenguaje es predecir el contenido de la siguiente palabra basada en la información contextual sin depender del corpus etiquetado manualmente, desde el cual se puede encontrar que la ventaja del modelo de idioma es la capacidad de aprender un conocimiento rico delCorpus a gran escala.

Este enfoque puede resolver efectivamente el problema de ignorar la semántica contextual en los métodos basados en análisis de sentimientos tradicionales.

2. Análisis de sentimientos por redes neuronales híbridas (combinadas, fusionadas):

Además de la investigación sobre enfoques de redes neuronales individuales, varios académicos han combinado y mejorado estos enfoques y los han utilizado en el análisis de sentimientos después de considerar las ventajas de diferentes enfoques.

En comparación con los métodos de análisis de sentimientos basados en léxicos de sentimiento y el aprendizaje automático tradicional, el enfoque que usa redes neuronales tiene ventajas significativas en el aprendizaje de características de texto, que pueden aprender activamente características y retener activamente información sobre las palabras en el texto para extraer mejor la información semántica de la correspondientepalabras para lograr efectivamente la clasificación de sentimientos del texto.

Como se propuso el concepto de aprendizaje profundo, muchos investigadores lo han explorado continuamente y obtuvieron muchos resultados, por lo que los métodos de clasificación de sentimientos de texto basados en el aprendizaje profundo se están expandiendo.

3. Análisis de sentimientos con la introducción del mecanismo de atención:

Basado en redes neuronales, en 2006, Hinton et al.Pionero fue pionero en el concepto de aprendizaje profundo para mejorar el rendimiento del aprendizaje mediante el aprendizaje de la información clave en los datos a través de modelos de red profundas para reflejar las características de los datos.

Los métodos basados en el aprendizaje profundo utilizan vectores continuos y de baja dimensión para representar documentos y palabras, y por lo tanto pueden resolver efectivamente el problema de los datos dispersos.Además, los métodos basados en el aprendizaje profundo son métodos de extremo a extremo que extraen automáticamente las características de texto y reducen la complejidad de las características de construcción de texto.

Los métodos de aprendizaje profundo han hecho un progreso significativo en el campo del procesamiento del lenguaje natural, como la traducción automática, la clasificación de texto y el reconocimiento de la entidad, además de resultados notables en los campos del habla y la imagen.La investigación sobre los métodos de análisis de sentimientos de texto pertenece a una pequeña rama de la clasificación de texto.

Al agregar un mecanismo de atención a los métodos de aprendizaje profundo para las tareas de análisis de sentimientos, puede capturar mejor información contextualmente relevante, extraer información semántica y evitar la pérdida de información importante, lo que puede mejorar efectivamente la precisión de la clasificación de sentimientos de texto.

La etapa actual de la investigación se trata más de ajustar y mejorar el modelo de pre-entrenamiento para mejorar los experimentos de manera más efectiva.

4. Análisis de sentimientos utilizando modelos previamente capacitados:

Un modelo previamente capacitado es un modelo que ha sido entrenado con un conjunto de datos.Al ajustar el modelo previamente capacitado, se pueden lograr mejores resultados de clasificación de sentimientos, por lo que la mayoría de los últimos métodos utilizan modelos previamente capacitados, y los últimos modelos previamente capacitados son: Elmo, Bert, XL-Net, Albert, etc..

Al hacer un uso completo del corpus monolingüe a gran escala en comparación con los métodos tradicionales, el método de pre-entrenamiento utilizando modelos de lenguaje puede modelar múltiples significados de una palabra, y el proceso de pre-entrenamiento utilizando modelos de lenguaje puede considerarse como una oración.Representación de palabras contextuales de nivel.

Al prevenir previamente un corpus a gran escala utilizando un modelo unificado o agregar características a algunos modelos simples, se han logrado buenos resultados en muchas tareas de PNL, lo que indica que este enfoque es significativamente efectivo para aliviar el problema de la dependencia de la estructura del modelo.

Habrá más investigación sobre tareas de procesamiento del lenguaje natural en el futuro, especialmente sobre la minería de texto de los sentimientos.La mayoría de los últimos enfoques para el análisis de sentimientos se basan en el ajuste de los modelos previamente capacitados y han logrado buenos resultados.

Por lo tanto, se puede predecir que los métodos de análisis de sentimientos futuros se centrarán más en investigar métodos basados en el aprendizaje profundo y lograr mejores resultados de análisis de sentimientos mediante el ajuste de los modelos previos a la capacitación.