-
News Message
Attention-based LSTM for Aspect-level Sentiment Classification
- by wittx 2020-09-04
一、aspect level情感分析
给定句子和相应aspect，aspect level的任务是判断所给句子在指定aspect上的情感倾向。
aspect level情感分析的关键问题在于捕捉不同的context word对于特定aspect的重要性，利用这个信息做句子的语义表示。关于aspect level情感分析更具体的介绍可以参考《Aspect Level Sentiment Classification with Deep Memory Network》学习笔记。
二、本文主要工作
本文主要是通过attention机制来捕获不同上下文信息对给定aspect的重要性，将attention机制与LSTM结合起来对句子进行语义建模，解决aspect level情感分析的问题。
1、standard LSTM
标准LSTM的模型结构如下图所示，
模型说明：
- 每一时刻输入word embedding，细胞状态和隐层状态按下述公式更新，
- 最后一个隐层状态的输出
作为句子的语义表示； - softmax分类；
- 交叉熵做损失函数。
存在的问题：
这种标准LSTM模型没有考虑特定aspect和上下文之间的关联影响，无法区分出对特定aspect更重要的上下文信息。
2、Attention-based LSTM(AT-LSTM)
AT-LSTM的模型结构如下图所示，
每一时刻输入word embedding，LSTM的状态更新，将隐层状态和aspect embedding结合起来，aspect embedding作为模型参数一起训练，得到句子在给定aspect下的权重表示r。具体计算公式如下，
最终的句子表示为，
得到句子的语义表示之后，利用softmax分类，
3、Attention-based LSTM with Aspect Embedding (ATAE-LSTM)
AT-LSTM在计算attention权重的过程中引入了aspect的信息，为了更充分的利用aspect的信息，作者在AT-LSTM模型的基础上又提出了ATAE-LSTM模型，在输入端将aspect embedding和word embedding结合起来。
ATAE-LSTM模型结构如下图所示，
在AT-LSTM的基础上，将aspect embedding和word embedding结合起来作为输入，aspect embedding依然是作为模型参数一起训练。
三、实验
1、数据实验所用数据是SemEval 2014 Task4的用户评论数据集，具体分布情况如下表所示。
数据集中的每一条评论对应一个aspect列表和相应aspect情感倾向的列表。
例： The restaurant was too expensive. aspect：{price} polarity：{negative}
实验结果可以看出，在实验数据集上，ATAE-LSTM取得了最好结果。
3、Attention Visualization
图(b)中，输入句子为 “The fajita we tried was tasteless and burned and the mole sauce was way too sweet.”，aspect为"food"，tasteless和too sweet权重较高。
四、总结
1、本文将attention与LSTM结合在一起，通过attention去获取对不同aspect更重要的上下文信息，来解决aspect level情感分析问题，在实验数据集上取得了较好效果。
2、目前的模型中，不同的aspect只能独立输入处理，怎样才能通过attention一次处理多个aspect是一个值得深入探讨的方向。
Share Http URL: http://www.wittx.cn/get_news_message.do?new_id=113
Best Last Month
Information industry by wittx
Information industry by wittx
Computer software and hardware by wittx
Information industry by wittx
Information industry by wittxAutonomous Driving with Deep Q-Learning and Graph Attention Networks
Computer software and hardware by wittx
Information industry by wittx
Information industry by wittx
Information industry by wittxPain-free oral delivery of biologic drugs using intestinal peristalsis–actuated microneedle robots
Information industry by wittx
