让机器有温度:带你了解文本情感分析的两种模型 (3)

让机器有温度:带你了解文本情感分析的两种模型

让机器有温度:带你了解文本情感分析的两种模型

HAN为Hierarchical Attention Networks,将待分类文本,分为一定数量的句子,分别在word level和sentence level进行encoder和attention操作,从而实现对较长文本的分类。相比于上述的算法模型,HAN的结构稍微复杂一些,具体可以分解为以下步骤。

让机器有温度:带你了解文本情感分析的两种模型

2.5 TextRCNN[10]

让机器有温度:带你了解文本情感分析的两种模型

RCNN算法过程:首先,采用双向LSTM学习word的上下文,利用前向和后向RNN得到每个词的前向和后向上下文的表示:

让机器有温度:带你了解文本情感分析的两种模型

词的表示变成词向量和前向后向上下文向量连接起来的形式:

之后再接跟TextCNN相同卷积层,pooling层即可,在seq_length维度进行 max pooling,然后进行fc操作就可以进行分类了,可以将该网络看成是fasttext 的改进版本。

总结

本篇博文从模型和算法的视角,分别介绍了基于统计方法的情感分析模型和基于深度学习的情感分析模型。基于统计方法的情感分析模型简单易用,但是在准确、灵活和泛化性上有较大的缺陷;基于深度学习的模型演进方向是不断通过更深和复杂的网络来捕捉上下文信息,同时借助于强大的预训练模型生成的词向量来训练神经网络来完成这项任务。下面的开源仓库[13]详细介绍了每一种模型的pytorch实现以及在相同的中文baseline上的对比;下面的两篇博文[11][12]也是对其他情感分析深度学习模型进行了详细介绍,可以作为进一步探索的指引。

参考文献

[1]https://wordnet.princeton.edu/

[2]HU M,LIU B. Mining and summarizing customer reviews[C]. NY,USA:Proceedings of Knowledge Discoveryand Da-ta Mining,2004:168 - 177.

[3]https://languageresources.github.io/2018/03/07/

%E9%87%91%E5%A4%A9%E5%8D%8E_Hownet/

[4]朱嫣岚,闵锦,周雅倩,等. 基于 How Net 的词汇语义倾向计算[J]. 中文信息学报,2006,20(1):14 - 20

[5]https://blog.csdn.net/weixin_41657760/article/

details/93163519

[6]https://arxiv.org/abs/1612.03651

[7]https://arxiv.org/abs/1408.5882

[8]https://www.ijcai.org/Proceedings/16/Papers/408.pdf

[9]https://www.aclweb.org/anthology/P16-2034/

[10]

[11]https://zhuanlan.zhihu.com/p/76003775

[12]https://zhuanlan.zhihu.com/p/73176084

[13]https://github.com/649453932/Chinese-Text-Classification-Pytorch

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zywxgx.html