RNN 对序列建模，但是缺乏层次信息。而语言本身是具有层次结构，短语组成句子，句子组成篇章。因此研究者十分希望把语言中的这些层次结构在模型中得以体现，Hierarchical 的方式就出现了：从 word attention 到 sentence attention。
参考文献：
【1】深度学习和自然语言处理中的Attention和Memory机制 - 云+社区 - 腾讯云
【2】Attention and Memory in Deep Learning and NLP – WildML
【3】台大《应用深度学习》国语课程(2020) by 陈蕴侬_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
【4】huaxiaozhuan
【5】
【6】lkaiser.pdf
【7】Memory, attention, sequences - Towards Data Science
【8】一步步解析Attention is All You Need！ - 简书
【9】[图文]自然语言处理中的attention机制 - 百度文库
【10】Attention? Attention!