[深度概念]·深度学习之Attention Model(注意力模型)学习笔记 (13)

[深度概念]·深度学习之Attention Model(注意力模型)学习笔记

 

                                                                        图14 图片生成句子中每个单词时的注意力聚焦区域

 

 

图15给出了另外四个例子形象地展示了这种过程,每个例子上方左侧是输入的原图,下方句子是人工智能系统自动产生的描述语句,上方右侧图展示了当AI系统产生语句中划横线单词的时候,对应图片中聚焦的位置区域。比如当输出单词dog的时候,AI系统会将注意力更多地分配给图片中小狗对应的位置。

[深度概念]·深度学习之Attention Model(注意力模型)学习笔记

                                                                                                图15 图像描述任务中Attention机制的聚焦作用                    

 

[深度概念]·深度学习之Attention Model(注意力模型)学习笔记

​                 

                                                                                                    图16 语音识别中音频序列和输出字符之间的Attention

 

 

语音识别的任务目标是将语音流信号转换成文字,所以也是Encoder-Decoder的典型应用场景。Encoder部分的Source输入是语音流信号,Decoder部分输出语音对应的字符串流。

图16可视化地展示了在Encoder-Decoder框架中加入Attention机制后,当用户用语音说句子 how much would a woodchuck chuck 时,输入部分的声音特征信号和输出字符之间的注意力分配概率分布情况,颜色越深代表分配到的注意力概率越高。从图中可以看出,在这个场景下,Attention机制起到了将输出字符和输入语音信号进行对齐的功能。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwfxpw.html