深度学习笔记 (6)

当样本量不足时,或者不断有新样本加入时,需要使用 one-shot learning,解决办法是学习相似性函数,即确定两张图像的相似性。比如在 Siamese Network 中学习人脸识别时,就是利用两个网络的输出,减少同一个人的两个输出的差别,增大不同人的两个输出之间的差别。

19. 风格迁移

img

风格迁移是一个热门话题,它会在视觉上给人耳目一新的感觉。例如你有一副图,然后将另一幅图的风格特征应用到这幅图上,比如用一位著名画家或某一副名画的风格来修改你的图像,因此我们可以获得独特风格的作品。

循环网络 20. 循环神经网络基础

img

如上所示,命名实体识别等序列问题在现实生活中占了很大的比例,而隐马尔可夫链等传统机器学习算法只能作出很强的假设而处理部分序列问题。但近来循环神经网络在这些问题上有非常大的突破,RNN 隐藏状态的结构以循环形的形式成记忆,每一时刻的隐藏层的状态取决于它的过去状态,这种结构使得 RNN 可以保存、记住和处理长时期的过去复杂信号。

循环神经网络(RNN)能够从序列和时序数据中学习特征和长期依赖关系。RNN 具备非线性单元的堆叠,其中单元之间至少有一个连接形成有向循环。训练好的 RNN 可以建模任何动态系统;但是,训练 RNN 主要受到学习长期依赖性问题的影响。

以下展示了 RNN 的应用、问题以及变体等:

img

循环神经网络在语言建模等序列问题上有非常强大的力量,但同时它也存在很严重的梯度消失问题。因此像 LSTM 和 GRU 等基于门控的 RNN 有非常大的潜力,它们使用门控机制保留或遗忘前面时间步的信息,并形成记忆以提供给当前的计算过程。

21. NLP 中的词表征

img

词嵌入在自然语言处理中非常重要,因为不论执行怎样的任务,将词表征出来都是必须的。上图展示了词嵌入的方法,我们可以将词汇库映射到一个 200 或 300 维的向量,从而大大减少表征词的空间。此外,这种词表征的方法还能表示词的语义,因为词义相近的词在嵌入空间中距离相近。

除了以上所述的 Skip Grams,以下还展示了学习词嵌入的常见方法:

img

GloVe 词向量是很常见的词向量学习方法,它学到的词表征可进一步用于语句分类等任务。

22. 序列到序列

img

序列到序列的方法使用最多的就是编码器解码器框架,其它还有束搜索等模块的介绍。

编码器解码器架构加上注意力机制可以解决非常多的自然语言处理问题,以下介绍了 BLEU 分值和注意力机制。它们在机器翻译的架构和评估中都是不能缺少的部分。

img

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpgyxj.html