上节课学习了seq2seq模型如何用于语音识别,这节课我们将学习如何将语言模型加入到模型中
为什么需要语言模型
token sequence 的概率
token sequence: \(Y=y_1,y_2,...,y_n\)
\(P(y_1,y_2,...,y_n)\)
token 可以是字符、词等等,可以见深度学习与人类语言处理-语音识别(part1)
HMM
\[\begin{equation}\mathrm{Y}^{*}=\arg \max _{\mathrm{Y}} P(X | \mathrm{Y}) P(\mathrm{Y})\end{equation} \]