机器学习笔记--线性因子模型

线性因子模型是基于潜变量的最简单的概率模型,时常被用来作为混合模型或者更大的深度概率模型的组成模块。本文首先介绍线性因子模型的一般形式,然后再罗列一些特殊情况下的典型线性因子模型,方便日后学习。

一、线性因子模型

随机线性解码器函数通过对 \(h\) 的线性变换以及添加噪声来生成 \(x\),我们可以通过该函数来定义线性因子模型。

线性因子模型描述的数据生成过程如下:

首先我们从一个因子分布 \(p( h) \) 中抽取解释性因子 \(h\) :\(h\sim p( h) \),然后在给定因子的情况下,对实值的可观察变量进行采样:

\[ x= Wh+ b+ noise, \]

其中噪声往往是对角化的且服从高斯分布。

下图是描述线性因子模型族的有向图模型,从中我们可以看出其一般形式。

机器学习笔记--线性因子模型

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyypxj.html