我们要最大化L（L就是 likehood）。在\(L _ {b}\)中，p(z)是已知的，不知道的是p(x|z)。我们最开始是要找\(P(x|z)\)和\(q(z|x)\)让这个likehood越大越好，现在做的事找到这两个让\(L _ {b}\)越大越好。刚才的等式就说明了两者是正相关，正好满足了需求：\(likehood=L _ {b}+KL\)。我们固定\(p(x|z)\)去调整\(q(z|x)\)，\(L _ {b}\)变大\(KL\)变小\(likehood\)变大。\(KL\)变小就说明\(P(x|z)\)近似于\(q(z|x)\)。
最小化KL，就是去调q对应的NN产生的分布跟正态分布越接近越好。所以整个case就变成说input一个x然后产生两个向量，产生一个z，再根据这个z产生另外一个向量跟原来的x越接近越好。这件事实际上就是自编码器，只要input&output越接近越好，所以两项合起来就是之前说的VAE的损失函数：\(Σ(1+\sigma-(m)^{2}-exp(\sigma)\)
还有一种conditional VAE。如果要应用产生手写数字，就给它digit然后把数字的特性抽取出来（笔画粗细等），然后放进编码器的时候一方面给他关于数字特性的分布，另一方面告诉解码器是什么数字。这样就可以根据数据集生成跟它风格相近的数字。
VAE的问题 ：
VAE的一个很严重的问题是：它学到的不是咋样产生一张看起来像真的图像，而是产生一张与数据集里某张相似的图像。它并不知道评估它产生的图像跟数据集图相似度的时候（MSE等），解码器的输出跟真正图像之间有一个像素的差距也会使得结果非常不一样。但对VAE来说这仅是一个像素点的差距，两者没什么差别。所以接下来就引入了GAN
Generative Adversarial Network GAN对抗生成网络：
GAN的概念类似拟态的演化：有一个生成器生成图像，有一个Discriminator鉴别器去鉴别图像。生成器生成图像，鉴别器输入生成器生成图像与real images真实图像调整模型参数进行判断：是真实的还是生成的。之后生成器再根据鉴别器的结果调整它的参数（比第一次生成更接近真实图像）生成图像，再鉴别器继续根据生成图像与真实图像进行判别。（后一代生成器可以骗过前一代的鉴别器，两者都在演化）
生成器从来没有接触过真实图像，鉴别器一直都在接触真实图像。生成器的目的就是要骗过鉴别器，鉴别器的目的就是要鉴别出生成图像。GAN鉴别器就是一个神经网络， 输入是一张图像，输出是0-1概率判别真实图像和生成图像，GAN生成器也是一个神经网络，架构跟自编码器中的截脉气一样，输入是一个分布中采样出来的向量，输出是图像。鉴别器中生成图像的label是0，真实图像的label是1。
GAN把生成器跟鉴别器组合在一起，构成一个大型的神经网络。训练生成器时，输入向量做梯度下降，希望网络最后输出接近1，只更新生成器部分参数，fix固定鉴别器部分参数。
GAN paper中的Toy example：z是个一维向量，输入生成器里，会产生另一个一维的输出x（z可以是从任何分布采样的），每个不同的z会得到不同的x，之后把z和真实数据输入鉴别器，目标就是希望生成器的输出与real data越接近越好。问题是无法判断进行学习的结果是否work，比如当分类器的效果不好的时候，可能是因为生成器效果非常好生成图像与真实图像相近，也可能是鉴别器能力太弱了 - 因为从生成器鉴别器的loss没办法看出来效果如何，只能更新一次人工看一次，方向错了再进行更新，这还是一个没有解决的难题。
在GAN中最大的问题是没有一个明确的signal，要做的事是保持生成器和鉴别器是well-matched，不断处于竞争状态，这需要一个很困难的平衡来调整参数。当鉴别器失败，平衡破除时，并不代表说GAN成功了，往往是此时的鉴别器太弱了，且生成器也并未多强。
第二十一章 迁移学习
迁移学习是指：我们能否利用一些不直接相关地数据来帮助我们要做的task - 不直接相关有很多种可能，比如输入分布类似（同样是动物），但是标签不同（task不同）；输入维度不同，但是task相同（都是猫狗分类）。
迁移学习的原因是因为任务数据集过少，但是类似数据集很多，比如泰文语音过少，但是中文英文语音很多。
下述术语可能会和别的地方有些不同。
将数据集分为四种：Target Data & Source Data + labelled & unlabeled
Model Fine - tuning：假设目标数据和其他数据同时具有标签，最常见做的事就是fine-tuning模型微调。