考虑一个线性回归模型，比如我用房屋面积x1和到市中心的距离x2两个因素来预测房价y：y = w1 * x1 + w2 * x2 + b我们知道如果w1 = 10, w2=1000就意味着x1增加1，y增加10，x2增加1，y增加1000，亦即我们认为一个房子的房价受房屋大小和到始终细腻距离两个因素影响，而且到市中心距离这个因素的印象力很大，比房屋面积大100倍。我们还可以针对每个权重w和偏置b做假设检验，来看看这三个因素有没有哪些是无显著影响的。对于这种只有两个因素的线性模型，我们甚至还可以将模型的函数图像画出来，直观地检查模型与数据拟合程度如何。对于线性模型，我们很清楚每一个参数w和b的含义是什么——我们很清楚这个模型学习了什么东西。所以我们可以有很明确的优化方案：“深圳市大城市，里市中心越近房价越高，我们应该提高到市中心距离这个因素的权重，加大w2”。
然而神经网络，一来神经元多，参数众多；而来结构分层，且隐含层众多；三来神经网络的参数对应的特征不是人工设计的，是神经网络在学习过程中自己选择的。我们根本不知道我们的神经网络模型到底学习了写什么，我们不知道每一个参数的含义是什么，所以我们无法解释整个模型的运作机制，自然也无法得出明确而又针对性的优化方案。
可解释性差也是深度学习目前最大的缺陷之一。这篇文章很详细地阐释了可解释性的概念，推荐阅读。
本作品首发于简书 和 博客园平台，采用知识共享署名 4.0 国际许可协议进行许可。
本文直接或简介地使用了以下著作的内容：邱锡鹏 《神经网络与深度学习》
Honglak Lee, Roger Grosse, Rajesh Ranganath and Andrew Ng "Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations"
周志华的《机器学习》
Wikipedia "Artificial Neuron"
Ian Goodfellow, Yoshua Bengio, Aaron Courville 《Deep Learning》