所以，如果在写神经网络的代码的时候，把偏置项给漏掉了，那么神经网络很有可能变得很差，收敛很慢而且精度差，甚至可能陷入“僵死”状态无法收敛。
3、误差项定义银行的目标得让误差越小越好，这样才能够使得我们的结果是越准确的。
真实值和预测值之间肯定要存在差异——用 ε 来表示该误差。
对于每个样本：y(i) = θTx(i) + ε(i) ，y(i)是真实值，θTx(i)是预测值， ε(i)是差异值。
每一个样本的误差值是不同的：
独立同分布（iid，independently identically distribution）在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。
误差ε(i)是独立且具有相同分布，并且服从均值为0方差为θ2的高斯分布；
独立：张三和李四一起来贷款，他俩没有关系，即每个样本到拟合平面的距离都不相同；
同分布：他俩都来得是我们假定的同一家银行，所以它在预测的时候是按照同样的方式，数据是在同一个分布下去建模，尽可能来自相同的分布；
高斯分布：银行可能会多给，也可能会少给，但是绝大多数情况下，这个浮动不会太大，极小情况下浮动会比较大（有的多有的少，大概来看，均值为0）。
误差在0附近浮动的可能性较大，正负差距较大的可能性越来越小。符合概率统计中现实分布情况。
将（1）式转化为：ε(i) = y(i) - θTx(i) ，即：误差=实际值-预测值，然后带入高斯分布函数（2）式，就将误差项都替换为了x,y。
p(x;θ)代表：在给定θ的情况下x的取值；
p(y|x;θ)代表：在给定x的情况下，还给定某种参数θ的情况下，y的概率密度函数。
由于x和θ是一个定值，所以θTx(i) 可以理解为一个定值C。
5、似然函数似然函数是一种关于模型中参数的函数，用来表示模型参数中的似然性。
已知样本数据x(x1,x2,...,xn)组合，要使用什么样的参数θ和样本数据组合后，可以恰好得到真实值？
要让误差项越小越好，则要让似然函数越大越好，由此将问题转为求L(θ)的最大值。
（1）引入似然函数引入似然函数如下：（Π从...到...的积）
连续型变量相互独立的充要条件是联合概率密度等于边缘概率密度的乘积。因此变量符合独立同分布前提下，联合概率密度等于边缘概率密度的乘积成立。
p(y(i) | x(i);θ)：什么样的x和θ组合完后，能成为y的可能性越大越好。m项的乘积非常难解，难以估计，因此要想办法转为加法。
对数似然：乘法难解，加法相对容易，对数里面乘法可以转换成加法，因此对式子左右两边取对数。
log(AB) = logA + logB
首先，取对数不影响函数的单调性，保证输入对应的概率的最大最小值对应似然函数的最值。
其次，减少计算量，比如联合概率的连乘会变成加法问题，指数亦可。
最后，概率的连乘将会变成一个很小的值，可能会引起浮点数下溢，尤其是当数据集很大的时候，联合概率会趋向于0，非常不利于之后的计算。依据ln曲线可知，很小的概率（越接近0）经过对数转换会转变为较大的负数，解决下溢问题。
取对数虽然会改变极值，但不会改变极值点。任务依然是求极值，因此L(θ)和logL(θ)两者是等价的。
6、参数求解 （1）公式继续展开化简