一、线性回归问题 1、线性回归问题介绍 （1）示例介绍
数据：工资和年龄（2个特征）
目标：预测银行会贷款多少钱（标签）
考虑：工资和年龄都会影响最终银行贷款的结果，那么它们各自有多大的影响？（参数）
通过图表可以看出随着工资和年龄的增长，贷款额度也随之增长。X1和X2的数量级是不同的，因此需要增加两个因子：θ1x1+θ2x2=y ，在已知x1,x2,y的情况下建立回归方程。方程的目标就是求出最合适的θ1、θ2，这样就知道工资和年龄对贷款额度到底有多大的影响。
（2）通俗解释X1、X2就是我们的两个特征（年龄、工资），Y是银行最终会借给我们多少钱。
找到最合适的一条线（想象一个高维）来最好的拟合我们的数据点。（无法满足所有，满足尽可能多的点）
图中红点是样本数据，想根据给定的数据集拟合一个平面，使得各个样本数据到达平面的误差最小。
这个图就是机器如何进行预测的（回归）它会根据贷款的历史数据（年龄和工资分别对应于X1与X2）找出来最好的拟合线（面）来进行预测，这样新的数据来了之后直接带入进去就可以得出来该给多少钱了。
（3）进一步整合回归方程整合是把偏置项和权重参数项放到了一起（加了个θ0让其都等于1）。
假设θ1是年龄的参数，θ2是工资的参数。
拟合的平面：hθ(x) = θ0 + θ1x1 + θ2x2 。参数θ1、θ2为权重项，对结果影响较大。θ0是偏置项。
整合：
一个传统的神经网络就可以看成多个逻辑回归模型的输出作为另一个逻辑回归模型的输入的“组合模型”。
因此，讨论神经网络中的偏置项b的作用，就近似等价于讨论逻辑回归模型中的偏置项b的作用。
（1）逻辑回归偏置项逻辑回归模型本质：利用 y = WX + b 这个函数画决策面，其中W为模型参数，也是函数的斜率；b为函数的截距。
一维情况：W=[1]，b=2，y=WX+b得到一个截距为2，斜率为1的直线如下所示：
二维情况：W=[1 1]，b=2，则 y=WX+b得到一个截距为2，斜率为[1 1]的平面如下所示：
显然y=WX+b这个函数，就是2维/3维/更高维空间的直线/平面/超平面。如果没有偏置项b，则只能在空间里画过原点的直线/平面/超平面。
因此对于逻辑回归必须加上偏置项b，才能保证分类器可以在空间任何位置画决策面。
（2）神经网络偏置项同理，对于多个逻辑回归组成的神经网络，更要加上偏置项b。
如果隐层有3个节点，那就相当于有3个逻辑回归分类器。这三个分类器各画各的决策面，那一般情况下它们的偏置项b也会各不相同。
复杂决策边界由三个隐层节点的神经网络画出如下：
如何机智的为三个分类器(隐节点)分配不同的b呢？或者说如果让模型在训练的过程中，动态的调整三个分类器的b以画出各自最佳的决策面呢？
那就是先在X的前面加个1，作为偏置项的基底，（此时X就从n维向量变成了n+1维向量，即变成 [1, x1,x2…] ），然后，让每个分类器去训练自己的偏置项权重，所以每个分类器的权重就也变成了n+1维，即[w0,w1,…]，其中，w0就是偏置项的权重，所以1*w0就是本分类器的偏置/截距啦。这样，就让截距b这个看似与斜率W不同的参数，都统一到了一个框架下，使得模型在训练的过程中不断调整参数w0，从而达到调整b的目的。