起源 起源：最小二乘法源于天文学和大地测量学领域。因为这两个领域对精度的高要求而被发明。
1801年，意大利天文学家朱塞普·皮亚齐发现了第一颗小行星谷神星。进行了40天的跟踪观测后，但由于谷神星运行到太阳背后，失去了具体位置信息。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，这个高斯正是著名数学家 卡尔·弗里德里希·高斯 ，没错就是我们大学数学认识的那个高斯。
机器学习本质其实就是求最优解的过程，最小二乘法是回归算法中求最优解的方法之一，还有一个是梯度下降法，以后会讲~。
思考我们在正式讲最小二乘法之前，读者大大们可以想下下面这个问题临近中秋，小明想要自己做月饼，现在已知五种规格月饼所需的面粉重量如下：
月饼重量(g) 面粉重量(g)30 20
100 81
80 110
190 90
220 180
现在小明想做规格为140g的月饼，请问他需要多少克月饼现在读者大大们根据平时经验，可以思考下怎么求。九年义务教育让我看见这种题目就条件反射列方程求未知数，不知道读者大大们是不是也是这样~
原理我们从另一个角度来看这个问题我们将这5个月饼用坐标系标出来，如下图 然后我们先用画出一条接近这5个点的线，假设线性关系为
是不是只要我们找出一条最接近这5个点的线就可以了，这样算出来的值是最接近真实值的。
由图可以得出，需要这条线跟这个5个点的误差最小， 每个点跟线的误差如下所示
最后将所有误差值累加得出