（刷榜问题，依然会过拟合：刷榜指的是公共数据集上好的模型会被其他团队所借鉴，坏的模型逐渐被淘汰，最后多个团队实际在进行一场接力赛，即***的模型被不断的加强，不断的贴近公共数据集，这样依然会发生过拟合问题）
过拟合问题看起来很简单，但实际很难解决
“成功是最大的失败”（当这个时代变化时，成功者会更加固执的坚持自己的固有经验，更不愿意做出改变）
工程应用由于成本限制，往往先从简单的模型开始（比如基于规则的模型），如果简单的模型效果不好，再尝试更为复杂的模型（比如深度学习模型），以下三种模型按简单到复杂的顺序排列
基于规则的模型：问题简单，拥有大量已有知识
基于统计的模型：数据量不大，有一些明确特征
深度学习模型：没有先验知识，没有明确特征，数据量大，算力高
并不是所有问题都适合用深度学习模型，其必须满足应用的条件；尤其是数据噪音大的时候更不应该用深度学习，因为其对噪音很敏感，这种情况下简单的模型由于对噪声的敏感度低，效果反而更好。
世界知识基于知识，常识的机器学习。世界知识给机器学习提供辅助功能
在生活中，很多知识离不开具体的场景与背景知识，比如“杭州市长春药店”，如果没有背景知识，很有可能断句错误闹笑话。机器学习也需要大量的这种背景知识，这种背景知识支持，辅助学习过程，其被称为背景知识。
小样本学习人往往需要很少的数据就可以掌握知识（比如人类儿童对语言的学习），实现小样本学习实际上借用了外部知识（世界知识），人类很多小样本学习可以用此解释，除过儿童学习语言（目前的猜想是人的大脑都有本身存储的知识，拥有所有自然语言的一个高度抽象，这些知识存储在我们的基因之中）
To be continued >>>>