优化配置:是用什么优化方法?学习率是多少?rmsprop对大多数问题都有效,作为默认方法。
最常见的选择:
明确需要训练模型的复杂度,先开发一个过拟合模型:
添加网络层;
每层网络添加神经元数目;
epochs变大。
监测训练集和验证集上的损失值变化以及训练集验针集准确率。当验证集上表现开始衰减时,发生过拟合。
下一阶段进行模型调整。
这个阶段耗时最长:反复尝试;训练,验证集上评估,修改模型,再次训练等等;直到模型满足要求。
添加Dropout;
不同的架构:增加、减少网络层;
L1、L2正则化;
修改不同的超参数;
在不同的特征工程上迭代:添加新特征、减少特征等等。
每次使用验证集上的表现调整模型时,验证集的信息会泄露到模型中。重复几次是无伤大雅的;但重复次数过多,最终会导致在验证集上模型过拟合,评估结果不可信。
一旦最佳的模型参数、配置情况确定,最后在非测试集上的所有数据进行训练,最后在测试集上进行测试评估。