另一方面，Gradient Tree Boosting的子模型都拥有较低的方差，整体模型的训练过程旨在降低偏差，故其需要较多的子模型（n_estimators默认值为100）且子模型为弱模型（max_depth的默认值为3），但是降低子模型间的相关度不能显著减少整体模型的方差（max_features的默认值为None）。
四、分类模型的调参方法调参是一个最优化问题。如果样本量不是非常大，计算资源也足够，那我们可以直接用网格搜索进行穷举。例如在随机森林算法中，可以用sklearn提供的GridSearchCV函数来调参。
param_test1 ={'n_estimators':range(10,71,10)，'max_features':range(20,50,1)} gsearch1= GridSearchCV(estimator =RandomForestClassifier(min_samples_split=100, min_samples_leaf=20,max_depth=8,random_state=10), param_grid =param_test1,scoring='roc_auc',cv=5) gsearch1.fit(X,y) gsearch1.grid_scores_, gsearch1.best_params_, gsearch1.best_score_