动手学深度学习 3-5 Others

由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是KK折交叉验证（KK-fold cross-validation）。在KK折交叉验证中，我们把原始训练数据集分割成KK个不重合的子数据集，然后我们做KK次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他K−1K−1个子数据集来训练模型。在这KK次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这KK次训练误差和验证误差分别求平均。