Отличие тестовой и валидационной выборки

Обучающая выборка (на которой модель обучают)

Валидационная выборка (для оценки переобученности модели, для оценки ошибки прогнозирования при выборе модели, для настройки гиперпараметров и выбора лучшей модели), показывает, как может повести себя модель с новыми данными.

При валидации модели выбирают набор гиперпараметров, который соответствует лучшей модели.

Тестовая выборка (для оценки работы готовой модели, для оценки ошибки обобщения для окончательной выбранной модели)

При наличии тестовой выборки от основной для валидационной отделяют 25%, соотношение получается 3/1

(обучающая 75%, валидационная 25%, и спрятанная тестовая)

Если спрятанной нет, то от основной для валидационной отделяют 20%, и 20% для тестовой, соотношение получается 3/1/1

(обучающая 60%, валидационная 20%, тестовая 20%)

Prediction Error vs Test (Generalization) Error (Model selection, Aaron Bobick)

Test or generalization error an independent test sample is conditioned on the training set 

Expected prediction error is expectation over training sets. We often ignore these differences (until CV).

Goals

• Model Selection: estimating the performance of different models in order to choose the best one.

• Model Assessment: having chosen a final model, estimating its generalization error on new data.

• Model Averaging: averaging the predictions from different models to achieve improved performance

Splitting the data

“In a data rich situation” split the dataset into three parts:

Training set: used to fit the models.

Validation set: used to estimate prediction error for model selection.

Test set: used to assess the generalization error for the final chosen model.

But in reality we are not so clean.