Метрики регрессии.

I. MSE и RMSE

MSE (среднеквадратическая ошибка) = (прогнозы - реальные значения для каждого объекта) возводят в квадрат, складывают и полученное число делят на число объектов.

RMSE (корень из среднеквадратической ошибки) 

Проверка на адекватность.

#Реальная MSE модели линейной регрессии

from sklearn.metrics import mean_squared_error

mse = mean_squared_error(answers, predictions)

print(mse)

#Константная модель cо средним
predicted_valid = pd.Series(target_train.mean(), index=target_valid.index)
mse = mean_squared_error(target_valid, predicted_valid) 
print(mse)

II. Коэффициент детерминации, метрика R2 (R-squared), позволяет быстро делать проверку на адекватность
R2 = 1 - (mse_model / mse_mean) 

единица минус доля средней квадратичной ошибки модели от MSE среднего

Чем меньше средняя квдратичная ошибка, тем R2 больше (ближе к единице), тем выше качество модели.
Чем больше R2, тем выше качество модели.

Если R2 отрицательна, то модель работает хуже, чем простой подсчет среднего.

Если R2 = 0, модель работает так же, как среднее

from sklearn.metrics import r2_score

r2_score(y_true, y_pred)

например r2_score(target_validation, predicted_validation)

III. Cреднее абсолютное отклонение, среднее абсолютных ошибок MAE (mean absolute error), среднее абсолютных разностей между фактическими целевыми значениями и прогнозами.

from sklearn.metrics import mean_absolute_error

mean_absolute_error(y_true, y_pred)

или

mean_absolute_error(target_validation, predicted_validation)

Чем ниже MAE, тем качество модели выше

Проверка на адекватность.
#Реальная MAE модели линейной регрессии
print(mean_absolute_error(target_validation, predicted_validation))

#Константная модель c медианой
predicted_validation = pd.Series(target_train.median(), index=target_validation.index) 
print(mean_absolute_error(target_validation, predicted_validation)

Также есть другие метрики, в том числе:

MAPE (средняя абсолютная ошибка в процентах, mean percentage absolute error):  (прогноз - реальное значение, разделенный на реальное значение)

MAD (среднее абсолютное отклонение, mean absolute deviation): средний остаток по модулю, частное от суммы остатков по модулю к числу наблюдений.