Параметры и гиперпараметры

Параметры вычисляют в процессе обучения, модель узнаёт параметры из обучающих данных, от них зависит, как предстказывает модель, но на их значение влияют сами обучающие данные. 

Примеры параметров:

- количество узлов

- взаимное расположение узлов (структура)

- вопрос в вершине и ответы в нижних узлах

- веса нейронов в нейронных сетях 

- ошибка на выходе сети

- расстояние между объектами в кластеризации 

- значения дискриминационных порогов в классификации 

Гиперпараметры - параметры алгоритмов, значения которых устанавливаются перед запуском процесса обучения для управления процессом обучения, настройки самих алгоритмов обучения, которые помогают улучшить модель, например, настройка максимальной глубины, выбор критерия impurity (Джини или энтропии...) и т.д.

Еще примеры гиперпараметров:

I. В деревьях решений: минимальное число обучающих примеров в узле, максимальная глубина дерева.

II. В нейросетях: крутизна активационной функции, число скрытых слоев и нейронов в них, число итераций обучения, уровень ошибки, доля распознанных примеров, при которых обучение останавливается, значение коэффициента скорости обучения (Learning rate).

III. В алгоритмах кластеризации с помощью карт Кохонена:  начальный радиус обучения, число создаваемых кластеров, коэффициент скорости обучения.