Оптимизация размера нейросети обратного распространения

Рассматривается новая “кривая обобщения” - график зависимости критерия (условно названным волновым), основанного на теореме Байеса, от размера (структуры) нейросети. Вычислительные эксперименты показывают, что локальные минимумы данного критерия хорошо соответствуют свойству традиционной зависимости - ошибки обобщения от размера нейросети. Критерий может быть использован для определения оптимального размера нейросети при отсутствии тестовой выборки.
1. Задача определения оптимального размера нейросети
При создании нейросетей важной задачей является нахождение оптимального размера сети – такого числа скрытых слоёв и нейронов в слоях, которые дадут минимум ошибки обобщения, особенно в случае отсутствия независимой тестовой выборки или сложностью разделить выборку данных на обучающую и тестовую часть.
Поэтому широко используется парадигма “кривых обучения” - зависимостей ошибок обучения и обобщения от размеров нейросети [1,2]. Оптимуму соответствуют локальные минимумы или моменты выхода графиков на асимптоты.
Другим классом кривых обучения являются зависимости внутренних свойств нейросети от её размера, сопоставляемые затем с ошибкой обобщения. Например – анализ [1] внутреннего представления задачи, связь ошибки обучения и максимума суммы модулей весов синапсов, приходящихся на нейрон сети, NIC – критерий, сопоставление вектора средних значений модулей весов синапсов [3] и ошибки обобщения. Такие критерии позволяют обходиться без тестовой выборки.