Антонов Дмитрий Иванович, Сухов Сергей Владмирович

Ульяновский государственный технический университет, Ульяновский филиал Института радиотехники и электроники им. В.А. Котельникова РАН

Переобучение модели (overfitting) искусственной нейронной сети является нежелательным результатом её обучения. Подобный результат возникает из-за того, что в процессе обучения моделью учитываются как существенные, так и несущественные признаки, шум. Методы регуляризации предназначены для минимизации влияния случайного шума и выявления важных признаков. Существует ряд методов регуляризации для искусственных нейронных сетей 2-го поколения (метод исключения, L1-регуляризация, L2-регуляризация и др.), но они не подходят для 3-го поколения нейронных сетей – импульсных нейронных сетей (ИмНС), обеспечивающих более энергоэффективные и биологически правдоподобные вычисления. Информация в ИмНС передаётся с помощью коротких импульсов (спайков), а обучение происходит локально. Биологическая концепция работы нейронов мозга «используй или потеряешь» (use it or lose it) заключается в том, что если синаптическая связь не используется, то она слабеет и исчезает. Применение к ИмНС данной биологической концепции заключается в придании синаптическим весам сети временной зависимости, уменьшающей величину веса пропорционально времени «молчания» синаптической связи. В настоящей работе предложен новый метод регуляризации весов для ИмНС, основанный на том, что во время обучения сети производится обрезка (pruning) неиспользуемых весов, происходящая за счёт получения весами зависимости от времени, прошедшем с момента последнего импульса. В экспериментах была использована двухслойная ИмНС, обученная согласно комбинированному хеббовскому правилу, ранее разработанному авторами на базе локальных правил обучения STDP (spike-timing-dependent plasticity) и all-LTD (all-long-term-depression rule). Для обучения и тестирования ИмНС применялся набор данных MNIST (изображения рукописных цифр): 15000 изображений для обучения и 1500 изображений для тестирования, в опытах использовались только 3 класса изображений из 10 возможных.

импульсная нейронная сеть, переобучение, метод регуляризации