Виключення (нейронні мережі)

Виключення або дропаут (від англ. dropout) — метод регуляризації штучних нейронних мереж, призначений для запобігання перенавчання мережі. Метод значно підвищує швидкість навчання.

Суть методу полягає в тому, що в процесі навчання із загальної мережі випадковим чином виділяється підмережа, для якої здійснюється навчання. Після навчання обраної підмережі випадковим чином обирається нова підмережа і навчання продовжується. Вибір нейронів для підмережі відбувається випадковим чином з ймовірністю, яка називається коефіцієнтом дропаута. Більш навчені нейрони отримують в мережі більшу вагу.

Під час тестування дропаут не застосовується.

Див. також

• Згорткова нейронна мережа § Виключення

Посилання

• Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting [Архівовано 5 грудня 2019 у Wayback Machine.]