Оптимізація глибоких нейронних мереж для покращення їхньої продуктивності
Анотація
Останніми роками глибокі нейронні мережі (ГНМ) завоювали значну популярність завдяки своїм вражаючим досягненням у багатьох сферах, зокрема комп’ютерне зорове сприйняття та обробка природних мов. Однак разом зі зростанням їх застосування виникають проблеми, пов’язані з високим рівнем складності та великою кількістю параметрів, що можуть призводити до значних обчислювальних витрат. Глибокі нейронні мережі, особливо глибокі згорткові та рекурентні мережі, мають велику кількість шарів, які потрібно оптимізувати під час тренування. Для цього необхідно на великих обсягах даних ефективне навчання моделі, що може призводити до перетренування на невеликих наборах даних. Також велика кількість параметрів ускладнює роботу з моделями і може вимагати великих обчислювальних ресурсів для їх тренування та використання.
Посилання
Гудфелоу, Я., Бенжіо, І., Курвіль, А. Глибоке навчання. MIT Press,(2016). 652 с.
Кінгма, Д. Адам: Метод стохастичної оптимізації. Препринт arXiv arXiv. Вип. 1412, п. 6980. (2014). С. 1‒15.
Срівастава, Н., Гінтон, Г., Крижевський, А., Суцкевер, Я., Салахутдінов, Р. (2014). Dropout: Простий спосіб запобігти перенавчанню нейронних мереж. Journal of Machine Learning Research, 15, C. 1929–1958.
