Застосування методів оптимізації для навчання нейронних мереж із великим обсягом параметрів
Анотація
Метою дослідження стане аналіз алгоритмів оптимізації. Під час дослідження необхідно розглянути методи оптимізації, їх особливості, переваги та обмеження, які впливають на навчання великих нейронних мереж, надати ідею комбінованого методу і підсумувати відповідну інформацію.
Посилання
What is Deep Learning? URL: https://cloud.google.com/discover/what-is-deep-learning (дата звернення: 28.11.2024).
What Is a Transformer Model? URL: https://blogs.nvidia.com/blog/what-is-a-transformermodel/ (дата звернення: 28.11.2024).
What’s a loss function? URL: https://www.datarobot.com/blog/introduction-to-loss-functions/ (дата звернення: 28.11.2024).
Wu T., Zeng P., Song An C. optimization Strategy for Deep Neural Networks Training. URL: https://ieeexplore.ieee.org/document/10009665 (дата звернення: 28.11.2024).
Understanding RMSprop – faster neural network learning. URL: https://towardsdatascience. com/understanding-rmsprop-faster-neural-network-learning-62e116fcf29a (дата звернення: 28.11.2024).
