Оптимальний вибір генетичного алгоритму для налаштування глибоких нейронних мереж
DOI:
https://doi.org/10.18372/1990-5548.66.15222Ключові слова:
Багатокритеріальний генетичний алгоритм, нейронна мережа глибокого навчання, структурно-параметричний синтез, оптимальний вибірАнотація
Розглянуто проблему налаштування глибоких нейронних мереж з використанням генетичних алгоритмів. Зазначено проблему структурно-параметричного синтезу при налаштування нейронних мереж. Основна мета дослідження ‒ налаштувати глибоку нейронну мережу оптимально для розв’язку нагальних проблемі. Тип задачі для якої буде налаштовуватися глибока нейронна мережа ‒ задача класифікації. Дано класифікацію генетичних алгоритмів, які використовуються як базис для налаштування параметрів глибоких нейронних мереж. Запропоновано систему оптимального налаштування параметрів глибоких нейронних мереж, до складу якої входить двоступеневий алгоритм. На першому кроці роботи алгоритму відбувається вибір багатокритеріального генетичного алгоритму із множини можливих (генетичний алгоритм векторної оцінки, генетичний алгоритм Фонсеки та Флемінга, генетичний алгоритм Парето-апроксимації з нішуванням, генетичний алгоритм сортування без домінування, генетичний алгоритм сили Парето, генетичний алгоритм сили Парето-2), який найкращим чином підходить до заданої навчальної вибірки. На другому кроці розв’язується задача структурно-параметричного синтезу нейронної мережі за критеріями точності та складності. В результаті навчання знаходяться значення параметрів нейронної мережі такі як: кількість шарів, кількість нейронів в кожному шарі, значення вагових коефіцієнтів. Проведено моделювання запропонованої системи. Представлено результати моделювання, порівняння результатів з аналогічними програмними пакетами. Отримані результаті показують про можливості широкого використання.
Посилання
Ghosh Ashish & Dehuri Satchidananda, "Evolutionary Algorithms for Multi-Criterion Optimization: A Survey," International Journal of Computing & Information Sciences, 2, 2004.
C. A. C. Coello, "Evolutionary multi-objective optimization: a historical view of the field," Comput. Intell. Mag. IEEE 1 (1), 28–36, 2006. https://doi.org/10.1109/MCI.2006.1597059
K. Deb, "Multi-Objective Optimization Using Evolutionary Algorithms," vol. 16, John Wiley & Sons, 2001.
A. Zhou, B.-Y. Qu, H. Li, S.-Z. Zhao, P. N. Suganthan, and Q. Zhang, "Multi-objective evolutionary algorithms: a survey of the state of the art," Swarm Evol. Comput, 1 (1), 32–49, 2011. https://doi.org/10.1016/j.swevo.2011.03.001.
B. Li, J. Li, K. Tang, and X. Yao, "Many-objective evolutionary algorithms: a survey," ACM Comput. Surv. 48 (1), pp. 1–35, 2015. https://doi.org/10.1145/2792984
H. Ishibuchi, N. Tsukamoto, and Y. Nojima, "Evolutionary many-objective optimization: a short review," Proceedings of the IEEE Congress on Evolutionary Computation, 2008, pp. 2419–2426. https://doi.org/10.1109/CEC.2008.4631121
M. Farina, and P. Amato, "A fuzzy definition of “optimality” for many-criteria optimization problems," IEEE Trans. Syst. Man Cybern, Part A: Syst. Hum., 34 (3), 2004, pp. 315–326. https://doi.org/10.1007/s40747-019-0113-4
Mario Köppen, Raul Vicente-Garcia, and Bertram Nickolay, "Fuzzy-Pareto-dominance and its application in evolutionary multi-objective optimization," in: Proceedings of the Evolutionary Multi-criterion Optimization, Springer, 2005, pp. 399–412. https://doi.org/10.1007/978-3-540-31880-4_28
S. Yang, M. Li, X. Liu, and J. Zheng, "A grid-based evolutionary algorithm for many-objective optimization," IEEE Trans. Evol. Comput. 17 (5), 2013, pp. 721–736. https://doi.org/10.1109/TEVC.2012.2227145.
R. Wang, R. C. Purshouse, and P. J. Fleming, "Preference-inspired coevolutionary algorithm for many-objective optimization," IEEE Trans. Evol. Comput. 17 (4), 2013, pp. 474–494. https://doi.org/10.1109/TEVC.2012.2204264.
M. Li, S. Yang, and X. Liu, "Shift-based density estimation for Pareto-based algorithm in many-objective optimization," IEEE Trans. Evol. Comput., 18 (3), 2014, pp. 348–365. https://doi.org/10.1109/TEVC.2013.2262178
K. Tan, T. Lee, & E. Khor, "Evolutionary Algorithms for Multi-Objective Optimization: Performance Assessments and Comparisons," Artificial Intelligence Review 17, pp. 251–290, 2002. https://doi.org/10.1023/A:1015516501242
kaggle.com/c/mnist-classification
##submission.downloads##
Як цитувати
Номер
Розділ
Ліцензія
Автори, які публікуються в цьому журналі, погоджуються з наступними умовами:
Автори зберігають авторські права та надають журналу право першої публікації роботи, одночасно ліцензованої за ліцензією Creative Commons Attribution License, яка дозволяє іншим поширювати роботу з посиланням на авторство роботи та її першу публікацію в цьому журналі.
Автори можуть укладати окремі додаткові договірні угоди щодо неексклюзивного розповсюдження опублікованої в журналі версії роботи (наприклад, розміщувати її в інституційному репозиторії або публікувати в книзі) з посиланням на її першу публікацію в цьому журналі.
Авторам дозволяється та заохочується розміщувати свої роботи онлайн (наприклад, в інституційних репозиторіях або на своєму вебсайті) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш раннього та більшого цитування опублікованих робіт (див. Вплив відкритого доступу).
