Структурно-параметричний синтез капсульних нейронних мереж

Автор(и)

  • Віктор Михайлович Синєглазов Національний авіаційний університет, Київ https://orcid.org/0000-0002-3297-9060
  • Денис Олексійович Кудрєв Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

DOI:

https://doi.org/10.18372/1990-5548.78.18261

Ключові слова:

капсульна нейронна мережа, структурно-параметричний синтез, генетичний алгоритм, адаптивна оцінка момента (Adam), задача класифікації

Анотація

Дану роботу присвячено структурно-параметричному синтезу капсульних нейронних мереж. Розроблено методологію структурно-параметрично синтезу капсульних нейронних яка включає наступні алгоритми: визначення найбільш впливових параметрів НМ, гібридний алгоритм машинного навчання. За допомогою гібридного алгоритму визначається оптимальна структура та значення вагових коефіцієнтів. Гібридний алгоритм складається з генетичного алгоритму та градієнтного алгоритму (Adam). було оцінено 150 топологій капсульних нейронних мереж. Середній час оцінки одного покоління складав 10 годин. Хромосоми та ваги зберігаються у папку покоління. Формат збереження хромосом – json, механізм запису бібліотека jsonpickle. Також при утворення нового покоління, файли хромосом з інших поколінь використовуються як “кеш”, якщо існує хромосома такого самого вигляду, то особині одразу присвоюється точність, для уникнення зайвих тренувань нейромереж. В результаті використання гібридного алгоритму знайдено оптимальну топологію та параметри капсульної нейронної мережі для вирішення задачі класифікації.

Біографії авторів

Віктор Михайлович Синєглазов , Національний авіаційний університет, Київ

Доктор технічних наук

Професор

Завідувач кафедрою авіаційних комп’ютерно-інтегрованих комплексів

Факультет аеронавігації електроніки і телекомунікацій

Денис Олексійович Кудрєв , Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Магістрант

Кафедра штучного інтелекту

Інститут прикладного системного аналізу

Посилання

G. Hinton, А. Krizhevsky, and S. Wang, “Transforming Auto-Encoders,” Artificial Neural Networks and Machine Learning: ICANN 2011, 21st International Conference on Artificial Neural Networks, Espoo, Finland, June 14-17, 2011, Proc., Part I. 44–51. https://doi.org/10.1007/978-3-642-21735-7_6.

S. Sabour, N. Frosst, and G. E. Hinton, Dynamic Routing Between Capsules. arXiv:1710.09829. https://doi.org/10.48550/arXiv.1710.09829

Edgar Xi, Selina Bing, and Yang Jin, Capsule network performance on complex data. arXiv: 1712.03480. https://doi.org/10.48550/arXiv.1712.03480

Dilin Wang and Qiang Liu, An optimization view on dynamic routing between capsules, 2018. URL: https://openreview.net/forum?id=HJjtFYJDf

Jan Eric Lenssen, Matthias Fey, and Pascal Libuschewski, Group equivariant capsule networks. arXiv: 1806.05086. https://doi.org/10.48550/arXiv.1806.05086

Geoffrey E Hinton, Sara Sabour, and Nicholas Frosst, Matrix capsules with EM routing, 2018. URL: https://openreview.net/pdf?id=HJWLfGWRb

Mohammad Taha Bahadori, Spectral capsule networks, 2018. URL: https://openreview.net/pdf?id=HJuMvYPaM

Fabio De Sousa Ribeiro1, Georgios Leontidis, and Stefanos D Kollias, Capsule routing via variational bayes. arXiv: 1905.11455. https://doi.org/10.48550/arXiv.1905.11455

Jindong Gu and Volker Tresp, Improving the robustness of capsule networks to image affine transformations. arXiv: 1911.07968. https://doi.org/10.48550/arXiv.1911.07968

Inyoung Paik, Taeyeong Kwak, and Injung Kim, Capsule networks need an improved routing algorithm. arXiv: 1907.13327. https://doi.org/10.48550/arXiv.1907.13327

Sai Raam Venkatraman, Ankit Anand, S Balasubramanian, and R Raghunatha Sarma, Learning compositional structures for deep learning: Why routing-by-agreement is necessary. arXiv: 2010.01488. https://doi.org/10.48550/arXiv.2010.01488

Adam Byerly, Tatiana Kalganova, and Ian Dear, No Routing Needed Between Capsules. arXiv: 2001.09136. https://doi.org/10.48550/arXiv.2001.09136

Jaewoong Choi, Hyun Seo, Suii Im, and Myungjoo Kang, Attention routing between capsules. arXiv: 1907.01750. https://doi.org/10.48550/arXiv.1907.01750

Yao-Hung Hubert Tsai, Nitish Srivastava, Hanlin Goh, and Ruslan Salakhutdinov. Capsules with inverted dot-product attention routing. arXiv: 2002.04764. https://doi.org/10.48550/arXiv.2002.04764

Dunlu Peng, Dongdong Zhang, Cong Liu, and Jing Lu, “Bg-sac: Entity relationship classification model based on self-attention supported capsule networks,” Appl. Sof Comput. 91, 106186, 2020. https://doi.org/10.1016/j.asoc.2020.106186

V. Mazzia, F. Salvetti, & M. Chiaberge, “Efficient-CapsNet: capsule network with self-attention routing,” Sci Rep 11, Article number 14634, 2021. https://doi.org/10.1038/s41598-021-93977-0.

##submission.downloads##

Опубліковано

2023-12-27

Як цитувати

Синєглазов , В. М., & Кудрєв , Д. О. (2023). Структурно-параметричний синтез капсульних нейронних мереж. Електроніка та системи управління, 4(78), 34–43. https://doi.org/10.18372/1990-5548.78.18261

Номер

Том 4 № 78 (2023)

Розділ

КОМП’ЮТЕРНІ НАУКИ ТА ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ

Ліцензія

Автори, які публікуються в цьому журналі, погоджуються з наступними умовами:

Автори зберігають авторські права та надають журналу право першої публікації роботи, одночасно ліцензованої за ліцензією Creative Commons Attribution License, яка дозволяє іншим поширювати роботу з посиланням на авторство роботи та її першу публікацію в цьому журналі.

Автори можуть укладати окремі додаткові договірні угоди щодо неексклюзивного розповсюдження опублікованої в журналі версії роботи (наприклад, розміщувати її в інституційному репозиторії або публікувати в книзі) з посиланням на її першу публікацію в цьому журналі.

Авторам дозволяється та заохочується розміщувати свої роботи онлайн (наприклад, в інституційних репозиторіях або на своєму вебсайті) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш раннього та більшого цитування опублікованих робіт (див. Вплив відкритого доступу).