Нейромережеве розв’язання систем лінійних алгебраїчних рівнянь. Частина 1

Автор(и)

  • Володимир Володимирович Мамонов Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»
  • Євген Олексійович Шатіхін Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»
  • Юрій Олександрович Тимошенко Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» https://orcid.org/0000-0001-7812-6437

DOI:

https://doi.org/10.18372/1990-5548.75.17542

Ключові слова:

системи лінійних алгебричних рівнянь, число обумовленості, погано обумовлені системи, нейронна мережа, градієнтний спуск, TensorFlow

Анотація

Останнім часом нейронні мережі стали все популярнішими завдяки своїй універсальності у вирішенні складних проблем. Однією з цікавих областей їх застосування є розв’язання лінійних алгебричних систем, особливо тих, що є погано обумовленими. Розв’язки подібних систем дуже чутливі до невеликих змін їх коефіцієнтів, що призводить до нестійких рішень. Тому розв’язання цих типів систем може бути складною задачею і вимагати спеціальних прийомів. У статті досліджено застосування нейронних мереж для розв’язання систем лінійних алгебричних рівнянь, зосереджуючись на погано обумовлених системах. Основною метою є розробка моделі, здатної безпосередньо розв’язувати лінійні рівняння та оцінювання її продуктивності на ряді систем, в тому числі погано обумовлених. Для вирішення цієї проблеми було побудовано нейронну мережу, яка реалізує ітеративний алгоритм. Функція помилки лінійної алгебричної системи мінімізується за допомогою стохастичного градієнтного спуску. Ця модель не потребує тривалого навчання, окрім налаштування швидкості навчання для особливо великих систем. Аналіз показує, що запропонована модель може добре справлятися з гарно обумовленими системами різних розмірів, хоча для систем з великими коефіцієнтами потрібна нормалізація. Для ефективного розв’язання погано обумовлених систем потрібні покращення, так як досліджуваний алгоритм виявився арифметично нестійким. Це дослідження сприяє розумінню та застосуванню методів нейронних мереж для розв’язання лінійних алгебричних систем. Це забезпечує основу для майбутніх просувань у цій галузі та відкриває нові можливості для вирішення складних проблем. З подальшими дослідженнями та розвитком моделі нейронних мереж можуть стати потужним інструментом для розв’язання погано обумовлених лінійних систем та інших пов’язаних проблем.

Біографії авторів

Володимир Володимирович Мамонов , Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Студент бакалаврату

Кафедра штучного інтелекту

Інститут прикладного системного аналізу

Євген Олексійович Шатіхін , Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Студент бакалаврату

Кафедра штучного інтелекту

Інститут прикладного системного аналізу 

Юрій Олександрович Тимошенко, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Кандидат технічних наук. Доцент

Інститут прикладного системного аналізу

Посилання

G. E. Forsythe, M. A. Malcolm, & C. B. Moler, Computer Solution of Linear Algebraic Systems. New York: Prentice-Hall, Inc., 1967, 259 р. https://doi.org/10.1002/zamm.19790590235

Hilbert, David, “Ein Beitrag zur Theorie des Legendre'schen Polynoms“, (1894) Acta Mathematica, 18: 155–159, https://doi.org/10.1007/BF02418278

M. Zgurovsky, V. Sineglazov and E. Chumachenko, Artificial Intelligence Systems Based on Hybrid Neural Networks. Theory and Applications, Springer Cham, 2020, 512 p. https://doi.org/10.1007/978-3-030-48453-8

A. Cichocki and R. Unbehauen, “Neural networks for solving systems of linear equations and related problems,” IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications. vol. 39, no. 2, 1992, рp. 124–138. https://doi.org/10.1109/81.167018

C. Darken, J. Chang, and J. Moody, “Learning rate schedules for faster stochastic gradient search,”. Neural Networks for Signal Processing, Proceedings of the 1992 IEEE Workshop, vol. 2, Sep 1992, pp. 1–11. https://doi.org/10.1109/NNSP.1992.253713

TensorFlow documentation. https://www.tensorflow.org/api_docs/python/tf

Keras documentation. https://keras.io/api/

NumPy documentation. https://numpy.org/doc/stable/reference/index.html#reference

Matplotlib documentation. https://matplotlib.org/stable/api/index.html

##submission.downloads##

Опубліковано

2023-03-26

Номер

Розділ

КОМП’ЮТЕРНІ НАУКИ ТА ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ