Розпізнавання текстових фраз, спотворених перешкодами, нейронною мережею зворотного розповсюдження помилки
DOI:
https://doi.org/10.18372/1990-5548.65.14987Ключові слова:
Нейронна мережа зворотного розповсюдження помилки, розпізнавання тексту, ймовірність розпізнаванняАнотація
У статті розглядаються системи, які можуть використовуватися на установках, що використовуються в умовах ризику для життя людей, наприклад, в гірській, ядерній промисловості, ін. Інформаційні системи здатні попереджувати про небезпеку передаванням текстових повідомлень через вільний простір. Основною проблемою радіоприймання інформації в сучасних умовах є збільшення кількості випромінюючих засобів, що еквівалентно збільшенню рівня шуму на вході приймального пристрою. Як додатковий засіб обробки викривленої текстової інформації пропонується використовувати попередньо налаштовану нейронну мережу. Для аналізу було вибрано нейтральну мережу зворотного розповсюдження помилки. Налаштування мережі здійснюється алгоритмом, що передбачає подвійне диференціювання функції помилок, що забезпечує високу швидкість збіжності мережі. Вивчення припиняється за критерієм відхилення вихідного сигналу від еталонного. У статті сформульовані умови квадратичної збіжності мережі, що використовує одну нову процедуру настройки, а також пропонуються приклади побудови нейронної мережі для розпізнавання текстового повідомлення в різних умовах прийому. Вхідними даними для нейронної мережі є англійський алфавіт, представлений двійковим сигналом. Особливістю структури нейронної мережі, що забезпечує правильне розпізнавання, є використання абсолютно нелінійних нейронів. Порівняння варіантів структури нейронної мережі при розпізнаванні текстових фраз здійснюється за показниками ймовірності розпізнавання, помилки і часу навчання. Встановлені властивості нейронної мережі корисні при розробці ефективних інформаційних систем.
Посилання
Y. Shi, J. Chen, J. Hao, J. Bi, M. Qi and X. Wang, “Statistical Analysis of Coal Mine Accidents of China in 2018,” in Proc. 2019 Prognostics and System Health Management Conference (PHM-Qingdao), 2019, pp. 1–6. DOI: 10.1109/PHM-Qingdao46334.2019.8942991
R. K. Ur and G. Heo, “Risk Informed Optimization of Instrumentation and Control (I&C) Architecture,” in Proc. 2017 International Conference on Innovations in Electrical Engineering and Computational Technologies (ICIEECT), 2017, pp. 1–5. DOI: 10.1109/ICIEECT.2017.7916585
J. Shi and G. Wang, “Risk-Informed Periodic Surveillance Testing Interval of Digital Safety Systems with Self-Diagnosis Capacity,” in Proc. 2014 10th International Conference on Reliability, Maintainability and Safety (ICRMS), 2014, pp. 1156–1160. DOI: 10.1109/ICRMS.2014.7107385
C. Yao, X. Bai, B. Shi and W. Liu, “Strokelets: A Learned Multi-Scale Representation for Scene Text Recognition,” in Proc. Conference on Computer Vision and Pattern Recognition, 2014, pp. 4042–4049. DOI: 10.1109/CVPR.2014.515
Q. Yang, H. Jin, J. Huang and W. Lin, (2020, Mar). SwapText: Image Based Texts Transfer in Scenes. Presented at CVPR 2020. [Online]. Available: http://arxiv.org/abs/2003.08152v1
A. Oord, N. Kalchbrenner and K. Kavukcuoglu, (2016, Aug). Pixel Recurrent Neural Networks. [Online]. Available: https://arxiv.org/abs/1601.06759
S. Lapuschkin, A. Binder, G. Montavon, K.-R. Muller and W. Samek, (2016, Jun). “The LRP Toolbox for Artificial Neural Networks,” Journal of Machine Learning Research. [Online]. 17(114), pp. 1–5. Available: http://publica.fraunhofer.de/documents/N-421912.html last accessed 2020/03/2
J. Schmidhuber, “Deep Learning in Neural Networks: An Overview,” Neural Networks, vol. 61, pp. 85–117, Jan 2015. DOI: 10.1016/J.NEUNET.2014.09.003
R. Vargas and L. Ruiz, (2017, Nov). Deep Learning: Previous and Present Applications. Journal of Awareness. [Online]. 2(3), pp. 11–20. Available: https://journals.gen.tr/index.php/joa/article/view/306/258
E. Cengil, A. Çınar and E. Özbay, “Image Classification with Caffe Deep Learning Framework,” in Proc. International Conference on Computer Science and Engineering, 2017, рp. 440–445. DOI: 10.1109/UBMK.2017.8093433
G.E. Hinton, S. Osindero and Y.-W. The, (2006, Aug). A Fast Learning Algorithm for Deep Belief Nets. Neural Computation. 18(7), pp. 1527–1554. DOI: 10.1162/neco.2006.18.7.1527
L. Deng and D. Yu, “Deep Learning: Methods and Applications,” Foundations and Trends in Signal Processing, vol. 7, no. 3–4, pp. 197-387, Jun. 2014. DOI: 10.1561/2000000039
D. P. Kucherov, I. V. Ohirko, O. I Ohirko and T. I. Golenkovskaya, “Neural Network Technologies for Recognition Characters,” Electronic and Control System, vol. 4, no. 46, pp. 65-71, Dec. 2005. DOI: 10.18372/1990-5548.46.9967
D. P. Kucherov, V. N. Dikhtyarenko and A. M. Kozub, (2016, Feb). “An Algorithm of Setting the Weights of a Neural Network Controller,” Journal of Automation and Control Engineering, 4(1), pp. 1–6. DOI: 10.12720/joace.4.1.1-7
H. P. Gavin, (2019, Aug.) The Levenberg-Marquardt Algorithm for Nonlinear Least Squares Curve-Fitting Problems. Dep. of Civil and Envir. Engin., Duke University, Darem. [Online]. Available: http://people.duke.edu/~hpgavin/ce281/lm.pdf
M. K. Transtrum and J. P. Sethna, (2012, Jan.) Improvements to the Levenberg-Marquardt Algorithm for Nonlinear Least-Squares Minimization. Lab. of Atomic and Solid State Physics, Cornell University, Ithaca. [Online]. Available: https://arxiv.org/pdf/1201.5885.pdf
W. Zhang, “An Extended Adaline Neural Network Trained by Levenberg-Marquardt Method for System Identification of Linear Systems,” in Proc. 25th Chinese Control and Decision Conference (CCDC), 2013, pp. 2453–2458. DOI:10.1109/CCDC.2013.6561351
X. Li, S. Liu, H. Li, J. Wang and T. Zhang, “Research on Prediction Model of Bending Force Based on BP Neural Network with LM Algorithm,” in Proc. 25th Chinese Control and Decision Conference (CCDC), 2013, pp. 832–836. DOI:10.1109/CCDC.2013.6561037
J. Bilski, B. Kowalczyk, and K. Grzanek, “The Parallel Modification to the Levenberg-Marquardt Algorithm,” in Proc. International Conference on Artificial Intelligence and Soft Computing (ICAISC-2018), 2018, pp. 15–24. DOI:10.1007/978-3-319-91253-0
S. Haykin, Neural Networks: A Comprehensive Foundation. Singapore: India, 2005. ISBN-13: 978-0-13-147139-9 ISBN-10: 0-13-147139-2 1
B. T. Polyak, “Newton's Method and its Role in Optimization and Computational Mathematics,” European Journal of Operational Research. 181(3), pp. 1086–1096, 2007, Sep. DOI:10.1016/j.ejor.2005.06.076
E. P. Gill, W. Murray and M. H. Wright, Practical optimization. San Diego, CA: GB, 1981.
##submission.downloads##
Номер
Розділ
Ліцензія
Authors who publish with this journal agree to the following terms:
Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).
