Аналітичний огляд методів і технологій обробки великих даних у реальному часі в інфраструктурах Iнтернету речей (IoT)
DOI:
https://doi.org/10.18372/2073-4751.82.20364Ключові слова:
Інтернет речей, великі дані, потокова аналітика, обробка в реальному часі, Apache Kafka, Flink, виявлення аномалій, Edge/Fog/Cloud, адаптивне навчання, Complex Event ProcessingАнотація
У статті проведено аналітичний огляд сучасних методів і технологій обробки великих даних у реальному часі в інфраструктурах Інтернету речей (IoT). Розглянуто джерела потокових даних, особливості їхньої структури, мінливість та вимоги до затримки обробки. Проаналізовано переваги та обмеження архітектур Edge, Fog, Cloud, а також підходів Lambda та Kappa для побудови високопродуктивних IoT-систем. Окрема увага приділена платформам потокової обробки даних – Apache Kafka, Flink, Storm, Spark Streaming – з оцінкою їхньої масштабованості, відмовостійкості та зручності впровадження. Висвітлено сучасні методи виявлення аномалій у потоках даних, зокрема на основі AutoEncoder, LSTM, Isolation Forest, та застосування CEP для аналізу складних подій. Представлено приклади практичного застосування технологій у системах «розумного міста», промислової автоматизації та медицини. Узагальнено виклики та напрями подальших досліджень щодо покращення безпеки, адаптивності та ефективності реального часу в гетерогенних середовищах IoT.
Посилання
Andriulo F. C. et al. Edge Computing and Cloud Computing for Internet of Things: A Review. Informatics. 2024. Vol. 11, no. 4. P. 71. DOI: 10.3390/informatics11040071.
Ortiz G. et al. Atmosphere: Context and Situational-Aware Collaborative IoT Architecture for Edge-Fog-Cloud Computing. arXiv preprint. 2024. URL: https://arxiv.org/abs/2401.14968.
Rguibi A. et al. Adaptive Machine Learning-Based Intrusion Detection Systems for IoT Networks: A Dynamic Approach. Lecture Notes in Networks and Systems. Vol. 1353. Intersection of Artificial Intelligence, Data Science, and Cutting-Edge Technologies: From Concepts to Applications in Smart Environment ICAISE’2024, Volume 1 / ed. by Y. Farhaoui et al. Cham, 2025. P. 101–106. DOI: 10.1007/978-3-031-88304-0_14.
Khan M. M., Alkhathami M. Anomaly Detection in IoT-Based Healthcare: Machine Learning Approaches. Scientific Reports. 2023. Vol. 13. 56126. DOI: 10.1038/s41598-024-56126-x.
Gelenbe E., Gül B. C., Nakip M. DISFIDA: Distributed Self-Supervised Federated Intrusion Detection Algorithm with Online Learning for Health Internet of Things and Internet of Vehicles. Internet of Things. 2024. Vol. 28. 101340. DOI: 10.1016/j.iot.2024.101340.
Duch L. et al. HEAL-WEAR: An Ultra-Low Power Heterogeneous System for Bio-Signal Analysis. IEEE Transactions on Circuits and Systems I: Regular Papers. 2017. Vol. 64, no. 9. P. 2448–2461. DOI: 10.1109/TCSI.2017.2701499.
Fröhlich P. et al. Smart SDN Management of Fog Services to Optimize QoS and Energy. Sensors. 2021. Vol. 21, no. 9. 3105. DOI: 10.3390/s21093105.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
