Analytical review of methods and technologies for real-time big data processing in IoT infrastructures

Authors

  • M.O. Kalashnyk State University "Kyiv Aviation Institute"

DOI:

https://doi.org/10.18372/2073-4751.82.20364

Keywords:

Internet of Things, big data, stream analytics, real-time processing, Apache Kafka, Flink, anomaly detection, Edge/Fog/Cloud, adaptive learning, Complex Event Processing

Abstract

This paper presents an analytical review of modern methods and technologies for real-time big data processing in Internet of Things (IoT) infrastructures. It explores data stream sources, structural variability, and the key processing requirements such as latency, fault tolerance, and continuous availability. The advantages and limitations of Edge, Fog, and Cloud architectures are discussed, along with Lambda and Kappa approaches for building high-performance IoT systems. Special attention is given to stream processing platforms – Apache Kafka, Flink, Storm, and Spark Streaming – with an evaluation of their scalability, fault tolerance, and ease of deployment. The study highlights state-of-the-art anomaly detection methods in streaming data, including AutoEncoder, LSTM, and Isolation Forest, as well as the use of Complex Event Processing (CEP) for composite event analysis. Real-world applications in smart city systems, industrial automation, and healthcare are examined. The article summarizes current challenges and outlines directions for future research on improving security, adaptability, and efficiency in heterogeneous real-time IoT environments.

References

Andriulo F. C. et al. Edge Computing and Cloud Computing for Internet of Things: A Review. Informatics. 2024. Vol. 11, no. 4. P. 71. DOI: 10.3390/informatics11040071.

Ortiz G. et al. Atmosphere: Context and Situational-Aware Collaborative IoT Architecture for Edge-Fog-Cloud Computing. arXiv preprint. 2024. URL: https://arxiv.org/abs/2401.14968.

Rguibi A. et al. Adaptive Machine Learning-Based Intrusion Detection Systems for IoT Networks: A Dynamic Approach. Lecture Notes in Networks and Systems. Vol. 1353. Intersection of Artificial Intelligence, Data Science, and Cutting-Edge Technologies: From Concepts to Applications in Smart Environment ICAISE’2024, Volume 1 / ed. by Y. Farhaoui et al. Cham, 2025. P. 101–106. DOI: 10.1007/978-3-031-88304-0_14.

Khan M. M., Alkhathami M. Anomaly Detection in IoT-Based Healthcare: Machine Learning Approaches. Scientific Reports. 2023. Vol. 13. 56126. DOI: 10.1038/s41598-024-56126-x.

Gelenbe E., Gül B. C., Nakip M. DISFIDA: Distributed Self-Supervised Federated Intrusion Detection Algorithm with Online Learning for Health Internet of Things and Internet of Vehicles. Internet of Things. 2024. Vol. 28. 101340. DOI: 10.1016/j.iot.2024.101340.

Duch L. et al. HEAL-WEAR: An Ultra-Low Power Heterogeneous System for Bio-Signal Analysis. IEEE Transactions on Circuits and Systems I: Regular Papers. 2017. Vol. 64, no. 9. P. 2448–2461. DOI: 10.1109/TCSI.2017.2701499.

Fröhlich P. et al. Smart SDN Management of Fog Services to Optimize QoS and Energy. Sensors. 2021. Vol. 21, no. 9. 3105. DOI: 10.3390/s21093105.

Downloads

Published

2025-08-23

Issue

Vol. 2 No. 82 (2025)

Section

Статті

License

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.

  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.

  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).