ЗАСТОСУВАННЯ СЕМАНТИЧНОГО ТА ОБ’ЄКТНОГО ПОШУКУ ДЛЯ ОПТИМІЗАЦІЇ ПОШУКУ ПО МЕДІА ЗАДЛЯ OSINT РОЗСЛІДУВАНЬ
DOI:
https://doi.org/10.18372/2310-5461.66.20246Ключові слова:
кібербезпека, OSINT, розвідка з відкритих джерел, пошук у медіа, аналіз відео, семантичний пошук, об'єктний пошук, виявлення об'єктів, перцептивне хешування, фільтрація інформаціїАнотація
Сучасний інформаційний простір характеризується експоненціальним зростанням обсягів різнорідних медіаданих. Це особливо актуально після широкого впровадження великих мовних моделей та підвищення активності користувачів соціальних мереж. Цей процес зростання створює принципово нові виклики для фахівців у сфері розвідки на основі відкритих джерел (OSINT), які повинні оперативно обробляти та аналізувати величезні масиви текстової, аудіо, фото та відеоінформації. Водночас якість цих даних не завжди покращується пропорційно їхній кількості, що вимагає розробки нових підходів до ефективної фільтрації та пошуку релевантної інформації в умовах інформаційного перевантаження. Одним із інструментів, які можуть допомогти в цьому, є комп'ютерний зір, який дозволяє автоматизувати процеси аналізу візуального контенту та виявлення ключових елементів у медіаданих. Застосування методів комп'ютерного зору в поєднанні з сучасними алгоритмами машинного навчання відкриває нові можливості для підвищення ефективності OSINT-розслідувань. У статті розглянуто проблеми пошуку та фільтрації інформації в контексті розвідки на основі відкритих джерел в умовах зростання обсягів різнорідних даних. Проаналізовано існуючі методи порівняння відеокадрів, включаючи методи на рівні пікселів, порівняння на основі ознак, перцептивне хешування, використання алгоритмів виявлення об'єктів та семантичних ембедінгів. Запропоновано комбінований підхід, який інтегрує семантичний та об'єктний аналіз для ефективного виявлення ключових кадрів у відеоматеріалах. Розроблено метод оцінки важливості кадру на основі п'яти критеріїв: поява нових класів об'єктів, зникнення класів об'єктів, зміна кількості об'єктів, поява пріоритетних об'єктів та рівень впевненості у виявленні. Комбінована оцінка обчислюється як зважена сума семантичної відстані та об'єктної оцінки, що забезпечує збалансоване виявлення ключових моментів у відео. Такий підхід створює адаптивну систему аналізу, яка забезпечує глибше розуміння змісту відеоматеріалів для OSINT-розслідувань, ефективно відфільтровуючи нерелевантні дані.
Посилання
Dupré, M. H. (2024). Huge Proportion of Internet Is AI-Generated Slime, Researchers Find. https://futurism.com/the-byte/internet-ai-generated-slime.
Shih-Fu, M. Recent Advances and Challenges of Semantic Image/Video Search. IEEE International Conference.
Sutskever, I. (2021). Learning Transferable Visual Models From Natural Language Supervision.
Palucha, S. (2024). Understanding OpenAI's CLIP model. https://medium.com/@paluchasz/understanding-openais-clip-model-6b52bade3fa3.
Deng, J. (2023). A Unified Model for Video Understanding and Knowledge Embedding with Heterogeneous Knowledge Graph Dataset.
Ma, Q. X. L. (2021). Perceptual hashing method for video content authentication with maximized robustness.
Alaa, T. (2024). Video Summarization Techniques: A Comprehensive Review. In Scitepress.
Castellano, B. (2025). Python and OpenCV-based scene cut/transition detection program & library. https://github.com/Breakthrough/PySceneDetect?tab=readme-ov-file.
Berrios, I. (2023). Introduction to Motion Detection. https://medium.com/@itberrios6/introduction-to-motion-detection-part-1-e031b0bb9bb2.
Iqbal, S. (2022). Proving Reliability of Image Processing Techniques in Digital Forensics Applications. Security and Communication Networks. https://doi.org/10.1155/2022/1322264.
X-Ways. (n.d.). X-Ways Forensics: Integrated Computer Forensics Software. https://www.x-ways.net/forensics/index-m.html.
Tan, Y. (1999). A Framework for Measuring Video Similarity and Its Application to Video Query by Example. Department of Electrical Engineering Princeton University.
Sommerville, G. (2021). Automatically compare two videos to find common content. Amazon. https://aws.amazon.com/blogs/media/metfc-automatically-compare-two-videos-to-find-common-content/.
Kender, R. L. a. P. J. (2021). Determining Video Similarity With Object Detection.
Luo, Z. (2023). Frame Comparison and Frame Clustering with Vision Transformer and K-Means on COVID-19 News Videos from Different Affinity Groups. Columbia University.
Kwasny, R. (2024). Fine-tuning YOLO in a Cafe: Custom Object Detection. https://rafalkwasny.com/yolo-object-detection.
Alkandary, A. S. K. (2025). A Comparative Study of YOLO Series (v3–v10) with DeepSORT and StrongSORT: A Real-Time Tracking Performance Study. https://doi.org/10.3390/electronics14050876.
Daniel, M. W. A. (2025). Video semantic search with AI on AWS. Amazon. https://aws.amazon.com/blogs/media/video-semantic-search-with-ai-on-aws/.
Ramanathan, V. (2015). Learning Temporal Embeddings for Complex Video Analysis. https://doi.org/10.48550/arXiv.1505.00315.
Radford, A. (2021). Learning Transferable Visual Models From Natural Language Supervision. https://doi.org/10.48550/arXiv.2103.00020.
Pendlebury, B. O. M. (2024). Exploring Video Search with OpenOrigins. Datastax. https://www.datastax.com/blog/video-search-with-openorigins-frame-search-versus-multi-modal-embeddings.
