Використання сплайн-моделі в просторі латентних представлень при вилученні дублікатів із набору спостережень

Автор(и)

DOI:

https://doi.org/10.18372/2073-4751.77.18655

Ключові слова:

сплайн-модель, локальні В-сплайни, латентний простір, авто кодувальник, видалення дублікатів зображень, зменшення перенавчання, ентропія розподілів, глибинне навчання, статистичне дослідження, щільність розподілу, нейронні мережі

Анотація

В роботі вперше запропоновано використання сплайн-моделі на основі локальних В-сплайнів другого порядку для оцінки щільності розподілу навчального набору цифрових зображень в латентному просторі багатошарового нелінійного авто кодувальника. На основі моделі запропоновано метод видалення дублікатів зображень у латентному простору представлення мережі-автокодувальника. Проведено дослідження та статистично доведено збільшення ентропії розподілів даних, що сприяє меншому перенавчанню нейронних моделей. Дослідження зосереджено на вивченні цифрових зображень за допомогою багатошарового нелінійного автокодувальника, інструменту глибинного навчання, що дозволяє здійснювати зниження розмірності та витягування корисної інформації з вхідних даних. Розроблена сплайн-модель надає нові можливості для оцінювання і візуалізації розподілів, що може бути корисним для подальших аналітичних досліджень у сфері обробки зображень.

Основний фокус роботи сконцентрований на методі видалення дублікатів зображень у латентному просторі, який використовує дані про щільності розподілів, отримані зі сплайн-моделі. Це дозволяє не тільки очистити набір даних від повторюваних зразків, але й оптимізувати процес навчання нейронних мереж, зменшуючи перенавчання та підвищуючи загальну ефективність моделей.

Посилання

Liang X. et al. Robust Hashing with Local Tangent Space Alignment for Image Copy Detection. IEEE Transactions on Dependable and Secure Computing. 2023. P. 1–13. DOI: 10.1109/TDSC.2023.3307403.

Zhu C., Zhou Y., Xie Z. A Pixel-to-Pixel Convolutional Neural Network for Single Image Dehazing. Lecture Notes in Computer Science. Vol. 10636. Neural Information Processing. 24th International Conference, ICONIP 2017, Guangzhou, China, November 14-18, 2017. Proceedings, Part III. / ed. by D. Liu et al. Cham, 2017. P. 270–279. DOI: 10.1007/978-3-319-70090-8_28.

Masci J. et al. Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction. Lecture Notes in Computer Science. Vol. 6791. Artificial Neural Networks and Machine Learning - ICANN 2011. 21st International Conference on Artificial Neural Networks, Espoo, Finland, June 14-17, 2011. Proceedings, Part I / ed. by T. Honkela et al. Berlin, 2011. P. 52–59. DOI: 10.1007/978-3-642-21735-7_7.

Zivakin V. et al. Training set AERIAL SURVEY for data recognition systems from aerial surveillance cameras. IX International Scientific Conference "Information Technology and Implementation" (IT&I-2022) : proceedings, Kyiv, Ukraine, November 30 – December 02, 2022 / Taras Shevchenko National University of Kyiv. 2023. P. 246–255. URL: https://ceur-ws.org/Vol-3347/Paper_21.pdf.

PyTorch. PyTorch: An open source machine learning framework that accelerates the path from research prototyping to production deployment. URL: https://pytorch.org.

Приставка П. О. Поліноміальні сплайни при обробці даних : монографія. Д. : Вид-во Дніпропетр. ун-ту, 2004. С. 155–164.

Зівакін В. Дослідження імітації одновимірних вибірок із використанням поліноміальних сплайнів; Таврійський науковий вісник. Серія: Технічні науки. 2021. Вип. 6. С. 23–30.

##submission.downloads##

Опубліковано

2024-04-01

Номер

Том 1 № 77 (2024)

Розділ

Статті

Ліцензія

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.

  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.

  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).