Using a spline model in the space of latent representations when removing duplicates from a set of observations

Authors

DOI:

https://doi.org/10.18372/2073-4751.77.18655

Keywords:

spline model, local B-splines, latent space, auto encoder, removal of duplicate images, reduction of retraining, entropy of distributions, deep learning, statistical research, distribution density, neural networks

Abstract

In the paper, for the first time, the use of a spline model based on local B-splines of the second order is proposed to estimate the density of the distribution of a training set of digital images in the latent space of a multilayer nonlinear auto encoder. Based on the model, a method for removing duplicate images in the latent space of the autoencoder network representation is proposed. Research has been conducted and statistically proven to increase the entropy of data distributions, which contributes to less retraining of neural models. The research focuses on learning digital images using a multi-layer nonlinear autoencoder, a deep learning tool that allows for dimensionality reduction and extraction of useful information from input data. The developed spline model provides new opportunities for estimating and visualizing distributions, which may be useful for further analytical research in the field of image processing.

The main focus of the work is concentrated on the method of removing duplicate images in the latent space, which uses data on the density of distributions obtained from the spline model. This allows not only to clean the data set from repeated samples, but also to optimize the learning process of neural networks, reducing overtraining and increasing the overall efficiency of the models.

References

Liang X. et al. Robust Hashing with Local Tangent Space Alignment for Image Copy Detection. IEEE Transactions on Dependable and Secure Computing. 2023. P. 1–13. DOI: 10.1109/TDSC.2023.3307403.

Zhu C., Zhou Y., Xie Z. A Pixel-to-Pixel Convolutional Neural Network for Single Image Dehazing. Lecture Notes in Computer Science. Vol. 10636. Neural Information Processing. 24th International Conference, ICONIP 2017, Guangzhou, China, November 14-18, 2017. Proceedings, Part III. / ed. by D. Liu et al. Cham, 2017. P. 270–279. DOI: 10.1007/978-3-319-70090-8_28.

Masci J. et al. Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction. Lecture Notes in Computer Science. Vol. 6791. Artificial Neural Networks and Machine Learning - ICANN 2011. 21st International Conference on Artificial Neural Networks, Espoo, Finland, June 14-17, 2011. Proceedings, Part I / ed. by T. Honkela et al. Berlin, 2011. P. 52–59. DOI: 10.1007/978-3-642-21735-7_7.

Zivakin V. et al. Training set AERIAL SURVEY for data recognition systems from aerial surveillance cameras. IX International Scientific Conference "Information Technology and Implementation" (IT&I-2022) : proceedings, Kyiv, Ukraine, November 30 – December 02, 2022 / Taras Shevchenko National University of Kyiv. 2023. P. 246–255. URL: https://ceur-ws.org/Vol-3347/Paper_21.pdf.

PyTorch. PyTorch: An open source machine learning framework that accelerates the path from research prototyping to production deployment. URL: https://pytorch.org.

Приставка П. О. Поліноміальні сплайни при обробці даних : монографія. Д. : Вид-во Дніпропетр. ун-ту, 2004. С. 155–164.

Зівакін В. Дослідження імітації одновимірних вибірок із використанням поліноміальних сплайнів; Таврійський науковий вісник. Серія: Технічні науки. 2021. Вип. 6. С. 23–30.

Downloads

Published

2024-04-01

Issue

Vol. 1 No. 77 (2024)

Section

Статті

License

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.

  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.

  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).