Модифікована модель фільтрації шуму на зображеннях на основі згорткової нейронної мережі з додаванням резидуальних зв’язків і модулю уваги

Автор(и)

  • В.Є. Мухін Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» https://orcid.org/0000-0002-1206-9131
  • А.О. Линовський Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» https://orcid.org/0009-0002-0640-4308

DOI:

https://doi.org/10.18372/2073-4751.80.19773

Ключові слова:

залишкова нейронна мережа, нейронні мережі, згорткова нейронна мережа, SAP шум, покращення зображень

Анотація

У багатьох прикладних задачах обробки зображень — від технічної діагностики до медичної візуалізації — критичним є якісне відновлення зображень, що зазнали сильного Salt and Paper (SAP) шуму. Такий тип шуму призводить до появи поодиноких, але вкрай яскравих (білих) або темних (чорних) пікселів, які можуть суттєво спотворювати візуальну картину та ускладнювати подальший аналіз. У цій роботі пропонується модифікація існуючої згорткової нейронної мережі SeConvNet, призначеної для видалення SAP шуму. Основною метою дослідження є покращення обробки зображень із вираженими білими плямами, де оригінальна модель SeConvNet виявилася менш ефективною. Запропонована модифікація полягає у додаванні блока, що об’єднує резидуальні з’єднання й механізми каналної та просторової уваги (Channel+Spatial Attention). Це поєднання, відоме як CBAM (Convolutional Block Attention Module). Даний блок дає змогу підсилювати інформативні канали та найбільш критичні зони зображення, що покращує видалення висококонтрастних плям шуму і водночас зберігає дрібні деталі.

Результати дослідження продемонстрували приріст якості відновлення на окремих групах зображень, особливо тих, де зашумлені ділянки мали велику інтенсивність яскравих плям у 5-8%. Досліди проводилися на МРТ-знімках, що підтвердило ефективність підходу в умовах складних текстур і специфічних артефактів шуму. Значущість цих результатів полягає у можливості інтегрування модифікованої SeConvNet у завдання медичної діагностики та інші сфери, де точне збереження дрібних структур зображення є критично важливим. Попри обмежені обчислювальні ресурси, запроваджені вдосконалення дозволили досягти підвищення ефективності видалення SAP шуму, що свідчить про високий потенціал розвитку даного підходу в майбутніх дослідженнях.

Біографія автора

А.О. Линовський, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

У багатьох прикладних задачах обробки зображень — від технічної діагностики до медичної візуалізації — критичним є якісне відновлення зображень, що зазнали сильного Salt and Paper (SAP) шуму. Такий тип шуму призводить до появи поодиноких, але вкрай яскравих (білих) або темних (чорних) пікселів, які можуть суттєво спотворювати візуальну картину та ускладнювати подальший аналіз. У цій роботі пропонується модифікація існуючої згорткової нейронної мережі SeConvNet, призначеної для видалення SAP шуму. Основною метою дослідження є покращення обробки зображень із вираженими білими плямами, де оригінальна модель SeConvNet виявилася менш ефективною. Запропонована модифікація полягає у додаванні блока, що об’єднує резидуальні з’єднання й механізми каналної та просторової уваги (Channel+Spatial Attention). Це поєднання, відоме як CBAM (Convolutional Block Attention Module). Даний блок дає змогу підсилювати інформативні канали та найбільш критичні зони зображення, що покращує видалення висококонтрастних плям шуму і водночас зберігає дрібні деталі.

Результати дослідження продемонстрували приріст якості відновлення на окремих групах зображень, особливо тих, де зашумлені ділянки мали велику інтенсивність яскравих плям у 5-8%. Досліди проводилися на МРТ-знімках, що підтвердило ефективність підходу в умовах складних текстур і специфічних артефактів шуму. Значущість цих результатів полягає у можливості інтегрування модифікованої SeConvNet у завдання медичної діагностики та інші сфери, де точне збереження дрібних структур зображення є критично важливим. Попри обмежені обчислювальні ресурси, запроваджені вдосконалення дозволили досягти підвищення ефективності видалення SAP шуму, що свідчить про високий потенціал розвитку даного підходу в майбутніх дослідженнях.

Посилання

He K. et al. Deep Residual Learning for Image Recognition. URL: https://arxiv.org/pdf/1512.03385v1.

Zhang K. et al. Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising. URL: https://ieeexplore.ieee.org/document/7839189.

Lu T. et al. Autoencoder Combined with CBAM Improves Denoising of MR Images. URL: https://ieeexplore.ieee.org/document/9750433.

Woo S. et al. CBAM: Convolutional Block Attention Module. URL: https://arxiv.org/pdf/1807.06521v2.

Cai G. CBAM-DnCNN: An Improved Method For Image Denoising. URL: https://www.computer.org/csdl/proceedings-article/eiecs/2023/10435545/1UIC6jLXz0Y.

Rafiee A. A., Farhang M. A deep convolutional neural network for salt-and-pepper noise removal using selective convolutional blocks. URL: https://arxiv.org/pdf/2302.05435v1.

Wang T., Hu Z., Guan Y. An efficient lightweight network for image denoising using progressive residual and convolutional attention feature fusion. URL: https://www.nature.com/articles/s41598-024-60139-x.

Линовський А. О., Мухін В. Є. Модифікована модель фільтрації шуму на зображеннях на основі згорткової нейронної мережі. Кібербезпека: освіта, наука, техніка. 2024. № 4(24). С. 388–397. URL: https://csecurity.kubg.edu.ua/index.php/journal/article/view/634.

##submission.downloads##

Опубліковано

2025-03-13

Номер

Том 4 № 80 (2024)

Розділ

Статті

Ліцензія

Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:

  1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.

  2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.

  3. Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).