Аналіз особливостей реалізації EM-алгоритму при кластеризації систем сигнальних конструкцій

Автор(и)

  • Олексій Георгійович Голубничий Національний авіаційний університет

DOI:

https://doi.org/10.18372/2310-5461.42.13758

Ключові слова:

кластерний аналіз, ЕМ-алгоритм, математична сингулярність, гаусівська змішана модель, машинне навчання, обробка даних

Анотація

EM-алгоритм (expectation-maximization algorithm) є відомим статистичним методом, який використовується в області обробки даних та сигналів для кластерного аналізу, оцінювання параметрів, а також в інших методах машинного навчання. ЕМ-алгоритм характеризується деякими специфічними особливостями, наприклад чутливістю до початкових параметрів. Метою статті є аналіз особливостей ЕМ-алгоритму, які виникають внаслідок виявлення порожніх кластерів при розв’язанні задачі кластеризації сигнальних конструкцій. Ці особливості проявляються в утворенні невизначеностей (математичних сингулярностей) у логарифмічній функції правдоподібності, максимізація якої виконується під час ітеративної процедури ЕМ-алгоритму. У статті наведено приклад можливої задачі кластеризації в області аналізу сигналів. У цьому прикладі використовується підхід, що базується на аналізі взаємних кореляцій між сигналами при представленні цих кореляцій гаусівською змішаною моделлю, а також на оцінюванні параметрів гаусівської змішаної моделі та прихованих змінних (ймовірностей приналежності елементів суміші до певних компонент цієї суміші, що є визначальним при прийнятті рішень про приналежність конкретного елемента до певного кластеру) за допомогою ЕМ-алгоритму. В результаті аналізу розглянутого типу математичної сингулярності показано, що можна видалити порожній кластер таким чином, що структура і значення логарифмічної функції правдоподібності коригуються до тих, які були б у випадку апріорної відсутності зазначеного порожнього кластера. Особливість, яка проаналізована у статті, більш характерна для модифікації ЕМ-алгоритму з видаленням компонент гаусівської змішаної моделі. Ця особливість може також виникати у випадках відносно невеликого числа елементів, які підлягають кластерному аналізу, або у випадку відносно великої кількості компонент (кластерів) гаусівської змішаної моделі, яка є структурним параметром ЕМ-алгоритму.

Біографія автора

Олексій Георгійович Голубничий, Національний авіаційний університет

кандидат технічних наук, доцент

Посилання

Jain A. K., Murty M. N., Flynn P. J. Data clustering: a review. ACM Computing Surveys. 1999. Vol. 31. No. 3. P. 264-323. DOI: 10.1145/331499.331504.

Bakir G. H. et al. Predicting Structured Data (Neural Information Processing series) 1st Edition. The MIT Press, 2007. 360 p.

Dempster A. P., Laird N. M., Rubin D. B. Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Socie-ty. Series B. 1977. Vol. 39. No. 1. P. 1-38.

Gupta M. R., Chen Y. Theory and Use of the EM Algorithm. Foundations and Trends® in Signal Processing. 2011. Vol. 4. No. 3. P. 223-296. DOI: 10.1561/2000000034.

Vlassis N., Likas A. A Greedy EM Algorithm for Gaussian Mixture Learning. Neural Processing Letters. 2002. Vol. 15. P. 77-87.

Yu D., Deng L. Gaussian Mixture Models. Au-tomatic Speech Recognition. A Deep Learning Ap-proach. London: Springer-Verlag, 2015. P. 13-21. DOI: 10.1007/978-1-4471-5779-3_2

Huang T., Peng H., Zhang K. Model Selection for Gaussian Mixture Models. Statistica Sinica. 2017. Vol. 27. P. 147-169.

Wang Xi et al. An Adaptive Prognostic Ap-proach for Newly Developed System with Three-Source Variability. IEEE Access. 2019. Vol. 7. P. 53091-53102. DOI: 10.1109/ACCESS.2019.2911307

Wei B., Nener B. D. Multi-Sensor Space De-bris Tracking for Space Situational Awareness with Labeled Random Finite Sets. IEEE Access. 2019. Vol. 7. P. 36991-37003. DOI: 10.1109/ACCESS.2019.2904545

Li C., Okamura H., Dohi T. Parameter Esti-mation of Mt/M/1/K Queueing Systems with Utiliza-tion Data. IEEE Access. 2019. Vol. 7. P. 42664-42671. DOI: 10.1109/ACCESS.2019.2906796

Голубничий А. Г., Конахович Г. Ф. Муль-типликативно комплементарные бинарные сиг-нально-кодовые конструкции. Известия высших учебных заведений. Радиоэлектроника. 2018. Т. 61. № 10. С. 551-565. DOI: 10.20535/S0021347018100011.

Голубничий О. Г. Синтез аналітичних форм опису автокореляційної функції узагальне-них бінарних послідовностей Баркера типу 1 на основі її декомпозиції з використанням лінійних складових. Наукоємні технології. 2019. Т. 41. № 1. С. 10-15. DOI: 10.18372/2310-5461.41.13523.

Голубничий О. Г. Синтез систем корельо-ваних сигналів з використанням доповненої про-цедури Грама-Шмідта. Наукоємні технології. 2018. Т. 40. № 4. С. 405-408. DOI:

18372/2310-5461.40.13265.

##submission.downloads##

Номер

Розділ

Електроніка, телекомунікації та радіотехніка