Виявлення аномалій на основі машинного навчання за допомогою алгоритму Isolation Forest в аналізі даних великого обсягу

Анотація

Ця стаття представляє прикладне дослідження неконтрольованого виявлення аномалій за допомогою Isolation Forest на великих багатовимірних сенсорних даних. Реалізовано рішення мовою Python, яке працює з даними з датчиків моніторингу якості повітря в місті Києві, об’єднує довідкові метадані, видаляє некоректні записи, обирає два неперервні індикатори та навчає за допомогою алгортиму Isolation Forest із заданими параметрами. Часовий аналіз показує, що аномалії концентруються в суміжних інтервалах, а не є ізольованими поодинокими точками, тоді як проекція на дві ознаки вказує, що багато спрацювань збігаються зі спільно високими значеннями, а інші виникають через нетипові комбінації значень, що підкреслює багатовимірні ефекти. Дослідження документує практичні переваги Isolation Forest, включно з мінімальними припущеннями щодо розподілу даних, прямим контролем обсягу сповіщень та майже лінійним масштабуванням, що підтримує повторне перенавчання. Воно також зазначає обмеження, такі як чутливість на малих вибірках через випадкову побудову дерев, залежність від калібрування порогу, яке може «дрейфувати» на різних наборах даних, та обмежену вбудовану пояснюваність окремих виявлених аномалій. Надано рекомендації з конфігурування, перевірки на стійкість та прості інструменти для підтримки впровадження та збереження стабільної продуктивності в умовах, що змінюються.