Системи рекомендацій на основі посиленого навчання

Автор(и)

  • Віктор Михайлович Синєглазов Національний авіаційний університет, Київ https://orcid.org/0000-0002-3297-9060
  • Андрій Володимирович Шеруда Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

DOI:

https://doi.org/10.18372/1990-5548.76.17668

Ключові слова:

машинне навчання, навчання з підкріпленням, системи рекомендацій, рекомендаційний агент, колаборативна фільтрація, Актор-Критик, явний зворотній зв’язок

Анотація

Статтю присвячено проблемі побудови рекомендаційних систем на основі використання методів штучного інтелекту. У роботі проведено аналіз алгоритмів рекомендаційних систем, проаналізовано марківський процес прийняття рішень у контексті рекомендаційних систем. Розглянуто підходи до адаптації алгоритмів навчання з підкріпленням до завдання рекомендацій (перехід від задачі контрольованого навчання до завдання навчання з підкріпленням). Реалізовано алгоритми навчання з підкріпленням Deep Deterministic Policy Gradient та Twin Delayed DDPG із власним середовищем-імітацією реакції користувача та виконано порівняння результатів. Розроблено структуру рекомендаційної системи, у якій рекомендаційний агент генерує список пропозицій окремому користувачеві, використовуючи його попередню історію оцінок. У самій системі користувач має можливість взаємодії тільки з простором фільмів, що рекомендуються. Це можна порівняти з головною сторінкою YouTube, що є стрічкою з пропозиціями, у нас же користувач взаємодія тільки з цією стрічкою і його реакція на об'єкти в просторі рекомендацій потрапляє до рекомендаційного агента, який регулює параметри моделі в процесі навчання.

Біографії авторів

Віктор Михайлович Синєглазов , Національний авіаційний університет, Київ

Доктор технічних наук

Професор

Завідувач кафедри авіаційних комп’ютерно-інтегрованих комплексів

Факультет аеронавігації, електроніки і телекомунікацій

Андрій Володимирович Шеруда , Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Бакалавр

Кафедра інформаційних систем

Факультет інформатики та обчислювальної техніки

Посилання

J. A. Konstan and J. Riedl, “Recommender systems: from algorithms to user experience,” User Model User-Adapt Interact, 22: 101–23. 2012. https://doi.org/10.1007/s11257-011-9112-x

P. Pu, L. Chen, and R. Hu, “A user-centric evaluation framework for recommender systems,” In: Proceedings of the fifth ACM conference on Recommender Systems (RecSys’11), ACM, New York, NY, USA; 2011, pp. 57–164. https://doi.org/10.1145/2043932.2043962

R. Hu and P. Pu, “Potential acceptance issues of personality-ASED recommender systems,” In: Proceedings of ACM conference on recommender systems (RecSys’09), New York City, NY, USA; October 2009. pp. 22–5. https://doi.org/10.1145/1639714.1639753

B. Pathak, R.Garfinkel R. Gopal, R. Venkatesan, and F. Yin, “Empirical analysis of the impact of recommender systems on sales,” J Manage In form Syst, 27(2): 159–88, 2010. https://doi.org/10.2753/MIS0742-1222270205

Soufiene Jaffali, Salma Jamoussi, Kamel Smaili, and Abdelmajid Ben Hamadou, “Like-tasted user groups to predict ratings in recommender systems,” Social Netw. Analys, Mining, vol. 10, no. 1, p. 42, 2020. https://doi.org/10.1007/s13278-020-00643-w

K. Zhou, S.-H. Yang, and H. Zha, “Functional matrix factorizations for cold-start recommendation,” in Proceedings of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’11, (New York, NY, USA), pp. 315–324, ACM, 2011. https://doi.org/10.1145/2009916.2009961

X. Zhang, J. Cheng, T. Yuan, B. Niu, and H. Lu, “Semi-supervised discriminative preference elicitation for cold-start recommendation,” in Proceedings of the 22Nd ACM International Conference on Information & Knowledge Management, CIKM ’13, (New York, NY, USA), pp. 1813–1816, ACM, 2013. https://doi.org/10.1145/2505515.2507869

P. Mazumdar, B. K. Patra, and K. S. Babu, “Cold-star point-of-interest recommendation through crowd sourcing,” ACM Trans. Web, vol. 14, Aug. 2020. https://doi.org/10.1145/3407182

N. K. Mishra, V. Mishra, and S. Chaturvedi, “Solving cold start problem using MBA,” in 2017 IEEE International Conference on Power, Control, Signals and Instrumentation Engineering (ICPCSI), pp. 1598–1601, 2017. https://doi.org/10.1109/ICPCSI.2017.8391981

N. Mishra, V. Mishra, and S. Chaturvedi, “Tools and techniques for solving cold start recommendation,” in Proceedings of the 1st International Conference on Internet of Things and Machine Learning, IML ’17, (New York, NY, USA), Association for Computing Machinery, 2017. https://doi.org/10.1145/3109761.3109772

M. Saveskiand A. Mantrach, “Item cold-start recommendations: Learning local collective embeddings,” in Proceedings of the 8th ACM Conference on Recommender Systems, RecSys ’14, (New York, NY, USA), pp. 89–96, ACM, 2014. https://doi.org/10.1145/2645710.2645751

Y. Rong, X. Wen, and H. Cheng, “A monte-carlo algorithm for cold start-recommendation,” in Proceedings of the 23rd international conference on Worldwide web, pp. 327–336, ACM, 2014. https://doi.org/10.1145/2566486.2567978

A. da Costa, E. Fressato, F. Neto, M. Manzato, and R. Campello, “Case recommender: A flexible and extensible python frame work for recommender systems,” in Proceedings of the 12th ACM Conference on Recommender Systems, RecSys ’18, (New York, NY, USA), p. 494–495, Association for Computing Machinery, 2018. https://doi.org/10.1145/3240323.3241611

T. Kitazawaand M. Yui, “Query-based simple and scalable recommender systems with apache hive mall,” in Proceedings of the 12th ACM Conference on Recommender Systems, RecSys ’18, (New York, NY, USA), p. 502–503, Association for Computing Machinery, 2018. https://doi.org/10.1145/3240323.3241592

N. Mishra, S. Chaturvedi, V. Mishra, R. Srivastava, and P. Bargah, “Solving sparsity problem in rating-based movie recommendation system,” in Computational Intelligence in Data Mining (H. S. Beheraand D. P. Mohapatra, eds.), (Singapore), pp. 111–117, Springer Singapore, 2017. https://doi.org/10.1007/978-981-10-3874-7_11

W. Pan, E. W. Xiang, N. N. Liu, and Q. Yang, "Transfer learning in collaborative filtering for sparsity reduction.," in AAAI, vol. 10, pp. 230–235, 2010. https://doi.org/10.1609/aaai.v24i1.7578.

P. Adamopoulos and A. Tuzhilin, “On over-specialization and concentration bias of recommendations: Probabilistic neighborhood selection in collaborative filtering systems,” in Proceedings of the 8th ACM Conference on Recommender systems, pp. 153–160, ACM, 2014. https://doi.org/10.1145/2645710.2645752

Z.-K. Zhang, C. Liu, Y.-C. Zhang, and T. Zhou, “Solving the cold-start problem in recommender systems with social tags,” EPL (Euro physics Letters), vol. 92, no. 2, p. 28002, 2010. https://doi.org/10.1209/0295-5075/92/28002

N. Lathia, S. Hailes, L. Capra, and X. Amatriain, “Temporal diversity in recommender systems,” in Proceedings of the 33rd international ACM SIGIR conference on Research and development in information retrieval, pp. 210–217, ACM, 2010. https://doi.org/10.1145/1835449.1835486

Lalita Sharma and Anju Gera. "A Survey of Recommendation System: Research Challenges," International Journal of Engineering Trends and Technology (IJETT), vol. 4(5) 2013, pp.1989–1992.

J. Bobadilla, F. Ortega, A. Hernando, and A. Gutiérrez, "Hybrid recommender systems: survey and experiments," User Model User-adapted Interact, 12 (4) (2002), pp. 331–370

N. Friedman, D. Geiger, and M. Goldszmidt, ”Recommender systems survey Knowl-Based Syst,” Bayesian net work classifiers, vol.46, pp. 109–132, 2013, https://doi.org/10.1016/j.knosys.2013.03.012

Mach Learn, 29 (2–3), 1997, pp. 131–163. https://doi.org/10.1023/A:1007465528199

R. O. Duda, P. E. Hart, and D. G. Stork, Pattern classification John Wiley & Sons (2012).

J. L. Herlocker, J. A. Konstan, L. G. Terveen, J. T. Riedl, “Evaluating collaborative filtering recommender systems ACM Trans ,” In form Syst, 22 (1), 2004. https://doi.org/10.1145/963770.963772

M. Montaner, B. Lopez, and J. L. Dela Rosa, “A Taxonomy of Recommender Agent son the Internet,” Artificial Intelligence Review, Kluwer Academic Publisher, 2003.

Yan-Martin Tamm, Rinchin Damdinov, and Alexey Vasilev, Quality Metrics in Recommender Systems: Do We Calculate Metrics Consistently?

##submission.downloads##

Опубліковано

2023-06-23

Як цитувати

Синєглазов , В. М., & Шеруда , А. В. (2023). Системи рекомендацій на основі посиленого навчання. Електроніка та системи управління, 2(76), 46–55. https://doi.org/10.18372/1990-5548.76.17668

Номер

Том 2 № 76 (2023)

Розділ

КОМП’ЮТЕРНІ НАУКИ ТА ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ

Ліцензія

Автори, які публікуються в цьому журналі, погоджуються з наступними умовами:

Автори зберігають авторські права та надають журналу право першої публікації роботи, одночасно ліцензованої за ліцензією Creative Commons Attribution License, яка дозволяє іншим поширювати роботу з посиланням на авторство роботи та її першу публікацію в цьому журналі.

Автори можуть укладати окремі додаткові договірні угоди щодо неексклюзивного розповсюдження опублікованої в журналі версії роботи (наприклад, розміщувати її в інституційному репозиторії або публікувати в книзі) з посиланням на її першу публікацію в цьому журналі.

Авторам дозволяється та заохочується розміщувати свої роботи онлайн (наприклад, в інституційних репозиторіях або на своєму вебсайті) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш раннього та більшого цитування опублікованих робіт (див. Вплив відкритого доступу).