Комплексний бенчмарк методів колаборативної фільтрації на наборах даних з неявним зворотним зв’язком

Автор(и)

  • Іван Олександрович Пишнограєв Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського» https://orcid.org/0000-0002-3346-8318
  • Анар Ельдар огли Ширалієв Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського» https://orcid.org/0009-0007-4140-5476

DOI:

https://doi.org/10.18372/1990-5548.84.20192

Ключові слова:

колаборативна фільтрація, неявний зворотний зв'язок, рекомендаційні системи, бенчмаркінг, ранжування

Анотація

Колаборативна фільтрація є фундаментальною технікою в сучасних рекомендаційних системах, особливо при роботі з даними з неявним зворотного зв'язком, такими як кліки, покупки або поведінка під час прослуховування. Незважаючи на велику кількість моделей КФ, включаючи класичні, імовірнісні та нейронні підходи, бракує стандартизованої, масштабної оцінки ефективності на різних наборах даних. У цьому дослідженні представлено комплексний емпіричний бенчмарк 13 алгоритмів колаборативної фільтрації, що охоплює матричну факторизацію, попарне ранжування, варіаційні та неваріаційні автокодери, нейронні моделі на основі графів та ймовірнісні методи. Використовуючи чотири репрезентативні набори даних з неявним зворотним зв’язком з різних доменів, ми оцінюємо моделі за єдиним експериментальним протоколом з використанням метрик на основі ранжування (MAP@10, NDCG@10, Precision@10, Recall@10, MRR), а також аналізуємо ефективність навчання. Результати показують, що нейронні архітектури, такі як NeuMF, VAECF і LightGCN, демонструють високу продуктивність у щільних і помірно розріджених сценаріях, але можуть стикатися з обмеженнями масштабованості на великих наборах даних. Простіші моделі, такі як EASEᴿ та BPR, часто забезпечують вдалий баланс між продуктивністю та обчислювальними витратами. Цей бенчмарк пропонує практичні інсайти щодо компромісів у сучасних методах CF і слугує орієнтиром для подальших досліджень у сфері неявних систем рекомендацій.

Біографії авторів

Іван Олександрович Пишнограєв, Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Кандидат фізико-математичних наук

Доцент

Кафедра штучного інтелекту

Анар Ельдар огли Ширалієв , Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Аспірант

Кафедра штучного інтелекту

Посилання

P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom, and J. Riedl, “GroupLens: An open architecture for collaborative filtering of Netnews,” in Proc. ACM Conf. Computer Supported Cooperative Work (CSCW), 1994, pp. 175–186. https://doi.org/10.1145/192844.192905

B. Sarwar, G. Karypis, J. Konstan, and J. Riedl, “Item-based collaborative filtering recommendation algorithms,” in Proc. 10th Int. Conf. World Wide Web (WWW), 2001, pp. 285–295. https://doi.org/10.1145/371920.372071

Y. Hu, Y. Koren, and C. Volinsky, “Collaborative filtering for implicit feedback datasets,” in Proc. IEEE Int. Conf. Data Mining (ICDM), Pisa, Italy, 2008, pp. 263–272, https://doi.org/10.1109/ICDM.2008.22.

C. Réda, J.-J. Vie, and O. Wolkenhauer, “Comprehensive evaluation of pure and hybrid collaborative filtering in drug repurposing,” Sci. Rep., vol. 15, no. 1, p. 2711, Jan. 2025, https://doi.org/10.1038/s41598-025-85927-x.

R. Kwieciński, T. Górecki, A. Filipowska, and V. Dubrov, “Job recommendations: Benchmarking of collaborative filtering methods for classifieds,” Electronics, vol. 13, no. 15, Art. no. 3049, Aug. 2024, https://doi.org/10.3390/electronics13153049.

S. Aramanda, M. H. M. Krishna Prasad, and P. V. L. Suvarchala, “A comparison analysis of collaborative filtering techniques for recommender systems,” in Innovations in Computer Science and Engineering, S. C. Satapathy, A. Joshi, N. Modi, and N. Pathak, Eds. Singapore: Springer, 2021, pp. 247–254.

A. F. M. S. Islam et al., “Comparative analysis of collaborative filtering recommender system algorithms for e-commerce,” J. Auton. Intell., vol. 7, no. 2, pp. 1–17, Nov. 2023. https://doi.org/10.32629/jai.v7i2.1182

J. Zhu et al., “BARS: Towards open benchmarking for recommender systems,” arXiv preprint arXiv:2205.09626, 2022.

W. X. Zhao et al., “RecBole: Towards a unified, comprehensive and efficient framework for recommendation algorithms,” in Proc. 30th ACM Int. Conf. Inf. Knowl. Manag. (CIKM), 2021, pp. 4653–4664. https://doi.org/10.1145/3459637.3482016

R. Salakhutdinov and A. Mnih, “Probabilistic matrix factorization,” in Proc. 21st Int. Conf. Neural Inf. Process. Syst. (NIPS), Red Hook, NY, USA: Curran Associates Inc., 2007, pp. 1257–1264.

Y. Koren, R. Bell, and C. Volinsky, “Matrix factorization techniques for recommender systems,” IEEE Comput., vol. 42, no. 8, pp. 30–37, 2009. https://doi.org/10.1109/MC.2009.263

X. He et al., “Neural collaborative filtering,” in Proc. 26th Int. Conf. World Wide Web (WWW), 2017, pp. 173–182. https://doi.org/10.1145/3038912.3052569

S. Rendle, C. Freudenthaler, Z. Gantner, and L. Schmidt-Thieme, “BPR: Bayesian personalized ranking from implicit feedback,” in Proc. 25th Conf. Uncertainty in Artificial Intelligence (UAI), 2009, pp. 452–461.

Z. Gantner, L. Drumond, C. Freudenthaler, and L. Schmidt-Thieme, “Personalized ranking for non-uniformly sampled items,” in Proc. KDD Cup 2011, vol. 18, JMLR W&CP, 2011, pp. 231–247.

D. D. Le and H. W. Lauw, “Indexable Bayesian personalized ranking for efficient top-k recommendation,” in Proc. 26th ACM Int. Conf. Inf. Knowl. Manag. (CIKM), 2017, pp. 1389–1398, https://doi.org/10.1145/3132847.3132913.

S. Sedhain, A. K. Menon, S. Sanner, and L. Xie, “AutoRec: Autoencoders meet collaborative filtering,” in Proc. 24th Int. Conf. World Wide Web Companion (WWW Companion), 2015, pp. 111–112. https://doi.org/10.1145/2740908.2742726

D. Liang, R. G. Krishnan, M. D. Hoffman, and T. Jebara, “Variational autoencoders for collaborative filtering,” in Proc. 27th Int. Conf. World Wide Web (WWW), 2018, pp. 689–698. https://doi.org/10.1145/3178876.3186150

W. Lee, K. Song, and I.-C. Moon, “Augmented variational autoencoders for collaborative filtering with auxiliary information,” in Proc. 26th ACM Int. Conf. Inf. Knowl. Manag. (CIKM), 2017, pp. 1139–1148, https://doi.org/10.1145/3132847.3132972.

Q.-T. Truong, A. Salah, and H. W. Lauw, “Bilateral variational autoencoder for collaborative filtering,” in Proc. 14th ACM Int. Conf. Web Search Data Min. (WSDM), 2021, pp. 239–247. https://doi.org/10.1145/3437963.3441759

H. Steck, “Embarrassingly shallow autoencoders for sparse data,” in Proc. 28th Int. World Wide Web Conf. (WWW), 2019, pp. 3251–3257. https://doi.org/10.1145/3308558.3313710

G. Jeunen, S. Basu, and C. A. Sutton, “Scalable approximate non-symmetric autoencoder for collaborative filtering,” in Proc. 46th Int. ACM SIGIR Conf. Res. Dev. Inf. Retr. (SIGIR), 2023, pp. 1797–1807.

X. Wang, X. He, M. Wang, F. Feng, and T.-S. Chua, “Neural graph collaborative filtering,” in Proc. 43rd Int. ACM SIGIR Conf. Res. Dev. Inf. Retr. (SIGIR), 2020, pp. 165–174. https://doi.org/10.1145/3331184.3331267

X. He et al., “LightGCN: Simplifying and powering graph convolution network for recommendation,” in Proc. 43rd Int. ACM SIGIR Conf. Res. Dev. Inf. Retr. (SIGIR), 2020, pp. 639–648, https://doi.org/10.1145/3397271.3401063.

P. K. Gopalan, J. M. Hofman, and D. M. Blei, “Scalable recommendation with hierarchical Poisson factorization,” in Proc. 31st Conf. Uncertainty in Artificial Intelligence (UAI), 2015, pp. 326–335.

W.-C. Kang and J. McAuley, “Self-attentive sequential recommendation,” in Proc. 13th ACM Int. Conf. Web Search Data Min. (WSDM), 2018, pp. 197–205. https://doi.org/10.1109/ICDM.2018.00035

F. Sun et al., “BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer,” in Proc. 28th ACM Int. Conf. Inf. Knowl. Manag. (CIKM), 2019, pp. 1441–1450. https://doi.org/10.1145/3357384.3357895

A. Salah, Q.-T. Truong, and H. W. Lauw, “Cornac: A comparative framework for multimodal recommender systems,” J. Mach. Learn. Res., vol. 21, no. 1, Art. no. 95, pp. 3803–3807, Jan. 2020.

F. M. Harper and J. A. Konstan, “The MovieLens datasets: History and context,” ACM Trans. Interact. Intell. Syst., vol. 5, no. 4, Art. no. 19, Dec. 2015, https://doi.org/10.1145/2827872.

A. Kozyriev, “Game recommendations on Steam,” Kaggle, 2020. [Online]. Available: https://www.kaggle.com/datasets/antonkozyriev/game-recommendations-on-steam. [Accessed: May 20, 2025].

O. Celma, “Last.fm 360k dataset,” Music Technology Group, Universitat Pompeu Fabra. [Online]. Available: https://www.upf.edu/web/mtg/lastfm360k. [Accessed: May 20, 2025]

##submission.downloads##

Опубліковано

2025-06-26

Номер

Том 2 № 84 (2025)

Розділ

КОМП’ЮТЕРНІ НАУКИ ТА ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ

Ліцензія

Authors who publish with this journal agree to the following terms:

Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.

Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.

Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).