Автоматизована система налаштування обмеженої машини Больцмана
DOI:
https://doi.org/10.18372/1990-5548.60.13814Ключові слова:
Нейронна мережа глибокої довіри, обмежена машина Больцмана, контрастна розбіжність, стійка контрастна розбіжність, паралельне загартуванняАнотація
У даній роботі розглянуто задачу навчання нейронної мережі глибокої довіри за допомогою обмеженої машини Больцмана та вибором оптимального критерію для її навчання. Розглянуто різні алгоритми навчання обмеженої машини Больцмана, яка використовується для попереднього навчання нейронної мережі глибокої довіри, для підвищення ефективності роботи цієї мережі з подальшим вирішенням задачі структурно-параметричного синтезу нейронної мережі глибокої довіри. Це завдання являє собою задачу обгрунтування необхідності оптимального вибору алгоритму налаштування обмеженої машини Больцмана для підвищення якості навчання нейронної мережі глибокої довіри. Для вирішення цієї проблеми запропоновано створити автоматизовану систему налаштування нейронної мережі глибокої довіри, яка буде обирати оптимальні критерії навчання для даної нейронної мережі.
Посилання
. Golovko, “From multilayer perceptron to deep belief neural networks: training paradigms and application,” in book Lectures on neuroinformatics, Moscow, 2015, pp. 47–84. (in Russian)
G. E. Hinton and S. Osindero, “A fast learning algorithm for deep belief nets,” Neural computation № 18, 2006, pp. 1527–1554.
G. E. Hinton, R. Salakhutdinov, “Reducing the dimensionality of data with neural networks,” Science, no. 313 (5786), 2006, pp. 504–507.
G. E. Hinton, “Training products of experts by minimizing contrastive divergence,” Neural Computation, pp. 1771–1800, 2002.
Y. Bengio, P. Lamblin, D. Popovici, H. Larochelle, and U. Montreal, “Greedy layerwise training of deep networks,” in: B. SchЁolkopf, J. Platt, T. Hoffman (eds.) Advances in Neural Information Processing, pp. 153–160, MIT Press, 2007.
Y. Bengio and O. Delalleau, “Justifying and generalizing contrastive divergence”, Neural Computation 21(6), pp. 1601–1621, 2009.
G. E. Hinton, “Learning multiple layers of representation,” Trends in Cognitive Sciences, 11(10), 428–434, 2007.
T. Tieleman, “Training restricted Boltzmann machines using approximations to the likelihood gradient,” in International Conference on Machine learning (ICML), pp. 1064–1071, 2008.
L. Younes, “Maximum likelihood estimation of Gibbs fields,” in Joint Conference on Spacial Statistics and Imaging, Lecture Notes Monograph Series, Institute of Mathematical Statistics, Hayward, California, 1991.
T. Tieleman and G. E. Hinton, “Using fast weights to improve persistent contrastive divergence,” International Conference on Machine Learning (ICML), pp. 1033–1040, 2009.
A. Fischer and C. Igel, “Empirical analysis of the divergence of Gibbs sampling based learning algorithms for Restricted Boltzmann Machines,” in International Conference on Artificial Neural Networks (ICANN), vol. 6354 of LNCS, pp. 208–217, Springer-Verlag, 2010.
K. Cho, T. Raiko and A. Ilin, “Parallel tempering is efficient for learning restricted Boltzmann machines,” Proceedings of the International Joint Conference on Neural Networks (IJCNN 2010), pp. 3246–3253. IEEE Press, 2010.
D. J. C. Mackay, Information Theory, Inference & Learning Algorithms, 1st ed. Cambridge University Press, June 2002.
Bengio Y., “Learning deep architectures for AI,” Foundations and trends in machine learning, no. 2(1), pp. 1–127, 2009.
H. Robert, Swendsen and Jian-Sheng Wang, “Replica Monte Carlo Simulation of Spin-Glasses”, Lett. 57, 2607, 24 November 1986.
Geyer and J. Charles, Markov Chain Monte Carlo Maximum Likelihood, 1991.
##submission.downloads##
Як цитувати
Номер
Розділ
Ліцензія
Автори, які публікуються в цьому журналі, погоджуються з наступними умовами:
Автори зберігають авторські права та надають журналу право першої публікації роботи, одночасно ліцензованої за ліцензією Creative Commons Attribution License, яка дозволяє іншим поширювати роботу з посиланням на авторство роботи та її першу публікацію в цьому журналі.
Автори можуть укладати окремі додаткові договірні угоди щодо неексклюзивного розповсюдження опублікованої в журналі версії роботи (наприклад, розміщувати її в інституційному репозиторії або публікувати в книзі) з посиланням на її першу публікацію в цьому журналі.
Авторам дозволяється та заохочується розміщувати свої роботи онлайн (наприклад, в інституційних репозиторіях або на своєму вебсайті) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш раннього та більшого цитування опублікованих робіт (див. Вплив відкритого доступу).
