Аннотация
Исследуются возможности рекуррентных нейронных сетей с управляемыми синапсами со стиранием устаревшей информации. Решается задача оценки емкости памяти этих сетей. Отмечается, что для ее решения из-за специфики правил запоминания информации известные методы не пригодны. Они не ориентированы на оценку запоминания длинных последовательностей совокупностей единичных образов. В них не принимается во внимание предельный суммарный вес синапсов, активно используемых в качестве элементов памяти, не учитывается зависимость емкости памяти от функций ослабления сигналов в сети. Рассматривается новый метод оценки емкости памяти рекуррентных нейронных сетей, обрабатывающих информацию в реальном масштабе времени. Приводится спиральная структура сети на уровне нейросетевых каналов. Получено аналитическое выражение, связывающее емкость памяти таких сетей с их параметрами. В качестве этих параметров выступают число нейронов и предельно достижимый суммарный вес синапсов сети, средние значения функций ослабления расходящихся и сходящихся в сети единичных образов и другие. Показано, что предельные оценки емкости памяти рекуррентных нейронных сетей выше, чем считалось ранее. На один синапс может приходиться больше двух бит информации. Сформулированы рекомендации по совершенствованию рекуррентных нейронных сетей. В качестве элементов долговременной памяти предлагается использовать только те синапсы, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов в сети.
Ключевые слова: рекуррентная нейронная сеть, структура, синапсы, ослабление, емкость, память, стирание, устаревание, информация, метод
Список литературы
1. Galushkin A.I. Neural Networks Theory. – Berlin; Heidelberg: Springer-Verlag, 2007. – 396 p.
2. Haykin S. Neural Networks: A Comprehensive Foundation. – Second ed. – New York: Prentice Hall, 1988. – 842 p.
3. Осовский С. Нейронные сети для обработки информации / пер. с пол. И.Д. Рудницкого. – М.: Финансы и статистика, 2002. – 344 с.
4. Осипов В.Ю. Рекуррентная нейронная сеть с управляемыми синапсами // Информационные технологии. – 2010. – № 7. – С. 43–47.
5. Осипов В.Ю. Стирание устаревшей информации в ассоциативных интеллектуальных системах // Мехатроника, автоматизация, управление. – 2012. – № 3. – С. 16–20.
6. Осипов В.Ю. Рекуррентная нейронная сеть с двумя сигнальными системами // Информационно-управляющие системы. – 2013. – № 4. – С. 8–15.
7. Palm G. Neural associative memories and sparse coding // Neural Networks. – 2013. – Vol. 37. – P. 165–171.
8. Palm G., Sommer F.T. Information capacity in recurrent McCulloch-Pitts networks with sparsely coded memory states // Network: Computation in Neural Systems. – 1992. – Vol. 3, № 2. – P. 177-186.
9. Bosch H., Kurfess F. Information storage capacity of incompletely connected associative memories // Neural Networks. – 1998. – Vol 11, iss. 5. – P. 869–876.
