НАУЧНЫЙ ВЕСТНИК


НОВОСИБИРСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА

ISSN (печатн.): 1814-1196          ISSN (онлайн): 2658-3275
English | Русский

Последний выпуск
№3(72) Июль - Сентябрь 2018

Пределы памяти рекуррентных нейронных сетей со стиранием устаревшей информации

Выпуск № 3 (56) Июль - Сентябрь 2014
Авторы:

В.Ю. ОСИПОВ
Аннотация
Исследуются возможности рекуррентных нейронных сетей с управляемыми синапсами со стиранием устаревшей информации. Решается задача оценки емкости памяти этих сетей. Отмечается, что для ее решения из-за специфики правил запоминания информации известные методы не пригодны. Они не ориентированы на оценку запоминания длинных последовательностей совокупностей единичных образов. В них не принимается во внимание предельный суммарный вес синапсов, активно используемых в качестве элементов памяти, не учитывается зависимость емкости памяти от функций ослабления сигналов в сети. Рассматривается новый метод оценки емкости памяти рекуррентных нейронных сетей, обрабатывающих информацию в реальном масштабе времени. Приводится спиральная структура сети на уровне нейросетевых каналов. Получено аналитическое выражение, связывающее емкость памяти таких сетей с их параметрами. В качестве этих параметров выступают число нейронов и предельно достижимый суммарный вес синапсов  сети, средние значения функций ослабления расходящихся и сходящихся  в сети единичных образов и другие. Показано, что предельные оценки емкости памяти рекуррентных нейронных сетей выше, чем считалось ранее. На один синапс может приходиться больше двух бит информации. Сформулированы рекомендации по совершенствованию рекуррентных нейронных сетей. В качестве элементов долговременной памяти предлагается использовать только те синапсы, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов в сети.
Ключевые слова: рекуррентная нейронная сеть, структура, синапсы, ослабление, емкость, память, стирание, устаревание, информация, метод

Список литературы
1. Galushkin A.I. Neural Networks Theory. – Berlin; Heidelberg: Springer-Verlag, 2007. – 396 p.

2. Haykin S. Neural Networks: A Comprehensive Foundation. – Second ed. – New York: Prentice Hall, 1988. – 842 p.

3. Осовский С. Нейронные сети для обработки информации / пер. с пол. И.Д. Рудницкого. – М.: Финансы и статистика, 2002. – 344 с.

4. Осипов В.Ю. Рекуррентная нейронная сеть с управляемыми синапсами // Информационные технологии. – 2010. – № 7. – С. 43–47.

5. Осипов В.Ю. Стирание устаревшей информации в ассоциативных интеллектуальных системах // Мехатроника, автоматизация, управление. – 2012. – № 3. – С. 16–20.

6. Осипов В.Ю. Рекуррентная нейронная сеть с двумя сигнальными системами // Информационно-управляющие системы. – 2013. – № 4. – С. 8–15.

7. Palm G. Neural associative memories and sparse coding // Neural Networks. – 2013. – Vol. 37. – P. 165–171.

8. Palm G., Sommer F.T. Information capacity in recurrent McCulloch-Pitts networks with sparsely coded memory states // Network: Computation in Neural Systems. – 1992. – Vol. 3, № 2. – P. 177-186.

9. Bosch H., Kurfess F. Information storage capacity of incompletely connected associative memories // Neural Networks. – 1998. – Vol 11, iss. 5. – P. 869–876.

 
Просмотров: 898