СИСТЕМЫ АНАЛИЗА И ОБРАБОТКИ ДАННЫХ

В настоящее время роботизация различных сфер человеческой жизни движется высокими темпами. Роботы различного типа и назначения применяются повсеместно, от роботов-кладовщиков и роботов-инвентаризаторов, двигающихся по заданному маршруту или маркерам, до высокотехнологичных робототехнических комплексов, решающих сложные задачи с минимальным участием оператора. Робототехника продолжает развиваться, и ее потенциал для автоматизации и решения различных задач постоянно расширяется. Одним из ключевых вопросов повышения автономности мобильных роботов является разработка новых и совершенствование существующих подходов к управлению движением роботов, в частности к планированию пути. В настоящей работе задача планирования пути решается с применением искусственных нейронных сетей и глубокого машинного обучения с подкреплением, при котором робот учится выбирать действия в среде таким образом, чтобы максимизировать некоторую численную награду или достичь определенной цели. Такой подход позволяет обеспечить планирование траектории движения путем моделирования среды, поведения робота, а также взаимодействия между ними. Метод обучения с подкреплением предоставляет эффективный способ для роботов и автономных систем обучаться адаптироваться к разнообразным условиям и выполнять задачи планирования пути. В настоящей работе исследуется возможность решения задачи планирования движения в заданную точку с применением метода приближенной оптимизации стратегии и метода «действие – критика». Полученные результаты показывают возможность решения поставленной задачи при обучении на относительно небольшом количестве эпизодов. Предложенный подход может применяться для управления наземными роботизированными системами различного назначения.

1. Казаков К.А., Семенов В.А. Обзор современных методов планирования движения // Труды Института системного программирования РАН. – 2016. – Т. 28 (4). – С. 241–294. – DOI: 10.15514/ISPRAS-2016-28(4)-14.

2. Алгоритмы поиска кратчайшего пути / А.Р. Худайбердина, Г.Ю. Беспятый, В.Е. Белай, А.В. Выграновская // Modern Science. – 2023. – № 1-2. – С. 144–148. – EDN EWHJYN.

3. Uras T., Koenig S. An empirical comparison of any-angle path-planning algorithms // Proceedings of the International Symposium on Combinatorial Search. – 2015. – Vol. 6 (1). – P. 206–210. – DOI: 10.1609/socs.v6i1.18382.

4. Бобырь М.В., Дородных А.А., Булатников В.А. Алгоритм поиска пути А* в задаче автоматизации процесса складирования изделий мехатронным комплексом // Мехатроника, автоматика и робототехника. – 2023. – № 11. – С. 151–154. – DOI: 10.26160/2541-8637-2023-11-151-154. – EDN PLILNX.

5. Платонов А.К., Карпов И.И., Кирильченко А.А. Метод потенциалов в задаче прокладки трассы // Препринты ИПМ им. М.В. Келдыша. – 1974. – № 124. – 27 с.

6. Khatib O. Real-time obstacle avoidance for manipulators and mobile robots // The International Journal of Robotics Research. – 1985. – Vol. 5 (1). – P. 500–505.

7. Филимонов А.Б., Филимонов Н.Б. Вопросы управления движением мобильных роботов методом потенциального наведения // Мехатроника, автоматизация, управление. – 2019. – Т. 20, № 11. – С. 677–685. – DOI: 10.17587/mau.20.677-685. – EDN KNYGTN.

8. Sabudin E.N., Omar R.B., Melor C.K. Potential field methods and their inherent approaches for path planning // ARPN Journal of Engineering and Applied Sciences. – 2016. – Vol. 11 (18). – P. 10801–10805.

9. Исследование методов планирования движения в двумерных картографированных средах / В.Х. Пшихопов, М.Ю. Медведев, Д.О. Бросалин, М.А. Васильева, Б.В. Гуренко, Н. Хамдан // Известия ЮФУ. Технические науки. – 2022. – № 3 (227). – С. 170–192. – DOI: 10.18522/2311-3103-2022-3-170-192. – EDN LDIEZZ.

10. Алгоритмы планирования траекторий в двумерной среде с препятствиями / В.Х. Пшихопов, М.Ю. Медведев, В.А. Костюков, Ф. Хуссейн, А. Кадим // Информатика и автоматизация. – 2022. – Т. 21, № 3. – С. 459–492. – DOI: 10.15622/ia.21.3.1. – EDN MVQDCS. – Яз. англ.

11. Чжан Ч. Исследование планирования пути улучшенного алгоритма RRT на основе искусственного потенциального поля // StudNet. – 2021. – Т. 4, № 6. – С. 1961–1977.

12. Буличев О.В., Малолетов А.В. Метод оптимизации количества ног шагающего робота на основе эволюционного алгоритма // Известия Волгоградского государственного технического университета. – 2022. – № 9 (268). – С. 12–19. – DOI: 10.35211/1990-5297-2022-9-268-12-19. – EDN DBEDNF.

13. Learning from experience for rapid generation of local car maneuvers / P. Kicki, T. Gawron, K. Cwian, M. Ozay, P. Skrzypczynski // Engineering Applications of Artificial Intelligence. – 2021. – Vol. 105. – P. 104399. – DOI: 10.1016/j.engappai.2021.104399.

14. Path planning via an improved DQN-based learning policy / L. Lv, S. Zhang, D. Ding, Y. Wang // IEEE Access. – 2019. – Vol. 7. – P. 67319–67330. – DOI: 10.1109/ACCESS.2019.2918703.

15. Чугунов Р.А., Александрова Т.В. Применение нейронных сетей для навигации мобильного робота по видеоориентирам // Молодежь и современные информационные технологии: сборник трудов XIV Международной научно-практической конференции студентов, аспирантов и молодых ученых, г. Томск, 7–11 ноября 2016 г.: в 2 т. – Томск: Изд-во ТПУ, 2016. – Т. 1. – С. 331–332.

16. Dota 2 with Large Scale Deep Reinforcement Learning / C. Berner [et al.]. – arXiv:1912.06680. – 2019.

17. Обучение с подкреплением в задачах управления беспилотными летательными аппаратами в среде умного города / Н.С. Власова, А.Н. Лебединец, Н.В. Быков, М.С. Товарнов // Будущее машиностроения России: Четырнадцатая Всероссийская конференция молодых ученых и специалистов: сборник докладов: в 2 т. – М., 2022. – Т. 2. – С. 103–110. – EDN PWUWDP.

18. Дудаков А.С., Турсунов Т.Р., Филимонов Н.Б. Метод глубокого обучения с подкреплением в задачах маршрутизации движения мобильных роботов в среде с препятствиями // Мехатроника, автоматика и робототехника. – 2023. – № 11. – С. 7–13. – DOI: 10.26160/2541-8637-2023-11-7-13. – EDN KDIJYO.

19. Parkhomenko V., Gayda T., Medvedev M. Intelligent system for countering groups of robots based on reinforcement learning technologies // Frontiers in robotics and electromechanics / ed. by A. Ronzhin, V. Pshikhopov. – Singapore: Springer, 2023. – P. 135–146. – (Smart Innovation, Systems and Technologies; vol. 329). – DOI: 10.1007/978-981-19-7685-8_9.

20. Нейросетевая система управления группой роботов в неопределенной двумерной среде / А.Р. Гайдук, О.В. Мартьянов, М.Ю. Медведев, В.Х. Пшихопов, Н. Хамдан, А. Фархуд // Мехатроника, автоматизация, управление. – 2020. – Т. 21, № 8. – С. 470–479. – DOI: 10.17587/mau.21.470-479. – EDN LAAABX. – Яз. англ.

21. Watkins C.J.C.H., Dayan P. Q-learning // Machine Learning. – 1992. – Vol. 8. – P. 279–292. – DOI: 10.1007/BF00992698.

22. Asynchronous methods for deep reinforcement learning / V. Mnih [et al.] // Proceedings of Machine Learning Research. – 2016. – Vol. 48. – P. 1928–1937.

23. Rummery G.A., Niranjan M. On-line Q-learning using connectionist systems. Technical Report CUED/F-INFENG/TR 166. – Cambridge University Engineering Department, 1994.

24. Sutton R.S., Barto A.G. Reinforcement learning: an introduction. – 2nd ed. – Cambridge: MIT Press, 2018. – 526 p.

25. Proximal policy optimization algorithms / J. Schulman, F. Wolski, P. Dhariwal, A. Radford, O. Klimov. – arXiv:1707.06347. – 2017.

26. Clevert D., Unterthiner T., Hochreiter S. Fast and accurate deep network learning by exponential linear units (ELUs). – arXiv:1511.07289. – 2015.

27. Premakumar P. A* (A Star) search for path planning tutorial: MATLAB Central File Exchange. – 2023. – URL: https://www.mathworks.com/matlabcentral/fileexchange/26248-a-a-star-search-for-path-planning-tutorial (accessed: 28.11.2023).