Многоагентные системы планирования траектории - одна из развивающихся направлений искусственного интеллекта. Разработки в этой области активно применяются в компьютерных играх, авиации [1] и робототехнике. При разработке систем многоагентного планирования траектории перед разработчиками появляется ряд задач. Одной из таких задач является эффективное планирование траектории для каждого агента от начальной позиции до конечной и координация агентов между собой так, чтобы они не мешали движению других агентов.
Зачастую, агенты не могут знать всю местность заранее, но могут автоматически наблюдать за ней в определенном диапазоне вокруг себя и запоминать ее для использования в будущем. Например, такие ситуации встречаются при разработке навигации для персонажей в компьютерных играх реального времени (таких, как Baldur’s Gate(рис. 1), Total Annihilation, Age of Empires или Dark Reign).
Агенты в нашей задаче могут не знать всю местность заранее и в ходе их движения по местности могут возникнуть большое количество непредвиденных обстоятельств, которые затрудняют поиск. По мере того как агенты перемещаются по местности, они наблюдают за ней все больше, что ускоряет будущие поиски, поскольку уменьшает количество возможных непредвиденных обстоятельств. Также, агенты могут обмениваться между собой какой-то информацией для того, чтобы помогать другим агентам избегать конфликтов с другими агентами или препятствиями. В данной ситуации нахождение оптимального решения - сложно-разрешимая задача и необходимо использовать производительный поисковый подход, который может немного пожертвовать оптимальностью результирующих траекторий ради общей производительности. Результирующие траектории, вероятно, не являются оптимальными, но это часто перевешивается экономией вычислений.
Целью данной дипломной работы является в исследование формальной постановки задачи многоагентного планирования траектории в условиях частичной наблюдаемости, различных постановок данной задачи и разработка системы навигации групп мобильных агентов для решения данной задачи.
В ходе выполнения работы были исследованы задачи многоагентного планирования траектории и планирования траектории в условиях частичной наблюдаемости. Был проведен анализ технической литературы, на его основе были разработаны новые алгоритмы для задачи многоагентного планирования траектории в условиях частичной наблюдаемости, основанные на изученных алгоритмах многоагентного планирования и планирования в условиях частичной наблюдаемости. Данные алгоритмы были реализованы, на их основе был разработан прототип системы планирования движения роботов на языке программирования C++. Было проведено экспериментальное исследование производительности написанных алгоритмов.
К основным результатам работы относится программная реализация алгоритмов и системы планирования движения группы агентов в условиях частичной наблюдаемости и также результаты экспериментального исследования алгоритмов.
На основании экспериментальных исследований можно сделать вывод, что версии, в которых происходил обмен между агентами большим количеством информации, показывают лучшие результаты. Для версии алгоритма с полной децентрализацией лучше всего себя показывает стратегия «Квадрат+», так как в отличие от других стратегий она лишена случаев взаимной блокировки.
В будущих работах планируется разработка стратегий, основанные на субоптимальных алгоритмах основанных на правилах (TASS, Push And Swap), использовать подходы с других алгоритмов частичной наблюдаемости (например как LSS-LRTA*) или других алгоритмов многоагентного планирования траектории.
[1] Ho, F., Goncalves, A., Salta, A., Cavazza, M., Geraldes, R., Prendinger, H. (2019). Multi-agent path finding for UAV traffic management: Robotics track.
[2] Han, Y., Gmytrasiewicz, P. (2019, July). Ipomdp-net: A deep neural network for partially observable multi-agent planning using interactive pomdps. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 33, No. 01, pp. 6062-6069).
[3] Brafman, R., Shani, G., Zilberstein, S. (2013, June). Qualitative planning under partial observability in multi-agent domains. In Twenty-Seventh AAAI Conference on Artificial Intelligence.
[4] Mohseni-Kabir, A., Veloso, M., Likhachev, M. (2020, June). Efficient robot planning for achieving multiple independent partially observable tasks that evolve over time. In Proceedings of the International Conference on Automated Planning and Scheduling (Vol. 30, pp. 202-211).
[5] Omidshafiei, S., Pazis, J., Amato, C., How, J. P., Vian, J. (2017, July). Deep decentralized multi-task multi-agent reinforcement learning under partial observability. In International Conference on Machine Learning (pp. 2681¬2690). PMLR.
[6] Spaan, M. T. (2012). Partially observable Markov decision processes. In Reinforcement Learning (pp. 387-414). Springer, Berlin, Heidelberg.
[7] Яковлев, К. С., Баскин, Е. С. (2013). Графовые модели в задаче планирования траектории на плоскости. Искусственный интеллект и принятие решений, (1), 5-12.
[8] Dijkstra E. W. A note on two problems in connexion with graphs // Numerische Mathematik. 1959. V. 1. P. 269-271.
[9] Korf R.E. Articial Intelligence Search Algorithms // In Algorithms and Theory of Computation Handbook, CRC Press, 1996. P. 40.
[10] Koenig S., Likhachev M., Furcy D. Lifelong planning A // Artificial Intelligence. 2004. V. 155. N. 1-2. P. 93-146.
[11] Stentz, A. (1994). Optimal and efficient path planning for partially known environments. In Intelligent unmanned ground vehicles (pp. 203-220). Springer, Boston, MA.
[12] Stentz, A. (1995, August). The focussed d* algorithm for real-time replanning. In IJCAI (Vol. 95, pp. 1652-1659).
[13] Koenig, S., and Maxim Likhachev. "D* lite."Aaai/iaai 15 (2002): 476-483.
[14] Koenig, S., Sun, X. (2009). Comparing real-time and incremental heuristic search for real-time situated agents. Autonomous Agents and Multi-Agent Systems, 18(3), 313-341.
[15] Stern, R., Sturtevant, N. R., Felner, A., Koenig, S., Ma, H., Walker, T. T., ... Boyarski, E. (2019, July). Multi-agent pathfinding: Definitions, variants, and benchmarks. In Twelfth Annual Symposium on Combinatorial Search.
[16] Yu, J., LaValle, S. M. (2013, June). Structure and intractability of optimal multi-robot path planning on graphs. In Twenty-Seventh AAAI Conference on Artificial Intelligence.
[17] Sharon, G., Stern, R., Felner, A., Sturtevant, N. R. (2015). Conflict-based search for optimal multi-agent pathfinding. Artificial Intelligence, 219, 40-66.
[18] Boyarski, E., Felner, A., Stern, R., Sharon, G., Tolpin, D., Betzalel, O., Shimony, E. (2015, June). ICBS: Improved conflict-based search algorithm for multi-agent pathfinding. In Twenty-Fourth International Joint Conference on Artificial Intelligence.
[19] Felner, A., Li, J., Boyarski, E., Ma, H., Cohen, L., Kumar, T. S., Koenig,
S. (2018, June). Adding heuristics to conflict-based search for multi-agent path finding. In Proceedings of the International Conference on Automated Planning and Scheduling (Vol. 28, pp. 83-87).
[20] Li, J., Harabor, D., Stuckey, P. J., Felner, A., Ma, H., Koenig, S. (2019). Disjoint splitting for multi-agent path finding with conflict-based search. In Proceedings of the International Conference on Automated Planning and Scheduling (Vol. 29, pp. 279-283).
[21] Wagner, G., Choset, H. (2011, September). M*: A complete multirobot path planning algorithm with performance bounds. In 2011 IEEE/RSJ international conference on intelligent robots and systems (pp. 3260-3267). IEEE.
[22] Goldenberg, M., Felner, A., Stern, R., Sharon, G., Sturtevant, N., Holte, R. C., Schaeffer, J. (2014). Enhanced partial expansion A. Journal of Artificial Intelligence Research, 50, 141-187.
[23] Silver, D. (2005). Cooperative pathfinding. In Proceedings of the aaai conference on artificial intelligence and interactive digital entertainment (Vol. 1, No. 1,pp. 117-122).
[24] Dresner, K., Stone, P. (2008). A multiagent approach to autonomous intersection management. Journal of artificial intelligence research, 31, 591¬656.
[25] Интерактивная визуализация алгоритмов на базе Jupyter. URL:https://habr.com/ru/post/517056/ (дата обращения 18.09.2021)