Deep Reinforcement Learning in Frontier-Based Autonomous Exploration Deep Reinforcement Learning per l’Esplorazione Autonoma Basata su Frontiere

Nel presente lavoro viene studiata la possibilità di sfruttare soluzioni basate sul Machine Learning nel contesto del controllo di agenti autonomi. In particolare, l'approccio proposto mira a integrare metodi di Deep Reinforcement Learning (DRL) nel quadro dell'esplorazione autonoma basata su frontiere. È stato sviluppato un ambiente di simulazione che modella una griglia bidimensionale esplorata da un agente autonomo idoneo all'apprendimento di algoritmi DRL. Per l'architettura del sistema di controllo è stato adottato un design modulare. In un classico approccio Frontier-Based (FB), il compito di esplorazione viene svolto dall'agente navigando verso un insieme di regioni di frontiera, ovvero i confini tra aree conosciute e sconosciute. Il modello euristico usato negli approcci FB per il processo decisionale, è stato sostituito in questo lavoro da un modello DRL. L'algoritmo menzionato è stato progettato, addestrato, testato e infine confrontato con i principali modelli euristici utilizzati nell'esplorazione basata su frontiere. Il processo di sviluppo del modello, le criticità, i risultati e un'analisi critica degli stessi sono stati riportati in dettaglio.

In the present work it has been investigated the possibility of harnessing Machine Learning based solution in the context of the control of autonomous agent. In particular the proposed approach seek to integrate a Deep Learning Based (DRL) approach in the framework of Frontier-Based (FB) autonomous exploration. A simulation environment modeling a 2-dimensional grid explored by an autonomous agent suitable for DRL algorithms has been developed adopting modular design of the general control system. In a classic FB approach the task of exploration is performed by the agent navigating toward a set o frontier regions, i.e. the borders between known and unknown areas. Whereas in FB approaches the decision making process is carried out by a exact heuristic policy, in this work it has been substitute by a DRL model. The mentioned algorithm has been designed, trained, tested and finally compared to the main heuristic models utilized in Frontier-Based exploration. The process of the development of the model, the criticalities of the method, its results and a critical analysis of theme have been reported in detail.