Progettazione e Sviluppo di un Sistema Autonomo per l’individuazione e la raccolta di rifiuti tramite Computer Vision e Manipolazione Robotica

This thesis presents the development of an autonomous robotic system for the detection, recognition, and collection of waste bags by integrating Computer Vision techniques, deep learning algorithms, and a robotic platform composed of a UR5 manipulator mounted on an omnidirectional mobile base. The work begins with the creation of a custom dataset of waste bags using Roboflow, enriched with data augmentation techniques to increase variability. A YOLO model was then designed and trained to perform both object detection and keypoint detection, ensuring accurate spatial localization of the bags. The perception system was integrated into the ROS 2 framework through dedicated nodes for RGB and Depth image acquisition, coordinate transformation via TF2, and keypoint publication in the world reference frame. This provided the robot with a robust perception pipeline capable of delivering reliable data for navigation and manipulation. From a behavioral perspective, a searching and grasping routine was developed, enabling the robot to explore the environment by rotating on itself to detect bags, select the closest one, align to its direction, move forward while periodically checking keypoint consistency, and, once reaching the target distance, perform grasping and transport to a predefined collection point. The system was first tested and validated in CoppeliaSim, where the correctness of transformations, trajectory planning, and robot–environment interaction were verified. The project was then deployed on the real robot, allowing performance analysis in terms of recognition reliability, grasping success rate, and average task completion times. The results confirmed the validity of the approach, while highlighting some issues related to the robustness of visual recognition. Future work will focus on improving perception algorithms and extending the system to real-world waste collection and disposal scenarios.

In questa tesi viene presentato lo sviluppo di un sistema robotico autonomo per l’individuazione, il riconoscimento e la raccolta di sacchi dei rifiuti mediante l’integrazione di tecniche di Computer Vision, algoritmi di deep learning e una piattaforma robotica composta da un manipolatore UR5 montato su una base mobile omnidirezionale. Il lavoro parte dalla creazione di un dataset personalizzato di sacchi tramite Roboflow, arricchito con tecniche di data augmentation per aumentarne la variabilità. Successivamente, è stato progettato e addestrato un modello YOLO in grado di effettuare sia object detection sia keypoint detection, garantendo un’accurata localizzazione spaziale dei sacchi. Il sistema di percezione è stato integrato nel framework ROS 2, attraverso nodi dedicati all’acquisizione di immagini RGB e Depth, alla trasformazione delle coordinate tramite TF2 e alla pubblicazione dei keypoint in riferimento al mondo. In questo modo, il robot è stato dotato di una pipeline percettiva robusta, capace di fornire dati affidabili per la navigazione e la manipolazione. Dal punto di vista comportamentale, è stata sviluppata una routine di searching e grasping che consente al robot di esplorare l’ambiente ruotando su sé stesso per individuare i sacchi, selezionare quello più vicino, allinearsi alla sua direzione, avanzare verificando periodicamente la coerenza del keypoint e, una volta raggiunta la distanza target, eseguire la presa e il trasporto verso un punto di raccolta prestabilito. Il sistema è stato inizialmente testato e validato in CoppeliaSim, dove sono state verificate la correttezza delle trasformazioni, la pianificazione delle traiettorie e l’interazione tra robot e ambiente virtuale. Successivamente, il progetto è stato trasferito sul robot reale, consentendo di analizzare le prestazioni in termini di affidabilità del riconoscimento, tasso di successo del grasping e tempi medi di completamento delle operazioni. I risultati hanno confermato la validità dell’approccio, evidenziando al contempo alcune criticità legate alla robustezza del riconoscimento visivo. Le prospettive future riguardano il miglioramento degli algoritmi di percezione e l’estensione del sistema a scenari reali di raccolta e smaltimento dei rifiuti.