Progettazione, realizzazione e valutazione di un assistente conversazionale con cache semantica e pipeline RAG

Questa tesi affronta il problema di rendere l'assistenza clienti automatizzata efficiente e affidabile in un dominio reale, dove interrogare un modello linguistico a ogni richiesta risulta costoso, lento e soggetto ad allucinazioni. Il sistema studiato è un assistente conversazionale a microservizi con un'architettura a due livelli: una cache semantica delle domande frequenti (FAQ), che riconosce per similarità di significato le richieste note e risponde in modo immediato senza invocare il modello, e — sui casi non coperti — una pipeline di Retrieval-Augmented Generation (RAG) che recupera i documenti aziendali pertinenti da un database vettoriale e genera una risposta ancorata ad essi. Il contributo centrale è un framework di valutazione automatica della pipeline in due punti distinti, corrispondenti ai due componenti decisionali del sistema: la cache FAQ e la generazione RAG. La metodologia adotta l'approccio LLM-as-a-Judge, in cui un modello linguistico valuta automaticamente centinaia di casi confrontando le risposte con un riferimento noto. Per la cache è stato costruito un dataset di stress test tramite perturbazioni controllate delle domande (parafrasi, errori di battitura, sinonimi, traduzioni) e domande fuori dominio, con una calibrazione sperimentale della soglia di similarità. Per la generazione RAG sono state misurate la correttezza, la fedeltà alle fonti (faithfulness, come metrica anti-allucinazione) e la capacità di rifiutare le domande fuori dominio. I risultati mostrano una cache con precisione del 94% e una copertura del 90% sulle domande di sua competenza, e una pipeline RAG con accuratezza in dominio del 91%, fedeltà alle fonti pari a 0,94 e rifiuto corretto delle domande fuori tema nel 93% dei casi. Il lavoro discute inoltre in modo critico i limiti della valutazione — la dimensione dei campioni, la natura semi-sintetica del dataset RAG e le condizioni sperimentali — indicando le direzioni per un consolidamento futuro. Ne emerge un sistema non solo progettato ma misurato quantitativamente, con una metodologia riproducibile e trasferibile ad altre pipeline conversazionali.