Question Answering su Open Data: valutazione end-to-end di strategie di recupero e configurazioni agentiche in LakeGen

La disponibilità di Open Data non comporta necessariamente che le informazioni possano essere individuate e utilizzate con facilità. I dataset pubblicati sono spesso caratterizzati da metadati incompleti e schemi eterogenei; inoltre, una domanda può richiedere di combinare più tabelle. Nel problema considerato, la domanda in linguaggio naturale costituisce l'ingresso di una pipeline che deve individuare le fonti pertinenti, stabilire come utilizzarle e generare le operazioni necessarie a ottenere la risposta. Questa tesi si propone di valutare come diverse scelte progettuali influenzino la capacità di LakeGen di svolgere questo processo su raccolte di Open Data. Il sistema utilizza agenti basati su Large Language Model nelle diverse fasi della pipeline: recupero e selezione dei dataset, definizione delle operazioni, generazione ed esecuzione del codice e produzione della risposta finale. Lo studio considera uno scenario nel quale le tabelle pertinenti non sono note in anticipo e confronta strategie di recupero lessicale, semantico e ibrido, modelli linguistici differenti e diversi livelli di informazione forniti al generatore di codice. La metodologia di valutazione utilizza casi generati da OrQA, che associano domande in linguaggio naturale a tabelle reali e interrogazioni di riferimento eseguibili. La valutazione considera separatamente il recupero delle fonti e l'intera pipeline, così da distinguere gli errori nella ricerca e nella selezione dei dataset da quelli nella generazione e nell'esecuzione del codice. Il confronto considera la correttezza delle risposte, la latenza, il consumo di token e il costo computazionale, per valutare i compromessi tra efficacia ed efficienza delle diverse configurazioni.