Fine-Grained Cross-Modal Alignment for Improving Visual Grounding in Multimodal Large Language Models

I Multimodal Large Language Models (MLLMs) forniscono a un language model la possibilità di gestire input visuali, permettendo così a un singolo modello di lavorare e ragionare sul testo e sulle immagini contemporaneamente. Sono diventati uno strumento centrale nell'AI moderna, poiché svolgono compiti quali l'image captioning, il visual question answering e una generica comprensione multimediale, dove il contesto visuale e il linguaggio naturale devono essere interpretati assieme. Nonostante i recenti progressi, gli MLLM presentano ancora problemi nel fornire una corrispondenza dettagliata tra le rappresentazioni visuali e testuali. Questo debole allineamento tra le modalità spesso comporta il fenomeno delle allucinazioni: il modello genera un contenuto che non è supportato o è incoerente con l'immagine di input. Questo comportamento diminuisce la loro affidabilità, in particolare in contesti che richiedono risposte accurate e verificabili. Questa tesi studia una strategia di associazione tra testo e immagine, con l'obiettivo di migliorare l'allineamento nella generazione multimodale. Il metodo proposto collega esplicitamente intervalli del testo generato alle regioni dell'immagine che descrive, forzando interazioni più localizzate tra le features visuali e i tokens testuali. Invece che basarsi solo su rappresentazioni globali fra le modalità, questo collegamento è forzato attraverso un obiettivo aggiuntivo di allineamento durante l'allenamento del modello, con lo scopo di produrre risposte che sono maggiormente supportate dall'input visuale preservando, però, le capacità visuali del modello multimodale inalterate. Il metodo è valutato su architetture basate su LLaVA, costruite con componenti diverse ed allenate con varie configurazioni. Un confronto sistematico delle strategie di allineamento valuta il contributo di ciascuna nel ridurre le allucinazioni.

Multimodal Large Language Models (MLLMs) couple a language model with visual inputs, letting a single model process and reason over both text and images. They have become a central tool in modern AI, supporting tasks such as image captioning, visual question answering and broader multimedia understanding, where visual context and natural language must be interpreted together. Despite this progress, MLLMs still struggle to establish fine-grained correspondences between visual and textual representations. This weak cross-modal grounding often surfaces as hallucination: the model produces content that is not supported by, or is inconsistent with, the input image. Such behavior undermines their reliability, especially in applications that require accurate and verifiable answers. This thesis studies a visual-to-text alignment strategy aimed at improving grounding in multimodal generation. The proposed method explicitly links spans of generated text to the image regions they describe, encouraging more localized interactions between visual features and language tokens. Rather than relying only on global cross-modal representations, this link is enforced through an auxiliary alignment objective during training, with the goal of producing responses that are more faithfully grounded in the visual input while preserving the model's general multimodal ability. The method is evaluated on LLaVA-based architectures, instantiated with different components and trained under varying configurations. A systematic comparison of the alignment strategies assesses their respective contributions to reducing hallucination.