Riconoscimento delle espressioni facciali occluse tramite mesh 3D

L’integrazione sempre più diffusa dell’analisi biometrica nei sistemi commerciali e interattivi ha portato a un forte incremento delle applicazioni che sfruttano l’intelligenza emotiva per migliorare l’esperienza del cliente. Tra queste, il Riconoscimento delle Espressioni Facciali (FER) si distingue come uno strumento potente, in grado di inferire in tempo reale gli stati affettivi umani, consentendo servizi più reattivi, adattivi e personalizzati — in particolare nei contesti di marketing e retail. Il FER può fornire approfondimenti significativi sul comportamento e sull’engagement dei consumatori, contribuendo all’ottimizzazione dell’esperienza in-store e a decisioni strategiche più informate. Nonostante il suo potenziale, i sistemi FER tradizionali si basano spesso sull’elaborazione di immagini 2D, risultando vulnerabili a variazioni di posa, illuminazione e occlusione. Per superare questi limiti, questa tesi esplora un nuovo pipeline basato sulla ricostruzione di mesh facciali 3D a partire da frame video 2D acquisiti in ambienti retail. Utilizzando una rappresentazione basata su mesh, è possibile allineare con maggiore precisione i tratti facciali, ottenendo una maggiore robustezza nel riconoscimento delle emozioni anche in condizioni non ideali del mondo reale. Il sistema opera in modo passivo e anonimo, ponendo l’accento su una raccolta dati etica e priva di identificazione personale. Tuttavia, l’implementazione di queste tecnologie si scontra con significative barriere normative. Il Regolamento sull’Intelligenza Artificiale dell’Unione Europea, nella sua forma attuale, impone restrizioni severe alla categorizzazione biometrica in tempo reale, inclusi gli usi del FER in spazi pubblici e semi-pubblici. Sebbene la normativa giustamente ponga al centro i diritti e la privacy individuali, manca di una distinzione chiara tra sorveglianza basata sull’identità e analisi comportamentale anonima e non intrusiva. Il FER, se associato a tecniche di anonimizzazione efficaci che garantiscano l’assenza di informazioni identificative o biometriche tracciabili, non dovrebbe essere automaticamente classificato come ad alto rischio. Un divieto generalizzato rischia infatti di ostacolare l’innovazione in ambiti in cui l’interpretazione biometrica può offrire benefici rilevanti a livello sociale ed economico senza compromettere la privacy. Questo lavoro sostiene la necessità di un approccio normativo più contestualizzato e tecnicamente informato, che riconosca la differenza tra identificazione e computazione affettiva anonimizzata. In questa prospettiva, si promuove un uso responsabile del FER, che sia etico e trasparente, sbloccandone il pieno potenziale in ambiti come l’intelligenza retail, gli ambienti intelligenti e l’ingegneria dell’esperienza utente.

The increasing integration of biometric analysis into commercial and interactive systems has led to a surge in applications that leverage emotional intelligence to enhance customer experiences. Among these, Facial Expression Recognition (FER) stands out as a powerful tool capable of inferring human affective states in real-time, enabling more responsive, adaptive, and personalized services—particularly within marketing and retail environments. FER can provide deep insights into consumer behavior and engagement, contributing to the optimization of in-store experiences and strategic decision-making. Despite its potential, traditional FER systems often rely on 2D image processing, which is highly susceptible to variations in pose, illumination, and occlusion. To overcome these limitations, this thesis explores a novel pipeline based on reconstructing 3D facial meshes from 2D video frames captured in-store. By using a mesh-based representation, facial features can be more accurately aligned, enabling higher robustness in emotion recognition tasks even under non-ideal real-world conditions. The system operates in a passive and anonymous manner, emphasizing ethical data collection and avoiding personal identification. However, the implementation of such technologies faces significant regulatory barriers. The European Union's Artificial Intelligence Act, in its current form, imposes strict restrictions on real-time biometric categorization, including the use of FER in public and semi-public spaces. While the regulation rightly prioritizes individual rights and privacy, it lacks nuance in distinguishing between identity-based surveillance and anonymized, non-intrusive behavioral analytics. FER, when coupled with robust anonymization techniques that ensure no identity or traceable biometric information is retained, should not be inherently classified as high-risk. This blanket prohibition may ultimately hinder innovation in areas where biometric interpretation can serve valuable societal and economic functions without compromising personal privacy. This work argues that a more context-aware and technically informed regulatory approach is needed—one that acknowledges the distinction between identification and anonymized affective computing. In doing so, it advocates for the responsible deployment of FER systems that operate ethically and transparently, while unlocking their full potential in domains such as retail intelligence, smart environments, and user experience engineering.