Dal Machine Learning ai Foundation Models: confronto di modelli per il Forecasting di serie temporali

In an economic and industrial context characterized by rapid change and increasing complexity, the ability to anticipate the future through data represents a fundamental strategic advantage. Time series forecasting emerges as an indispensable tool for transforming historical information into actionable predictions, supporting companies in resource planning, process optimization, and risk management. This thesis compares traditional Machine Learning approaches with the most recent Foundation Models applied to forecasting. Traditional models, such as linear regression, Ridge, Lasso, Elastic Net, and XGBoost, represent well-established tools, known for their reliability and efficiency on moderately sized structured datasets. Foundation Models, on the other hand, thanks to Transformer-based architectures and the ability to learn general representations from heterogeneous data, introduce an innovative and flexible paradigm. They make it possible to more effectively address complex time series and unprecedented scenarios, opening new perspectives for predictive analysis. The thesis develops across three levels. The first chapter situates forecasting within both theoretical and applied contexts, analyzing the role of Machine Learning and Deep Learning in enterprises, the characteristics of time series, preprocessing techniques—including the handling of missing values and data smoothing—and the main metrics used to assess predictive accuracy. The second chapter focuses on Foundation Models, outlining their principles, architectures, and pre-training and fine-tuning strategies that enable adaptation across different domains. In particular, two representative models, MOMENT and TimesFM, are analyzed, with detailed discussions of their architecture, training procedures, strengths, and limitations, highlighting how they can overcome some of the challenges typically faced by traditional models. The third chapter presents a practical application aimed at comparing Foundation Models and classical models on both public and corporate datasets characterized by different trends, seasonality, and noise levels. The implementation procedures and evaluation methodologies are illustrated, enabling a critical assessment of the practical opportunities offered by these new predictive approaches in real industrial scenarios. The objective of the thesis is to provide a comprehensive overview of the most advanced methodologies in time series forecasting, exploring the role of Foundation Models and their potential contribution, while fostering reflections on the future applications of advanced Artificial Intelligence in business contexts where the ability to interpret and anticipate complex data is becoming increasingly crucial.

In un contesto economico e industriale caratterizzato da rapidi cambiamenti e crescente complessità, la capacità di anticipare il futuro attraverso i dati rappresenta un vantaggio strategico fondamentale. Il forecasting di serie temporali si configura come uno strumento indispensabile per trasformare informazioni storiche in previsioni utili, supportando le aziende nella pianificazione delle risorse, nell’ottimizzazione dei processi e nella gestione dei rischi. La tesi confronta approcci tradizionali di Machine Learning con i più recenti Foundation Models applicati al forecasting. I modelli tradizionali, come regressione lineare, Ridge, Lasso, Elastic Net e XGBoost, costituiscono strumenti consolidati, noti per la loro affidabilità ed efficienza su dataset strutturati di dimensioni moderate. I Foundation Models, invece, grazie ad architetture di tipo Transformer e alla capacità di apprendere rappresentazioni generali da dati eterogenei, introducono un paradigma innovativo e flessibile. Essi permettono di affrontare con maggiore efficacia serie temporali complesse e scenari inediti, aprendo nuove prospettive per l’analisi predittiva. Il percorso della tesi si articola su tre livelli. Il primo capitolo inquadra il forecasting nel contesto teorico e applicativo, approfondendo il ruolo del Machine Learning e del Deep Learning nelle aziende, le caratteristiche delle serie temporali, le tecniche di pre-processing, tra cui la gestione dei missing values e di data smoothing, e le principali metriche utilizzate per valutare l’accuratezza delle previsioni. Il secondo capitolo si concentra sui Foundation Models, illustrandone principi, architetture e strategie di pre-training e fine-tuning che ne consentono l’adattamento a domini diversi. In particolare, vengono analizzati due modelli rappresentativi, MOMENT e TimesFM, di cui vengono descritte l’architettura, le modalità di addestramento, le potenzialità e le criticità, mettendo in luce come possano superare alcune delle complessità tipiche dei modelli tradizionali. Il terzo capitolo propone un’applicazione pratica, finalizzata a confrontare Foundation Models e modelli classici su dataset pubblici e aziendali caratterizzati da trend, stagionalità e livelli di rumore differenti. Vengono illustrate le procedure di implementazione e le metodologie adottate per valutare le performance, consentendo una valutazione critica delle opportunità applicative dei nuovi approcci predittivi in scenari industriali concreti. L’obiettivo della tesi è fornire una panoramica completa delle metodologie più avanzate nel forecasting di serie temporali, esplorando il ruolo dei Foundation Models e il loro potenziale contributo, stimolando riflessioni sulle future applicazioni dell’Intelligenza Artificiale avanzata nelle aziende, in un contesto in cui la capacità di interpretare e anticipare dati complessi diventa sempre più determinante.