I sistemi di Intrusion Detection basati su Machine Learning soffrono di un limite strutturale quando operano in produzione: i modelli addestrati su dati storici degradano progressivamente nel tempo a causa del concept drift, ovvero il cambiamento della relazione statistica tra le feature osservate e la variabile target. Nel dominio della sicurezza informatica, questo fenomeno è amplificato dall'evoluzione continua delle campagne di attacco, dall'aggiornamento dei ruleset dei sensori di rilevamento e dai mutamenti dell'infrastruttura monitorata. Questa tesi propone e valuta un framework ML-SOC per il triage automatizzato degli alert generati da un Network Intrusion Detection System (Suricata), progettato per mitigare il concept drift attraverso strategie di apprendimento adattivo. Il sistema rappresenta le sequenze di alert come Alarm Chains, unità contestuali costruite tramite una finestra temporale scorrevole e vettorizzate con TF-IDF, arricchite da feature numeriche strutturate quali conteggio degli eventi, severità massima e durata della sessione. Viene inoltre proposta una componente di Time Decay per la ponderazione esponenziale degli eventi in base alla loro distanza temporale all'interno della finestra di aggregazione. La valutazione sperimentale è condotta su un dataset operativo reale fornito da un Managed Security Service Provider italiano, comprendente dieci clienti con profili di traffico eterogenei e un arco temporale di circa nove mesi (da settembre 2024 a maggio 2025). Vengono confrontati tre classificatori (Random Forest, HistGradientBoosting e Multi-Layer Perceptron) secondo tre scenari progressivi: baseline statica pre-deployment, degrado post-deployment senza mitigazione e apprendimento incrementale con Rolling Window. I risultati documentano empiricamente la gravità del concept drift: sei degli otto clienti analizzabili mostrano una perdita dell'F1-score superiore al 98% tra il periodo di training e il mese di ottobre, a soli sette mesi dall'inizio della raccolta dati. L'approccio incrementale con Rolling Window consente di recuperare parte delle prestazioni sui clienti con volumi di incidenti sufficienti, come dimostrato dalla metrica AUT (Area Under Time), indice sintetico della resilienza temporale del modello. Il Time Decay produce benefici selettivi, migliorando le prestazioni in contesti con distribuzione temporale regolare degli eventi. L'analisi cross-client evidenzia la natura locale del concept drift: le strategie di mitigazione devono essere personalizzate per cliente, rendendo impraticabile un approccio globale unificato. I contributi principali della tesi sono: la documentazione quantitativa del concept drift su dati operativi reali in un contesto SOC multi-cliente, la proposta e il confronto di strategie adattive compatibili con cicli di retraining settimanali eseguibili in produzione, e l'identificazione delle condizioni operative (in particolare la target sparsity) che determinano la fattibilità dell'apprendimento incrementale.
Analisi e Mitigazione del Concept Drift in ML Security Operations Center
COMPAGNONE, MATTIA
2025/2026
Abstract
I sistemi di Intrusion Detection basati su Machine Learning soffrono di un limite strutturale quando operano in produzione: i modelli addestrati su dati storici degradano progressivamente nel tempo a causa del concept drift, ovvero il cambiamento della relazione statistica tra le feature osservate e la variabile target. Nel dominio della sicurezza informatica, questo fenomeno è amplificato dall'evoluzione continua delle campagne di attacco, dall'aggiornamento dei ruleset dei sensori di rilevamento e dai mutamenti dell'infrastruttura monitorata. Questa tesi propone e valuta un framework ML-SOC per il triage automatizzato degli alert generati da un Network Intrusion Detection System (Suricata), progettato per mitigare il concept drift attraverso strategie di apprendimento adattivo. Il sistema rappresenta le sequenze di alert come Alarm Chains, unità contestuali costruite tramite una finestra temporale scorrevole e vettorizzate con TF-IDF, arricchite da feature numeriche strutturate quali conteggio degli eventi, severità massima e durata della sessione. Viene inoltre proposta una componente di Time Decay per la ponderazione esponenziale degli eventi in base alla loro distanza temporale all'interno della finestra di aggregazione. La valutazione sperimentale è condotta su un dataset operativo reale fornito da un Managed Security Service Provider italiano, comprendente dieci clienti con profili di traffico eterogenei e un arco temporale di circa nove mesi (da settembre 2024 a maggio 2025). Vengono confrontati tre classificatori (Random Forest, HistGradientBoosting e Multi-Layer Perceptron) secondo tre scenari progressivi: baseline statica pre-deployment, degrado post-deployment senza mitigazione e apprendimento incrementale con Rolling Window. I risultati documentano empiricamente la gravità del concept drift: sei degli otto clienti analizzabili mostrano una perdita dell'F1-score superiore al 98% tra il periodo di training e il mese di ottobre, a soli sette mesi dall'inizio della raccolta dati. L'approccio incrementale con Rolling Window consente di recuperare parte delle prestazioni sui clienti con volumi di incidenti sufficienti, come dimostrato dalla metrica AUT (Area Under Time), indice sintetico della resilienza temporale del modello. Il Time Decay produce benefici selettivi, migliorando le prestazioni in contesti con distribuzione temporale regolare degli eventi. L'analisi cross-client evidenzia la natura locale del concept drift: le strategie di mitigazione devono essere personalizzate per cliente, rendendo impraticabile un approccio globale unificato. I contributi principali della tesi sono: la documentazione quantitativa del concept drift su dati operativi reali in un contesto SOC multi-cliente, la proposta e il confronto di strategie adattive compatibili con cicli di retraining settimanali eseguibili in produzione, e l'identificazione delle condizioni operative (in particolare la target sparsity) che determinano la fattibilità dell'apprendimento incrementale.| File | Dimensione | Formato | |
|---|---|---|---|
|
Compagnone.Mattia.pdf
accesso aperto
Dimensione
505.56 kB
Formato
Adobe PDF
|
505.56 kB | Adobe PDF | Visualizza/Apri |
I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/20.500.14251/7301