Studio di metodi del gradiente stocastico con strategie di line search e momentum

This thesis addresses the study of stochastic gradient methods for regularized finite sum minimization problems. First, we review the standard stochastic gradient method and its convergence results under different assumptions. Then we analize a line search strategy for adaptive step length selection and a momentum-based acceleration technique. The convergence properties of the resulting schemes are explored in depth. The methods studied are then compared by solving a binary image classification problem. Numerical experimentation allows us to evaluate the dependence of the quality of the results on the choice of algorithmic parameters and the benefits that can be appreciated by applying line search and momentum techniques.

La tesi affronta lo studio di metodi del gradiente stocastico per problemi di minimizzazione di somme finite regolarizzate. In primo luogo viene richiamato il metodo del gradiente stocastico standard e i suoi risultati di convergenza sotto ipotesi differenti. Successivamente vengono analizzate una strategia di line search per la scelta adattiva della lunghezza di passo e una tecnica di accelerazione basata sul momentum. Le proprietà di convergenza degli schemi risultanti sono approfondite. I metodi studiati sono confrontati nella risoluzione di un problema di classificazione binaria di immagini. La sperimentazione numerica permette di valutare la dipendenza della qualità dei risultati dalla scelta dei parametri che caratterizzano gli algoritmi e i benefici che si possono apprezzare applicando le tecniche di line search e momentum.