Environment map editing with diffusion models

Le Environment maps sono ampiamente utilizzate nella computer grafica e nella visione per rappresentare illuminazione complessa e gli ambienti, svolgendo un ruolo centrale nel rendering basato sulle immagini e nel generazione delle scene. Negli ultimi anni, i diffusion models hanno dimostrato un notevole successo nei compiti di generazione e modifica di immagini di alta qualità. Questa tesi esplora l'applicazione dei modelli di diffusione al problema dell'editing delle Environment maps, con l'obiettivo di consentire modifiche flessibili e semanticamente corrette, preservando il fotorealismo e la coerenza dell'illuminazione. Si e' studiato un approccio condizionale e basato sull'inpainting, sfruttando architetture e tecniche di addestramento all'avanguardia per guidare le modifiche tramite input dell'utente, come maschere o suggerimenti testuali. La nostra metodologia prevede l'adattamento delle pipeline di diffusione a rappresentazioni di mappe equirettangolari. I risultati sperimentali dimostrano che l'editing basato sulla diffusione consente una manipolazione intuitiva delle mappe ambientali.

Environment maps are widely used in computer graphics and vision for representing complex lighting and surrounding environments, playing a central role in image-based rendering and scene synthesis. In recent years, diffusion models have demonstrated remarkable success in high-quality image generation and editing tasks. This thesis explores the application of diffusion models to the problem of environment map editing, aiming to enable flexible and semantically-aware modifications while preserving photorealism and lighting consistency. We investigate a conditional and inpainting-based approache, leveraging state-of-the-art architectures and training techniques to guide edits via user input, such as masks or textual prompts. Our methodology includes adapting diffusion pipelines to equirectangular map representations. Experimental results show that diffusion-based editing enables intuitive manipulation of environment maps.