La gestione dei contratti è uno degli oneri più gravosi che i professionisti legali devono sopportare: leggere, convalidare e redigere richiede una quantità di tempo esorbitante. Ho scritto una tesi su un analizzatore di contratti basato sull'intelligenza artificiale che utilizza l'elaborazione del linguaggio naturale (NLP) e l'incorporamento vettoriale per semplificare l'elaborazione dei documenti e assistere il flusso di lavoro dei contratti. Il sistema incorpora un'estensione pgvector di Postgres SQL per la ricerca semantica che utilizza Ollama per implementare gli LLM a livello locale e LangChain per coordinare gli agenti. I contratti vengono elaborati attraverso l'incorporamento automatico della rilevanza e i contratti testuali attraverso il modello nomic-embed-text. Gli endpoint sono configurati per acquisire la ricerca di similarità semantica con rilevanza associativa per una maggiore soglia di rilevanza. Gli utenti possono utilizzare una richiesta conversazionale costruita in Streamlit per accedere a un database di contratti interrogabile e utilizzare l'elaborazione del linguaggio naturale. La possibilità di rivedere la panoramica della cronologia dei contratti di un utente è una caratteristica chiave del sistema, che è potenziata dai sistemi di risposta automatizzata. La valutazione dell'efficacia del sistema con scenari di test approfonditi consiste in 50 documenti legali e 50 scenari di test. Le ricerche semantiche sembrano superare le ricerche per parole chiave con test reali come l'identificazione di lacune GDPR in 32 contratti, che ha richiesto 6,8 secondi e si è rivelata accurata al 94%. L'analisi delle prestazioni del sistema mostra che i tempi di risposta sono uniformi per tutte le query, indipendentemente dalla loro complessità. I tassi di recupero delle risposte per le query legali di classe erano molto elevati. La valutazione dell'esperienza utente del sistema è stata condotta con otto valutatori non professionisti e ha dimostrato che le risposte generate dal sistema erano di alta qualità su tutta la linea. Tuttavia, il sistema presenta alcune limitazioni, tra cui il 21% di errori di comprensione del contesto e il 15% di errori dovuti a confusione dell'OCR. Il sistema utilizza una distribuzione offline che garantisce la completa privacy dei dati, assicurando al contempo prestazioni di livello aziendale. L'analisi suggerisce che abbiamo davvero bisogno dell'IA per assisterci nella gestione dei contratti, poiché abbiamo notato che il tempo necessario per l'elaborazione manuale è elevato e il sistema garantisce accuratezza e coerenza nell'elaborazione dei documenti legali.
The management of contracts is one of the biggest burdens legal professionals have to endure- reading, validating, and writing takes an obscene amount of time. I’ve authored an thesis on an AI-driven contract analyzer which uses Natural Language Processing (NLP) and vector embeddings to streamline the processing of documents and assist contract workflow. The system incorporates a Postgres SQL pgvector extension for semantic search which uses Ollama to deploy LLMs locally and LangChain to coordinate the agents. The contracts are processed through automated relevancy embedding and contract textual contracts through the nomic-embed-text model. The endpoints are config ured to capture semantic similarity search with assotiational relevance for a greater relevance threshold. Users are able to use a conversational inquiry contructed in Streamlit to access a queryable contract database and utilize Natural Language Processing. The ability to look back on the overview of a user’s contract history is a key feature of the system, which is augmented by automated response systems. Evaluating effectiveness of the system with thorough testing scenarios consists of 50 legal documents and 50 testing scenarios. The semantic searches seem to out perform the keyword searches with the real life tests such as the identification of GDPR gaps across 32 contracts which took 6.8 seconds and was verified to be 94% accurate. The analysis of the system performance shows the response times are level across the board for all queries no matter the complexity. The response retrieval rates for class legal queries were very high. Evaluation of the system user experience was conducted with eight non professional evaluators and it was proven that system generated responses were of high quality across the board. However the system has some limitations which include 21% failure to understand context and 15% errors due to OCR confusion. The system uses offline deployment which guarantees com plete data privacy while making sure it is performance ranges to enterprise grade. The analytics suggest we very much need AI to assist with contract management as we noticed the time for processing manually is high and the system uses ensures accuracy and consistency in the processing of legal documents.
Legal Document Composition and Analytical Evaluation: An Intelligent Automated System for Contract Management Virtual Assistant
MANCINELLI, FRANCESCO
2024/2025
Abstract
La gestione dei contratti è uno degli oneri più gravosi che i professionisti legali devono sopportare: leggere, convalidare e redigere richiede una quantità di tempo esorbitante. Ho scritto una tesi su un analizzatore di contratti basato sull'intelligenza artificiale che utilizza l'elaborazione del linguaggio naturale (NLP) e l'incorporamento vettoriale per semplificare l'elaborazione dei documenti e assistere il flusso di lavoro dei contratti. Il sistema incorpora un'estensione pgvector di Postgres SQL per la ricerca semantica che utilizza Ollama per implementare gli LLM a livello locale e LangChain per coordinare gli agenti. I contratti vengono elaborati attraverso l'incorporamento automatico della rilevanza e i contratti testuali attraverso il modello nomic-embed-text. Gli endpoint sono configurati per acquisire la ricerca di similarità semantica con rilevanza associativa per una maggiore soglia di rilevanza. Gli utenti possono utilizzare una richiesta conversazionale costruita in Streamlit per accedere a un database di contratti interrogabile e utilizzare l'elaborazione del linguaggio naturale. La possibilità di rivedere la panoramica della cronologia dei contratti di un utente è una caratteristica chiave del sistema, che è potenziata dai sistemi di risposta automatizzata. La valutazione dell'efficacia del sistema con scenari di test approfonditi consiste in 50 documenti legali e 50 scenari di test. Le ricerche semantiche sembrano superare le ricerche per parole chiave con test reali come l'identificazione di lacune GDPR in 32 contratti, che ha richiesto 6,8 secondi e si è rivelata accurata al 94%. L'analisi delle prestazioni del sistema mostra che i tempi di risposta sono uniformi per tutte le query, indipendentemente dalla loro complessità. I tassi di recupero delle risposte per le query legali di classe erano molto elevati. La valutazione dell'esperienza utente del sistema è stata condotta con otto valutatori non professionisti e ha dimostrato che le risposte generate dal sistema erano di alta qualità su tutta la linea. Tuttavia, il sistema presenta alcune limitazioni, tra cui il 21% di errori di comprensione del contesto e il 15% di errori dovuti a confusione dell'OCR. Il sistema utilizza una distribuzione offline che garantisce la completa privacy dei dati, assicurando al contempo prestazioni di livello aziendale. L'analisi suggerisce che abbiamo davvero bisogno dell'IA per assisterci nella gestione dei contratti, poiché abbiamo notato che il tempo necessario per l'elaborazione manuale è elevato e il sistema garantisce accuratezza e coerenza nell'elaborazione dei documenti legali.| File | Dimensione | Formato | |
|---|---|---|---|
|
Tesi_Magistrale.pdf
Accesso riservato
Dimensione
2.01 MB
Formato
Adobe PDF
|
2.01 MB | Adobe PDF |
I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
https://hdl.handle.net/20.500.14251/3700