This study investigates the limitations of large language models (LLMs) in machine translation, focusing on the Spanish Italian language pair. Although these systems have achieved high levels of fluency and textual coherence, recent research indicates that such fluency does not necessarily reflect deep semantic understanding or accurate meaning transfer, particularly in contexts involving cultural, idiomatic, or creative elements. The main objective of this research is to identify, classify, and analyse the errors produced by different contemporary models (including both general-purpose and specialised systems), and to determine whether these errors stem from architectural constraints, training data limitations, or the probabilistic nature of language modeling. A comparative case-study methodology is employed to detect recurring patterns such as cross-linguistic interference, semantic loss, discourse inconsistency, and overly literal translations. In addition, the study addresses the issue of creativity in machine translation from an interdisciplinary perspective, integrating insights from translation studies, cognitive psychology, and philosophy. In line with recent findings, it is argued that while LLMs can generate novel outputs through statistical recombination, their creative capacity remains limited when compared to human translators, particularly in tasks requiring contextual reinterpretation and cultural sensitivity: the findings suggest that LLMs perform best in low-ambiguity, structurally regular contexts, but struggle significantly with texts that demand interpretative flexibility. Therefore, despite their effectiveness as assistive tools, these systems cannot fully replace human translators, especially in domains where creativity plays a central role in the translation process.

Esta investigación analiza las limitaciones de los modelos de lenguaje de gran escala (LLM) en la traducción automática, centrándose en el par lingüístico español e italiano. Aunque estos sistemas han alcanzado niveles elevados de fluidez y coherencia textual, diversos estudios recientes muestran que dicha fluidez no siempre implica una comprensión profunda del contenido ni una transferencia adecuada del significado, especialmente en contextos donde intervienen elementos culturales, idiomáticos o creativos. El objetivo principal de este trabajo es identificar, clasificar y analizar los errores generados por distintos modelos contemporáneos, (incluyendo sistemas generalistas y especializados), evaluando hasta qué punto estos errores derivan de limitaciones estructurales del modelo, de los datos de entrenamiento o de la propia naturaleza probabilística del lenguaje computacional. Para ello, se adopta un enfoque comparativo basado en estudios de caso, que permiten observar patrones recurrentes en fenómenos como interferencias interlingüísticas, pérdida de matices semánticos, inconsistencias discursivas y traducciones excesivamente literales. Asimismo, la investigación aborda la cuestión de la creatividad en la traducción automática desde una perspectiva interdisciplinaria, integrando aportes de la traductología, psicología cognitiva y filosofía. En línea con investigaciones recientes, se sostiene que, aunque los LLM pueden generar resultados novedosos mediante recombinación estadística, su capacidad creativa es limitada en comparación con la humana, especialmente en tareas que requieren reinterpretación contextual o sensibilidad cultural, y los resultados sugieren que los LLM funcionan de manera óptima en contextos de baja ambigüedad y alta regularidad estructural, pero presentan dificultades significativas en textos que exigen flexibilidad interpretativa. En consecuencia, se concluye que, pese a su eficacia como herramientas de apoyo, estos sistemas no pueden sustituir plenamente al traductor humano, particularmente en dominios donde la creatividad constituye un componente esencial del proceso traductológico.

Los límites de la inteligencia: la creatividad en la traducción automática

MILELLA, MICHELE
2024/2025

Abstract

This study investigates the limitations of large language models (LLMs) in machine translation, focusing on the Spanish Italian language pair. Although these systems have achieved high levels of fluency and textual coherence, recent research indicates that such fluency does not necessarily reflect deep semantic understanding or accurate meaning transfer, particularly in contexts involving cultural, idiomatic, or creative elements. The main objective of this research is to identify, classify, and analyse the errors produced by different contemporary models (including both general-purpose and specialised systems), and to determine whether these errors stem from architectural constraints, training data limitations, or the probabilistic nature of language modeling. A comparative case-study methodology is employed to detect recurring patterns such as cross-linguistic interference, semantic loss, discourse inconsistency, and overly literal translations. In addition, the study addresses the issue of creativity in machine translation from an interdisciplinary perspective, integrating insights from translation studies, cognitive psychology, and philosophy. In line with recent findings, it is argued that while LLMs can generate novel outputs through statistical recombination, their creative capacity remains limited when compared to human translators, particularly in tasks requiring contextual reinterpretation and cultural sensitivity: the findings suggest that LLMs perform best in low-ambiguity, structurally regular contexts, but struggle significantly with texts that demand interpretative flexibility. Therefore, despite their effectiveness as assistive tools, these systems cannot fully replace human translators, especially in domains where creativity plays a central role in the translation process.
2024
The Limits of Intelligence: Creativity in Machine Translation
Esta investigación analiza las limitaciones de los modelos de lenguaje de gran escala (LLM) en la traducción automática, centrándose en el par lingüístico español e italiano. Aunque estos sistemas han alcanzado niveles elevados de fluidez y coherencia textual, diversos estudios recientes muestran que dicha fluidez no siempre implica una comprensión profunda del contenido ni una transferencia adecuada del significado, especialmente en contextos donde intervienen elementos culturales, idiomáticos o creativos. El objetivo principal de este trabajo es identificar, clasificar y analizar los errores generados por distintos modelos contemporáneos, (incluyendo sistemas generalistas y especializados), evaluando hasta qué punto estos errores derivan de limitaciones estructurales del modelo, de los datos de entrenamiento o de la propia naturaleza probabilística del lenguaje computacional. Para ello, se adopta un enfoque comparativo basado en estudios de caso, que permiten observar patrones recurrentes en fenómenos como interferencias interlingüísticas, pérdida de matices semánticos, inconsistencias discursivas y traducciones excesivamente literales. Asimismo, la investigación aborda la cuestión de la creatividad en la traducción automática desde una perspectiva interdisciplinaria, integrando aportes de la traductología, psicología cognitiva y filosofía. En línea con investigaciones recientes, se sostiene que, aunque los LLM pueden generar resultados novedosos mediante recombinación estadística, su capacidad creativa es limitada en comparación con la humana, especialmente en tareas que requieren reinterpretación contextual o sensibilidad cultural, y los resultados sugieren que los LLM funcionan de manera óptima en contextos de baja ambigüedad y alta regularidad estructural, pero presentan dificultades significativas en textos que exigen flexibilidad interpretativa. En consecuencia, se concluye que, pese a su eficacia como herramientas de apoyo, estos sistemas no pueden sustituir plenamente al traductor humano, particularmente en dominios donde la creatividad constituye un componente esencial del proceso traductológico.
Machine Translation
Large Language Model
Creativity
Translation
A.I.
File in questo prodotto:
File Dimensione Formato  
Milella.Michele.pdf

Accesso riservato

Dimensione 2.77 MB
Formato Adobe PDF
2.77 MB Adobe PDF

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14251/5900