dir. (Universitat Autònoma de Barcelona. Departament de Traducció i d'Interpretació i d'Estudis de l'Àsia Oriental)
| Títol variant: |
Comparative analysis of neural machine translation engines and large language models in the legal-administrative field |
| Publicació: |
Bellaterra: Universitat Autònoma de Barcelona, 2024 |
| Resum: |
En els últims anys, els canvis en el món de la traducció han augmentat exponencialment amb la irrupció dels models de llenguatge extens. En aquest treball es duu a terme una anàlisi comparativa entre els resultats derivats de la traducció mitjançant motors de traducció automàtica neuronal i models de llenguatge extens i s'avalua la solvència de les eines utilitzades per a la traducció en l'àmbit juridicoadministratiu en el context institucional europeu. En primer lloc, s'introdueix el funcionament de la traducció automàtica neuronal i dels models de llenguatge extens, així com de les modalitats d'avaluació manual i automàtica existents. En segon lloc, una vegada definit el marc teòric, s'analitza l'ús dels motors de traducció automàtica neuronal de Google, DeepL i eTranslation i els models de llenguatge extens ChatGPT 3. 5 i Le Chat Mistral. Posteriorment, s'analitzen les traduccions obtingudes per part de cada eina mitjançant l'anàlisi manual amb la mètrica MQM i l'anàlisi automàtica amb les mètriques BLEU, ChrF, TER, BERTScore, BLEURT i COMET. Finalment, es posen en comú els resultats obtinguts en les anàlisis fetes i se n'extreuen les conclusions oportunes. Els models de llenguatge extens encara no són al nivell dels motors de traducció automàtica neuronal, però cada vegada s'hi acosten més. |
| Resum: |
A lo largo de los últimos años, los cambios en el mundo de la traducción han aumentado exponencialmente con la irrupción de los modelos de lenguaje de gran tamaño. En este trabajo se realiza un análisis comparativo entre los resultados derivados de la traducción mediante motores de traducción automática neuronal y modelos de lenguaje de gran tamaño y se evalúa la solvencia de las herramientas utilizadas para la traducción en el ámbito jurídico-administrativo en el contexto institucional europeo. En primer lugar, se introduce el funcionamiento de la traducción automática neuronal y de los modelos de lenguaje de gran tamaño, así como de las modalidades de evaluación manual y automática existentes. En segundo lugar, definido el marco teórico, se analiza el uso de los motores de traducción automática neuronal de Google, DeepL e eTranslation y los modelos de lenguaje de gran tamaño ChatGPT 3. 5 y Le Chat Mistral. Posteriormente, se analizan las traducciones obtenidas por parte de cada herramienta mediante el análisis manual con la métrica MQM y el análisis automático con las métricas BLEU, Chrf, TER, BERTScore, BLEURT y COMET. Finalmente, se ponen en común los resultados obtenidos en los análisis hechos y se extraen las conclusiones oportunas. Los modelos de lenguaje de gran tamaño aún no están al nivel de los motores de traducción automática neuronal, pero cada vez están más cerca de ello. |
| Resum: |
Over the last few years, changes in the world of translation have increased exponentially with the appearance of large language models. In this dissertation, we perform a comparative analysis of the results derived from translation using neural machine translation engines and large language models and evaluate the reliability of the tools used for translation in the legal-administrative field in a European institutional context. In the first place, the functioning of neural machine translation and large language models is introduced, as well as the existing manual and automatic evaluation modalities. Secondly, once the theoretical framework is well-defined, the use of the neural machine translation engines Google, DeepL and eTranslation and the large language models ChatGPT 3. 5 and Le Chat Mistral is analysed. Subsequently, the translations obtained by each tool are analysed using human analysis with the MQM metric and automatic analysis with the BLEU, ChrF, TER, BERTScore, BLEURT and COMET metrics. Finally, the results obtained in the analyses are pooled and appropriate conclusions are drawn. Large language models are not yet at the level of neural machine translation engines, but they are getting increasingly closer to it. |
| Drets: |
Aquest material està protegit per drets d'autor i/o drets afins. Podeu utilitzar aquest material en funció del que permet la legislació de drets d'autor i drets afins d'aplicació al vostre cas. Per a d'altres usos heu d'obtenir permís del(s) titular(s) de drets.  |
| Llengua: |
Català |
| Titulació: |
Màster Universitari en Tradumàtica: Tecnologies de la Traducció [1350] |
| Pla d'estudis: |
Màster Universitari en Tradumàtica: Tecnologies de la Traducció [4315970] |
| Document: |
Treball de fi de postgrau |
| Matèria: |
Traducció automàtica neuronal ;
Models de llenguatge extens ;
Avaluació de la traducció automàtica ;
Errors de traducció automàtica ;
Traducció jurídica ;
Traducción automática neuronal ;
Modelos de lenguaje de gran tamaño ;
Evaluación de la traducción automática ;
Errores de traducción automática ;
Traducción jurídica ;
Neural machine translation ;
Large language models ;
Machine translation evaluation ;
Machine translation errors ;
Legal translation |
visitant ::
identificació
dir. (Universitat Autònoma de Barcelona. Departament de Traducció i d'Interpretació i d'Estudis de l'Àsia Oriental)
