What do post-editors correct? : A fine-grained analysis of SMT and NMT errors
Alvarez-Vidal, Sergi (Universitat Pompeu Fabra)
Oliver, Antoni (Universitat Oberta de Catalunya)
Badia, Toni (Universitat Pompeu Fabra)

Additional title:	Què corregeixen els posteditors? : Una anàlisi detallada dels errors de la traducció automàtica estadística (TAE) i la traducció automàtica neuronal (TAN)
Additional title:	¿Qué corrigen los poseditores? : Un análisis pormenorizado de errores de TAE y TAN
Date:	2021
Abstract:	The recent improvements in neural MT (NMT) have driven a shift from statistical MT (SMT) to NMT. However, to assess the usefulness of MT models for post-editing (PE) and have a detailed insight of the output they produce, we need to analyse the most frequent errors and how they affect the task. We present a pilot study of a fine-grained analysis of MT errors based on post-editors corrections for an English to Spanish medical text translated with SMT and NMT. We use the MQM taxonomy to compare the two MT models and have a categorized classification of the errors produced. Even though results show a great variation among post-editors' corrections, for this language combination fewer errors are corrected by post-editors in the NMT output. NMT also produces fewer accuracy errors and errors that are less critical.
Abstract:	Les millores recents en la TA neuronal (TAN) han impulsat un canvi de la TA estadística (TAE) a la TAN. Tanmateix, per avaluar la utilitat dels models de TA per a la postedició (PE), és fonamental analitzar els errors més freqüents i com afecten la tasca. Presentem un estudi pilot d'una anàlisi detallada dels errors de la TA basat en correccions de postedició d'un text mèdic traduït de l'anglès al castellà amb TAE i TAN. Hem utilitzat la taxonomia MQM per comparar els dos models de TA i hem classificat els errors produïts. La nostra anàlisi també inclou una avaluació de la variació entre els posteditors, que se centra en els passatges amb una major variació en la postedició.
Abstract:	Los avances recientes en TA neuronal (TAN) han producido un giro desde la TA estadística (TAE) hacia la TAN. Sin embargo, para evaluar la utilidad de los modelos de TA para la posedición, es imprescindible analizar los errores más frecuentes y cómo afectan a esta tarea. Presentamos el estudio piloto de un análisis pormenorizado de errores en TA basado en las correcciones realizadas por los poseditores en la traducción de un texto médico realizada del inglés al castellano mediante TAE y TAN. Utilizamos la taxonomía MQM para comparar los dos modelos de TA y obtener una clasificación categorizada de los errores resultantes. Nuestro análisis incluye también una evaluación de las diferencias entre poseditores, centrada en los pasajes en los que la posedición presentaba mayor disparidad.
Rights:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, fins i tot amb finalitats comercials, sempre i quan es reconegui l'autoria de l'obra original.
Language:	Anglès
Document:	Article ; recerca ; Versió publicada
Subject:	Machine translation ; MT ; NMT ; Post-editing ; Neural machine translation ; Error taxonomy ; Traducció automàtica ; TA ; TAN ; Postedició ; Traducció automàtica neuronal ; Taxonomia d'errors ; Traducción automática ; Posedición ; Traducción automática neuronal ; Taxonomía de errores
Published in:	Tradumàtica, Núm. 19 (2021) , p. 131-147 (Tradumàtica dossier) , ISSN 1578-7559

Adreça original: https://revistes.uab.cat/tradumatica/article/view/286
DOI: 10.5565/rev/tradumatica.286

17 p, 505.4 KB

The record appears in these collections:
Articles > Published articles > Revista Tradumàtica
Articles > Research articles