Human evaluation of three machine translation systems : from quality to attitudes by professional translators
Fernández Torné, Ana (Universitat Autònoma de Barcelona. Departament de Traducció i d'Interpretació i d'Estudis de l'Àsia Oriental)
Matamala, Anna (Universitat Autònoma de Barcelona. Departament de Traducció i d'Interpretació i d'Estudis de l'Àsia Oriental)

Data:	2021
Resum:	This article aims to compare three machine translation systems with a focus on human evaluation. The systems under analysis are a domain-adapted statistical machine translation system, a domain-adapted neural machine translation system and a generic machine translation system. The comparison is carried out on translation from Spanish into German with industrial documentation of machine tool components and processes. The focus is on the human evaluation of the machine translation output, specifically on: fluency, adequacy and ranking at the segment level; fluency, adequacy, need for post-editing, ease of post-editing, and mental effort required in post-editing at the document level; productivity (post-editing speed and post-editing effort) and attitudes. Emphasis is placed on human factors in the evaluation process.
Resum:	En este artículo se comparan tres sistemas de traducción automática poniendo especial atención en la evaluación humana. Los sistemas analizados son un sistema estadístico de traducción automática con adaptación al dominio, un sistema neuronal de traducción automática con adaptación al dominio y un sistema de traducción automática genérico. La comparación se lleva a cabo en una traducción del español al alemán de documentación industrial de componentes y procesos de máquina herramienta. El estudio se centra en la evaluación humana de la traducción automática, en concreto en los siguientes aspectos: fluidez, adecuación y ranquin a nivel de segmento; fluidez, adecuación, necesidad de posedición, facilidad de posedición y esfuerzo mental requerido en la posedición a nivel de documento; productividad (velocidad de posedición y esfuerzo de posedición) y actitudes. Se hace énfasis en los factores humanos del proceso de evaluación.
Ajuts:	Agència de Gestió d'Ajuts Universitaris i de Recerca 2017-SGR-113 Ministerio de Economía y Competitividad RTC-2015-3627-7
Drets:	Tots els drets reservats.
Llengua:	Anglès
Document:	Article ; recerca ; Versió publicada
Matèria:	Traducción automática ; Evaluación de la calidad ; Evaluación humana ; Métricas automáticas ; Esfuerzo de posedición ; Machine translation ; Quality evaluation ; Human evaluation ; Automatic metrics ; Post-editing effort
Publicat a:	VIAL. Vigo International Journal of Applied Linguistics, 2021, p. 97-122

DOI: 10.35869/vial.v0i18.3366
DOI: 10.35869/VIAL.V0I18.3366

26 p, 433.9 KB

El registre apareix a les col·leccions:
Articles > Articles de recerca
Articles > Articles publicats