Web of Science: 0 citations, Scopus: 1 citations, Google Scholar: citations,
Human Evaluation of NMT & Annual Progress Report : a Case Study on Spanish to Korean
Kim, Ahrii (Universitat Pompeu Fabra. Departament de Traducció i Ciències del Llenguatge)
Colominas Ventura, Carme (Universitat Pompeu Fabra. Departament de Traducció i Ciències del Llenguatge)

Additional title: Evaluación humana de traducción automática neuronal e informe de progreso anual : estudio de caso del castellano al coreano
Additional title: Avaluació humana de traducció automàtica neuronal i informe de progrés anual : estudi de cas del castellà al coreà
Date: 2020
Abstract: This paper proposes the first evaluation of NMT in the Spanish-Korean language pair. Four types of human evaluation -Direct Assessment, Ranking Comparison and MT Post-Editing(MTPE) time/effort- and one semi-automatic methods are applied. The NMT engine is represented by Google Translate in newswire domain. After assessed by six professional translators, the engine demonstrates 78% of performance and 37% productivity gain in MTPE. Additionally, 40. 249% of the outputs of the engine are modified with an interval of 15 months, showing 11% of progress rate.
Abstract: Aquest article proposa la primera avaluació de traducció automàtica neuronal en la combinació lingüística espanyol-coreà. Per fer-ho s'han aplicat quatre mètodes d'avaluació humana: l'avaluació directa, la comparació a través de la classificació dels segments i l'anàlisi del temps i de l'esforç de postedició del text traduït automàticament (en anglès, MTPE), i un mètode d'avaluació semiautomàtica. El motor detraducció automàtica neuronal utilitzat ha estat Google Translate, en concret en el seu domini de notícies. Després de ser avaluat per sis traductors professionals es constata que el motor augmenta el rendiment en un 78% i la productivitat en un 37%. A més, el 40,249% dels resultats del motor es modifiquen amb un interval de 15 mesos, de manera que mostra un índex de millora del 11%.
Abstract: Este artículo propone la primera evaluación de traducción automática neuronal en la combinación lingüística español-coreano. Se han utilizado cuatro métodos de evaluación humana: la evaluación directa, la comparación mediante ranking y el análisis de tiempo y de esfuerzo de la posedición del texto traducido automáticamente (en inglés, MTPE), y un método de evaluación semiautomática. El motor de traducción automática neuronal utilizado ha sido Google Translate, en concreto el dominio de noticias. Después de ser evaluado por seis traductores profesionales se constata que el motor aumenta el rendimiento en un 78% y la productividad en un 37%. Además, el 40,249% de los resultados del motor se modifican con un intervalo de 15 meses, mostrando así un índice de mejora del 11%.
Rights: Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, fins i tot amb finalitats comercials, sempre i quan es reconegui l'autoria de l'obra original. Creative Commons
Language: Anglès
Document: Article ; recerca ; Versió publicada
Subject: Traducción automática neuronal ; TAN ; Evaluación de TA ; Tape ; Posedición de traducción automática ; Traducción español-coreano ; Traducció automàtica neuronal ; Avaluació de TA ; Postedició de traducció automàtica ; Traducció espanyol-coreà ; NMT ; MT evaluation ; MT post-editing ; Spanish-korean translation
Published in: Tradumàtica, Núm. 18 (2020) , p. 33-48 (Tradumàtica oberta) , ISSN 1578-7559

Adreça original: https://revistes.uab.cat/tradumatica/article/view/n18-ahrii-colominas
Adreça alternativa: https://raco.cat/index.php/Tradumatica/article/view/379663
DOI: 10.5565/rev/tradumatica.241


16 p, 659.2 KB

The record appears in these collections:
Articles > Published articles > Revista Tradumàtica
Articles > Research articles

 Record created 2021-01-19, last modified 2022-02-05



   Favorit i Compartir