Google Scholar: cites
Readability, Fluency and Error identification when using Machine Translation and AI to translate medical research texts
Moreira, Raquel (Universidade do Porto)

Títol variant: Llegibilitat, fluïdesa i identificació d'errors en la utilització de la traducció automàtica i la IA en traduir textos d'investigació mèdica
Títol variant: Legibilidad, fluidez e identificación de errores al utilizar la traducción automática y la IA para traducir textos de investigación médica
Títol variant: Lisibilité, fluidité et identification des erreurs lors de l'utilisation de la traduction automatique et de l'IA pour traduire des textes de recherche médicale
Data: 2025
Resum: With the improvements in the algorithms used to develop online machine translation tools and the growing relevance of AI there is a raising concern related to the quality of these tools' outputs. Therefore, we sought to evaluate the readability of the results of machine translation and AI for the translation of medical research texts from English into European Portuguese. A total of 16 scientific papers were collected and two translations of each source text were obtained, using Google Translate and ChatGPT, (n=32). Several readability formulas and indexes were assessed, as well as text fluency, fidelity and linguistic errors' occurrence. An analysis according to the selected translation tool revealed no significant differences between the results originated in Google Translate and ChatGPT, with regards to the quantitative readability analysis, meaning that their performance was similar despite the perceived fluency and fidelity issues. However, discourse errors were more common in the texts originated from ChatGPT, (p<0. 001). These results are encouraging and support the use of machine translation tools and AI to translate medical research texts; however, human review and post-editing cannot be ruled out since the algorithms' results largely depend on text complexity.
Resum: Amb les millores en els algorismes utilitzats per a desenvolupar eines de traducció automàtica en línia i la rellevància creixent de la IA, hi ha una preocupació creixent relacionada amb la qualitat dels resultats d'aquestes eines. Per tant, es va intentar avaluar la llegibilitat dels resultats de la traducció automàtica i la IA per a la traducció de textos d'investigació mèdica de l'anglès al portuguès europeu. Es van recollir un total de 16 articles científics i es van obtenir dues traduccions de cada text font, mitjançant Google Translate i ChatGPT, (n=32). Es van avaluar diverses fórmules i índexs de llegibilitat, així com la fluïdesa del text, la fidelitat i l'aparició d'errors lingüístics. Una anàlisi segons l'eina de traducció seleccionada no va revelar diferències significatives entre els resultats obtinguts de Google Translate i ChatGPT, pel que fa a l'anàlisi quantitativa de llegibilitat, la qual cosa significa que el seu rendiment va ser similar malgrat els problemes de fluïdesa i fidelitat percebuts. Tanmateix, els errors de discurs eren més freqüents en els textos originats a partir de ChatGPT, (p<0,001). Aquests resultats són encoratjadors i donen suport a l'ús d'eines de traducció automàtica i d'IA per traduir textos de investigació mèdica; tanmateix, no es pot descartar la revisió humana i la postedició, ja que els resultats dels algorismes depenen en gran mesura de la complexitat del text.
Resum: Con las mejoras en los algoritmos utilizados para desarrollar herramientas de traducción automática en línea y la creciente relevancia de la IA, existe una creciente preocupación relacionada con la calidad de los resultados de estas herramientas. Así pues, pretendemos evaluar la legibilidad de los resultados de la traducción automática y la IA para la traducción de textos de investigación médica del inglés al portugués europeo. Se recopiló un total de 16 artículos científicos y se obtuvieron dos traducciones de cada texto fuente, utilizando Google Translate y ChatGPT, (n = 32). Se evaluaron varias fórmulas e índices de legibilidad, así como la fluidez del texto, la fidelidad y la frecuencia de errores lingüísticos. El análisis según la herramienta de traducción seleccionada no reveló diferencias significativas entre los resultados originados en Google Translate y ChatGPT, con respecto al análisis de legibilidad cuantitativo, lo que significa que su rendimiento fue similar a pesar de los problemas percibidos de fluidez y fidelidad. Sin embargo, los errores de discurso fueron más comunes en los textos originados en ChatGPT, (p < 0,001). Estos resultados son alentadores y respaldan el uso de herramientas de traducción automática y de IA para traducir textos de investigación médica; sin embargo, no se puede descartar la revisión y post-edición humanas, ya que los resultados de los algoritmos dependen en gran medida de la complejidad del texto.
Resum: Avec l'amélioration des algorithmes utilisés pour développer des outils de traduction automatique en ligne et l'importance croissante de l'IA, la qualité des résultats de ces outils suscite des inquiétudes croissantes. Par conséquent, nous avons cherché à évaluer la lisibilité des résultats de la traduction automatique et de l'IA pour la traduction de textes de recherche médicale de l'anglais vers le portugais européen. Au total, 16 articles scientifiques ont été collectés et deux traductions de chaque texte à traduire ont été obtenues à l'aide de Google Translate et de ChatGPT (n = 32). Plusieurs formules et indices de lisibilité ont été évalués, ainsi que la fluidité, la fidélité et la fréquence des erreurs linguistiques. Une analyse selon l'outil de traduction sélectionné n'a révélé aucune différence significative entre les résultats issus de Google Translate et de ChatGPT, en ce qui concerne l'analyse quantitative de la lisibilité, ce qui signifie que leurs performances étaient similaires malgré les problèmes perçus de fluidité et de fidélité. Cependant, les erreurs de discours étaient plus fréquentes dans les textes issus de ChatGPT (p < 0,001). Ces résultats sont encourageants et plaident en faveur de l'emploi d'outils de traduction automatique et d'IA pour traduire les textes de recherche médicale. Cependant, la relecture et la post-édition humaines ne peuvent être exclues, car les résultats des algorithmes dépendent largement de la complexité du texte.
Drets: Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, sempre i quan aquestes es distribueixin sota la mateixa llicència que regula l'obra original i es reconegui l'autoria. Creative Commons
Llengua: Anglès
Document: Article ; recerca ; Versió publicada
Matèria: Traducción automática ; Inteligência artificial ; Investigación médica ; Legibilidad ; Calidad de la traducción ; Traduction automatique ; Intelligence artificielle ; Recherche médicale ; Lisibilité ; Qualité de la traduction ; Traducció automática ; Intel·ligència artificial ; Investigació mèdica ; Llegibilitat ; Qualitat de la traducció ; Machine translation ; Artificial intelligence ; Medical research ; Readability ; Translation quality
Publicat a: Langue(s) & Parole, Vol. 10 (2025) , p. 179-200 (Articles) , ISSN 2684-6691

Adreça original: https://revistes.uab.cat/languesparole/article/view/v10-moreira
DOI: 10.5565/pub/languesparole.148
DOI: 10.5565/rev/languesparole.148


22 p, 935.4 KB

El registre apareix a les col·leccions:
Articles > Articles publicats > Langue(s) & Parole
Articles > Articles de recerca

 Registre creat el 2025-12-19, darrera modificació el 2026-01-20



   Favorit i Compartir