| Additional title: |
Ús de ChatGPT com a eina d'avaluació automatitzada de l'escriptura : qualitat, precisió i exactitud de la retroalimentació |
| Additional title: |
Uso de ChatGPT como herramienta de Evaluación Automatizada de la Escritura : calidad, precisión y exactitud de la retroalimentación |
| Additional title: |
Utilisation de ChatGPT comme outil d'évaluation automatisée de l'écriture : qualité, précision et exactitude du feedback |
| Date: |
2025 |
| Abstract: |
The emergence of generative pretrained transformer (GPT) large language models (LLMs) like ChatGPT has prompted speculation about their potential to serve as reliable Automated writing evaluation (AWE) tools and provide corrective feedback to second language (L2) writers. Given the novelty of this tool, research on this topic is scarce. Therefore, it is imperative to assess its appropriateness as an AWE tool before its implementation in real learning settings. To help fill this research gap, the current study employs both quantitative and qualitative methods to evaluate the quality, precision, and accuracy of the feedback generated by a customized GPT functioning as an AWE tool for 30 compositions in English. The results indicate that while the general accuracy rate is high and the tool can provide feedback on both form and content, there are occasional instances of erroneous feedback or fabricated mistakes. The educational implications of these findings are discussed. |
| Abstract: |
L'emergència de models de llenguatge de gran escala basats en transformadors generatius preentrenats (GPT), com ara ChatGPT, ha generat especulacions sobre el seu potencial per servir com a eines fiables d'avaluació automatitzada de l'escriptura (AWE) i proporcionar retroacció correctiva a escriptors en una segona llengua. Donada la novetat d'aquesta eina, la investigació en aquest àmbit és escassa. Per tant, és imprescindible avaluar-ne l'adequació com a eina AWE abans de la seva implementació en entorns reals d'aprenentatge. Per ajudar a omplir aquest buit en la recerca, l'estudi actual empra mètodes quantitatius i qualitatius per avaluar la qualitat, precisió i exactitud de la retroacció generada per un GPT personalitzat que funciona com a eina AWE per a 30 composicions en anglès. Els resultats indiquen que, tot i que la taxa general de precisió és alta i l'eina pot proporcionar retroacció tant sobre la forma com sobre el contingut, hi ha ocasionalment casos de retroacció errònia o errors fabricats. Es discuteixen les implicacions educatives d'aquests resultats. |
| Abstract: |
El surgimiento de los modelos de lenguaje de gran tamaño basados en transformadores preentrenados generativos (GPT), como ChatGPT, ha generado especulaciones sobre su potencial para servir como herramientas de Evaluación Automatizada de la Escritura (AWE) y ofrecer retroalimentación correctiva a escritores en una segunda lengua. Dada la novedad de esta herramienta, la investigación es todavía escasa. Por lo tanto, es imperativo evaluar su idoneidad como herramienta AWE antes de implementarlo en entornos de aprendizaje reales. Para abordar este vacío en la investigación, el presente estudio utiliza métodos cuantitativos y cualitativos para evaluar la calidad, precisión y exactitud de la retroalimentación proporcionada por un GPT personalizado como herramienta AWE en 30 textos en inglés. Los resultados muestran que, aunque la precisión general es alta y la herramienta ofrece retroalimentación sobre forma y contenido, ocasionalmente presenta casos de retroalimentación errónea o errores fabricados. Se discuten las implicaciones educativas de estos hallazgos. |
| Abstract: |
L'émergence de grands modèles linguistiques basés sur des transformateurs génératifs pré-entraînés (GPT), tels que ChatGPT, a suscité des spéculations quant à leur potentiel à servir d'outils d'évaluation automatisée de la rédaction (AWE) et à fournir un retour d'information correctif aux rédacteurs dans une seconde langue. Étant donné la nouveauté de cet outil, les recherches dans ce domaine sont encore rares. Il est donc impératif d'évaluer sa pertinence en tant qu'outil d'évaluation automatique de l'écriture avant de le mettre en œuvre dans des environnements d'apprentissage réels. Pour combler cette lacune, cette étude utilise des méthodes quantitatives et qualitatives pour évaluer la qualité, l'exactitude et la précision du retour d'information fourni par un TPG personnalisé en tant qu'outil d'EAO sur 30 textes anglais. Les résultats montrent que, bien que la précision globale soit élevée et que l'outil fournisse un retour d'information sur la forme et le contenu, il présente occasionnellement des cas de retour d'information erroné ou d'erreurs fabriquées. Les implications pédagogiques de ces résultats sont discutées. |
| Rights: |
Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, fins i tot amb finalitats comercials, sempre i quan es reconegui l'autoria de l'obra original.  |
| Language: |
Anglès |
| Document: |
Article ; recerca ; Versió publicada |
| Subject: |
Habilitats d'escriptura a l2 ;
Chatgpt ;
Avaluació automatitzada de l'escriptura ;
Detecció d'errors ;
Feedback correctiu ;
L2 writing skills ;
AWE ;
Error detection ;
Corrective feedback ;
Habilidades de escritura en l2 ;
Evaluación automatizada de la escritura ;
Detección de errores ;
Feedback correctivo ;
Compétences d'écriture en l2 ;
Évaluation automatisée de l'écriture ;
Détection des erreurs ;
Feedback correctif |
| Published in: |
Bellaterra journal of teaching and learning language and literature, Vol. 18 Núm. 3 (2025) , art. e1338 (Articles) , ISSN 2013-6196 |
guest ::
(Universidad de La Rioja)
