Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias : XXX CACIC 2024
Orellana, Marcos (Universidad del Azuay. Laboratorio de Investigación y Desarrollo en Informática)
García Montero, Patricio Santiago (Universidad del Azuay. Laboratorio de Investigación y Desarrollo en Informática)
Zambrano-Martinez, Jorge Luis (Universidad del Azuay. Laboratorio de Investigación y Desarrollo en Informática)
Suppi Boldrito, Remo (Universitat Autònoma de Barcelona)

Publicación:	La Plata, Argentina : Universidad Nacional de La Plata-Facultad de Informática, 2024
Resumen:	Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje pre-entrenado Mixtral-8x7B-v0. 1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.
Derechos:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra, i la creació d'obres derivades, sempre que no sigui amb finalitats comercials i que es distribueixin sota la mateixa llicència que regula l'obra original. Cal que es reconegui l'autoria de l'obra original.
Lengua:	Castellà
Documento:	Capítol de llibre ; recerca ; Versió publicada
Materia:	Ajuste-fino ; GPU ; LLM ; PLN ; Sistemas distribuidos
Publicado en:	XXX Congreso Argentino de Ciencias de la Computación, 2024, p. 208-217, ISBN 978-950-34-2428-5

Adreça alternativa: http://sedici.unlp.edu.ar/handle/10915/172755

10 p, 404.4 KB

El registro aparece en las colecciones:
Libros y colecciones > Capítulos de libros