| Data: |
2024 |
| Resum: |
TinyEmo is a family of small multi-modal LLMs for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal LLM for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and reasoning using substantially fewer parameters, with our smallest model (700M parameters) outperforming larger models based on general-purpose MM-LLMs with over 7B parameters. We release code, models, and dataset at https://github. com/ggcr/TinyEmo. |
| Resum: |
TinyEmo és un conjunt de LLMs multi-modals per classificació i raonament emocional. Les nostres aportacions inclouen: (1) un dataset sintètic emocional per les etapes de pre-entrenament i fine-tune, (2) un Metric Projector que delega la classificació del LLM permetent un entrenament més eficient, (3) un LLM multi-modal pel raonament emocional, i (4) un framework semi-automatitzat per a la detecció de biaixos. TinyEmo és capaç de fer classificació i raonament utilitzant substancialment menys paràmetres, amb el nostre model més petit (700M paràmetres) superant LLMs MM d'ús general amb més de 7B paràmetres. Codi, models i dataset disponible a: https://github. com/ggcr/TinyEmo. |
| Drets: |
Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, sempre i quan aquestes es distribueixin sota la mateixa llicència que regula l'obra original i es reconegui l'autoria.  |
| Llengua: |
Anglès |
| Titulació: |
Visió per Computador / Computer Vision [4314099] |
| Pla d'estudis: |
Màster Universitari en Visió per Computador/Computer Vision [1172] |
| Document: |
Treball de fi de postgrau |
| Matèria: |
Computació afectiva ;
Anàlisi de sentiment visual ;
Model de llenguatge multimodal ;
Affective Computing ;
Visual Sentiment Analysis ;
Multi-modal LLM ;
Visual Question Answering ;
Visual Instruction Tuning |
visitant ::
identificació
dir.
