Anàlisi semàntic d'imatges en xarxes socials amb tècniques de deep learning
Martin Belloso, Alberto
González Sabaté, Jordi, dir. (Universitat Autònoma de Barcelona. Departament de Ciències de la Computació)
Universitat Autònoma de Barcelona. Escola d'Enginyeria

Additional title: Semantic analysis of images in social networks with deep learning techniques
Additional title: Análisis semántico de imágenes en redes sociales con técnicas de deep learning
Date: 2018-02-13
Abstract: En aquest projecte es presenten un seguit d'experiments realitzats mitjançant tècniques de Deep Learning, amb la intenció de crear un model capaç d'aprendre a classificar imatges extretes de xarxes socials segons diferents emocions o estats d'ànim a partir de les emoticones que les acompanyen. Els emojis escollits representen emocions diferents molt utilitzades a les xarxes socials, com felicitat, tristesa, enuig o gràcia entre d'altres. La base de dades utilitzada per a entrenar els diferents models realitzats s'ha aconseguit accedint a imatges que contenen només un dels emojis escollits en el seu caption, buscant d'aquesta manera que la imatge estigui totalment relacionada amb l'emoció que representa l'emoticona. S'han utilitzat models pre-entrenats com ResNet50, InceptionV3 o VGG16, i s'ha trobat un model capaç de predir les emocions que reflecteix una imatge amb un accuracy de 36,72%, el qual és significativament superior a la predicció aleatòria (12,5%).
Abstract: In this project a series of experiments carried out using Deep Learning techniques are presented with the goal of creating a model capable of learning to classify images extracted from social networks according to different emotions or moods from the accompanying emojis. The emojis chosen represent different emotions very used in social media such as hapiness, sadness, anger or fun among others. The dataset used to train the different models has been achieved by accessing images that contain only one of the emojis chosen in their caption, looking for the images to be totally related to the emotion represented by the emoji. Pre-trained models such as ResNet50, InceptionV3 or VGG16 have been used, and a model that is able to predict emotions that reflects an image has been developed with an accuracy of 36,72%, which is significantly superior to the random prediction (12,5%).
Abstract: En este proyecto se presentan una serie de experimentos realizados mediante técnicas de Deep Learning, con la intención de crear un modelo capaz de aprender a clasificar imágenes extraídas de redes sociales según diferentes emociones o estados de ánimo a partir de los emoticonos que las acompañan. Los emojis elegidos representan emociones diferentes muy utilizadas en redes sociales, como felicidad, tristeza, enfado o gracia entre otras. La base de datos utilizada para entrenar los diferentes modelos realizados se ha conseguido accediendo a imágenes que contienen solo uno de los emojis escogidos en su caption, buscando de esta manera que la imagen esté totalmente relacionada con la emoción que representa el emoticono. Se han utilizado modelos pre-entrenados como ResNet50, InceptionV3 o VGG16, y se ha encontrado un modelo capaz de predecir las emociones que refleja una imagen con un accuracy de 36,72%, el cual es significativamente superior a la predicción aleatoria (12,5%).
Rights: Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial i la comunicació pública de l'obra, sempre que no sigui amb finalitats comercials, i sempre que es reconegui l'autoria de l'obra original. No es permet la creació d'obres derivades. Creative Commons
Language: Català.
Studies: Enginyeria Informàtica [2502441]
Study plan: Enginyeria Informàtica [958]
Document: bachelorThesis ; Text
Subject area: Menció Computació
Subject: Aprenentatge Profund ; Emocions ; Emoticona ; ImageNet ; Models Pre-Entrenats ; Xarxes Neuronals Convolucionals ; Xarxes Socials ; Aprendizaje Profundo ; Emociones ; Emoticono ; Modelos Pre-Entrenados ; Redes Neuronales Convolucionales ; Redes Sociales ; Convolutional Neural Networks ; Deep Learning ; Emojis ; Emotions ; Pre-Trained Models ; Social Media



12 p, 4.4 MB

The record appears in these collections:
Research literature > Bachelor's degree final project > School of Engineering

 Record created 2018-04-09, last modified 2019-07-21



   Favorit i Compartir