Evaluación de la usabilidad en sistemas de información terminológicos online

Autor: Mari-Carmen Marcos et al. (Universitat Pompeu Fabra)

Citación recomendada: Mari-Carmen Marcos et al.. Evaluación de la usabilidad en sistemas de información terminológicos online [en linea]. "Hipertext.net", núm. 4, 2006. <http://www.hipertext.net>

Sumario

  1. Introducción
  2. Resultados de la evaluación heurística
  3. Resultados del trabajo con usuarios
    3.1. Lo que el usuario hace: el test de usabilidad
    3.2. Lo que el usuario dice: la entrevista y el cuestionario
  4. Conclusiones
  5. Nota final
  6. Referencias

1. Introducción

En el trabajo diario con herramientas de recuperación de información, los usuarios se enfrentan a sistemas que les resultan complejos de entender y de utilizar. Es el caso de los lingüistas y traductores, expertos en lenguaje pero no necesariamente en las herramientas de consulta, hechas en muchos casos desde la óptica de sus desarrolladores sin considerar durante su diseño a los usuarios finales. Este gap entre desarrolladores y usuarios provoca situaciones de uso incorrecto -o al menos en las que no se saca todo el partido posible- de diccionarios electrónicos, bases de datos terminológicas y otros recursos digitales usados por estos profesionales. En nuestro trabajo diario con lingüistas y traductores hemos detectado que estas herramientas plantean dificultades de uso, y creemos que es debido a que no incorporan aspectos de usabilidad durante el proceso de diseño y desarrollo. Por el momento no existen unas pautas definidas que guíen la presentación de este tipo de herramientas, tan sólo algunas recomendaciones generales de usabilidad aplicadas a bases de datos terminológicas on line, como las que proponen Marcos y Gómez (2006).

En este artículo presentamos un estudio realizado entre diciembre de 2005 y marzo de 2006 por un grupo de investigadores de la Universidad Pompeu Fabra en el que se ha planteado y aplicado una metodología de análisis de calidad de bases de datos terminológicas tomando como criterio principal la usabilidad. La ISO define la usabilidad como la capacidad que tiene un producto para ser usado por determinados usuarios con el fin de alcanzar unos objetivos concretos con efectividad, eficiencia y satisfacción dentro de un contexto de uso específico (ISO 9241-11). Esta definición resulta muy clarificadora, pues divide la usabilidad en los diversos aspectos que considera: efectividad, eficiencia y satisfacción; y hace una diferenciación en función del objetivo, el usuario y el contexto de uso.

Aplicado al caso de las bases de datos terminológicas, la efectividad se refiere a la capacidad del sistema para ofrecer las funcionalidades para las que se ha diseñado; la eficiencia al esfuerzo necesario para conseguir realizar estas funcionalidades; y la satisfacción -el aspecto más subjetivo- a la sensación que el usuario tiene mientras lo usa y después de usarlo. De esta explicación se desprende que la usabilidad no es un valor absoluto e intrínseco a un sistema, sino que puede variar en función del contexto. La definición de la ISO también deja claro que un diseño se realiza para unos usuarios y objetivos determinados. Por lo tanto, no puede afirmarse que un sistema sea usable o no en sí mismo, sino que habrá que concretar las variables mencionadas.

En el caso que nos atañe, tomamos como usuarios prototípicos de una base de datos terminológicos los dos perfiles siguientes: por un lado, profesionales de la lengua y el lenguaje (traductores, terminólogos, correctores, etc.) y, por el otro, especialistas de un determinado ámbito temático. En el caso de los profesionales de la lengua, este tipo de recursos son una herramienta de trabajo de gran utilidad para localizar equivalencias conceptuales en otros idiomas, variantes en la forma en la que se escribe un término, etc. En el caso de los especialistas o de los aprendices de especialista de un determinado ámbito temático, la consulta de estas bases de datos terminológicas puede resultar útil para adquirir o validar la terminología con la que se vehicula el conocimiento especializado. Una vez definidos los posibles usuarios y las funcionalidades, podemos plantearnos evaluar el sistema en términos de usabilidad.

La evaluación de la usabilidad de un sitio web puede hacerse con diferentes métodos y técnicas. Nosotros hemos comenzado por la evaluación heurística y hemos realizado posteriormente una prueba de selección de tarjetas (card sorting), un test de usuario, una entrevista, un cuestionario y un grupo de discusión (focus group). Aquí presentaremos los resultados de algunas de las pruebas más significativas. El motivo de realizar primero una evaluación sin contar con los usuarios ha sido familiarizarnos con el sitio web y hacer una evaluación detallada y ordenada de todos los aspectos de interés para la usabilidad. Esta primera parte debe ser necesariamente complementada con las pruebas de observación de usuarios, pues de lo contrario nos quedaríamos con unas conclusiones sesgadas de los problemas reales de los sistemas.

Nuestra investigación ha tomado como muestra diez bases de datos terminológicos cuya consulta es libre en la web. Todas ofrecen opciones de consulta multilingüe y pertenecen a diferentes ámbitos temáticos. Las bases de datos sobre las cuales se ha trabajado son las siguientes:

• Base de Terminologie. < http://www.cilf.org/bt.fr.html >

• Cercaterm. Termcat. < http://www.termcat.net >

• Eurodicautom. Comisión europea. < http://europa.eu.int/eurodicautom >

• EuskalTerm. < http://www1.euskadi.net/euskalter >

• OncoTerm. < http://www.ugr.es/~oncoterm/alpha-index.html >

• TerminoBanque. < http://www.cfwb.be/franca/bd/bd.htm >

• TIS: Terminological Information. < http://tis.consilium.eu.int >

• UBTerm. SLC de la UB. < http://www.ub.edu/slc/ubterm >

• UNTerm. < http://unterm.un.org >

• WTOTerm. < http://wtoterm.wto.org >

2. Resultados de la evaluación heurística

Dentro de los sistemas de evaluación de la usabilidad llamados de "inspección", se encuentra la evaluación heurística, que consiste en que determinados evaluadores revisan la interfaz siguiendo unos principios de usabilidad reconocidos (heurísticos). La revisión se realiza de manera individual y asumiendo el papel de usuario. Hasta que no se realiza completamente la evaluación, no se le permite a los evaluadores comunicar los resultados y sintetizarlos.

Para acometer esta parte del análisis se han tomado como referencia algunas de las obras más destacadas sobre el diseño centrado en el usuario (Simpson, 1985; Nielsen y Molich, 1990; Preece et al. 1994; Shneiderman, 1997) y en particular los principios heurísticos de Jakob Nielsen (1994) y Bruce Tognazzini (2003). Teniendo en cuenta el tipo de sistema que estamos evaluando, creamos una plantilla que recoge indicadores de análisis relativos a los aspectos siguientes: la navegación, la funcionalidad, el control por parte del usuario, el uso de la lengua, la ayuda en línea y guía del usuario, la información proporcionada por el sistema, la accesibilidad, la coherencia, la prevención y corrección de errores, y la claridad arquitectónica y visual del sistema.

Con el fin de lograr un análisis completo y con parámetros uniformes para todos los evaluadores, se diseñó un cuestionario a manera de plantilla en el que cada una las variables presentadas debía evaluarse a partir de estas tres opciones: "sí, siempre", "no, nunca" y "a veces", que posteriormente se computaron como 0, 1 y 2, respectivamente (2 como la puntuación más favorable). Una vez los expertos dieron sus respuestas, se contabilizaron las afirmativas, las negativas y las indeterminadas ("a veces"). De este modo las respuestas de los evaluadores se convirtieron en datos numéricos (porcentajes) utilizados para evaluar individualmente los componentes de usabilidad de cada una de las bases de datos terminológicas analizadas en este estudio (tabla 1).

Tabla 1. Valores porcentuales obtenidos en los distintos aspectos evaluados.

En el caso de que alguna de las variables planteadas no fuese aplicable a una determinada base de datos, el cálculo de los porcentajes se ha efectuado relativizando el número de variables. La suma de los valores positivos, de los negativos y de los intermedios en cada base de datos también ha hecho posible comparar las bases de datos entre sí con el fin de determinar cuáles son las más usables y cuáles las menos usables.

Según la metodología de análisis presentada, la clasificación obtenida (de más a menos usable) ha sido la siguiente:

1. Eurodicautom

2. EuskalTerm

3. UBTerm

4. WTOTerm

5. Base de Terminologie

6. Cercaterm

7. TerminoBanque

8. TIS: Terminological Information System

9. UNTerm

10. OncoTerm

La visión global que se ha obtenido del análisis de estos sitios web pone de manifiesto que existen puntos mejorables en todas las bases de datos, como puede ser la aplicación de estándares en el código fuente del sitio. Ninguna interfaz explicita que el código fuente haya sido validado por el W3C. Todos los sitios disponibles en Internet deberían ajustarse a los estándares de la web y -con mucha más razón- todos aquellos sitios web pensados para ofrecer un servicio de calidad y responsable a un conjunto heterogéneo de usuarios. Como apuntábamos anteriormente, las bases de datos terminológicas son susceptibles de ser utilizadas por múltiples perfiles de usuarios y desde estaciones de trabajo muy diversas, por lo que pensamos que la validación del código de estas interfaces debería convertirse en una prioridad.

En relación con este aspecto, también se observa una implantación todavía escasa de los mecanismos que mejoran la accesibilidad a las interfaces de usuario de las bases de datos. Muy pocos de los sistemas evaluados presentan de manera sistemática texto alternativo para las imágenes presentes en la interfaz. Lo mismo puede decirse en relación con los títulos y los textos alternativos de los enlaces.

El uso de iconos o metáforas visuales en este tipo de interfaces debería facilitar siempre la identificación y el acceso rápido a las funciones más comunes de la base de datos, puesto que de ello depende conseguir mejores niveles de satisfacción en los usuarios que utilizan estos sistemas como herramienta auxiliar para realizar su trabajo: traducir, redactar, validar terminología, etc.

A pesar de que el grado de satisfacción en relación con las diferentes bases de datos analizadas suele asociarse al contenido de la base de datos y no a la forma de acceso a estos datos, creemos que el éxito de un sistema de este tipo debe ser la suma de ambas cosas. El acceso al contenido de la base de datos siempre estará mediado por la forma en que se organizan los contenidos.

Tomando como modelo la heurística de Nielsen y a partir de los resultados obtenidos en la evaluación realizada por los expertos, concluimos que los sistemas de recuperación de información terminológica deben poner especial atención en estos aspectos:

1. Navegación. La sobrecarga informativa en la memoria del usuario a la hora de consultar la base de datos debe minimizarse. Siempre es mucho mejor reconocer que recordar. Un sistema de navegación bien diseñado facilita la recuperación de información en estas bases de datos.

2. Funcionalidad. Las funciones de uso deben recogerse de manera explícita en un apartado de descripción de la base de datos: lenguas con las que trabaja, perfiles de usuario a los que se dirige, ámbitos temáticos que abarca, etc.

3. Control del usuario. El usuario debe sentir que controla la herramienta y que tiene libertad para moverse por ella. Resulta muy importante flexibilizar el uso de la interfaz y el modo de recuperar la información según el usuario esté más o menos familiarizado con la base de datos que consulta.

4. Lenguaje y contenido. Las información vehiculada en forma de texto debe resultar comprensible a los usuarios a los que se dirigen estas aplicaciones, que serán prototípicamente lingüistas en sentido amplio (traductores, revisores, redactores técnicos, etc.) o especialistas de un determinado ámbito temático.

5. Ayuda en línea. El sistema debe incorporar mecanismos para reconocer, diagnosticar y solucionar errores.

6. Información del sistema. El usuario debe tener presente en todo momento si la interfaz permite realizar una consulta o si se trata de una interfaz de resultados, así como las posibilidades que tiene en cada momento para ejecutar acciones.

7. Accesibilidad. La base de datos debe contemplar las pautas de la accesibilidad, tanto en lo que se refiere a usuarios con discapacidades físico-sensoriales como a aquellos con limitaciones tecnológicas.

8. Coherencia. Las páginas de un mismo sitio web deben responder a los mismos criterios en cuanto a diseño gráfico (uso del color, fuentes tipográficas, etc.), disposición de los elementos en las páginas, forma de funcionamiento, etc. Las páginas web que se ajustan a los estándares del W3C cumplen ya, en parte, este criterio de usabilidad.

9. Prevención errores. El sistema debe estar preparado para evitar que los usuarios cometan errores y debe poner los medios necesarios para que no caigan en ellos.

10. Claridad arquitectónica. La interfaz de usuario debe seguir principios minimalistas y de claridad que faciliten la localización rápida de la información.

3. Resultados del trabajo con usuarios

La evaluación de un producto no debe darse por terminada antes de hacer pruebas con usuarios finales. Diversos autores han reflexionado sobre cómo hacer estas pruebas cuando se trata de sistemas de recuperación de información. En especial hemos seguido a Su (1992, 1998) y Johnson, Griffiths y Hartley (2003), así como a Morgan (2006), Marcos y Cañada (2003) y Granollers, Lorés y Cañas (2006) en cuanto a las técnicas para el trabajo con usuarios. De esta manera, una vez obtenidos los informes de los evaluadores comenzamos las pruebas con usuarios con el fin de detectar más posibles problemas en el uso de las bases de datos de terminología y al mismo tiempo con la intención de comparar los resultados de la evaluación experta con la observación de los usuarios. Para el estudio de cada sitio web se escogieron 6 personas para realizar las pruebas: 3 expertos en lingüística y 3 usuarios no expertos en este ámbito. Todos ellos deberían tener conocimientos básicos del uso de Internet, y ninguno de ellos debía haber utilizado previamente esta base de datos, o si lo había hecho debía ser de forma muy esporádica.

3.1. Lo que el usuario hace: el test de usabilidad

La técnica que más resultados arrojó fue el test de usabilidad: se plantea un conjunto de tareas concretas que el usuario debe realizar expresando en voz alta lo que hace y lo que piensa, mientras un observador toma nota. En este caso no se utilizaron medios de grabación de las sesiones. Se preparó una serie de 8 tareas y se realizó la prueba con 6 usuarios, de manera individual, durante 40 minutos. Para cada base de datos se adaptaron las tareas, pues no todas estas herramientas presentan las mismas funcionalidades (en cursiva se marcan las partes que deben adaptarse):

1. Visite el sitio web y compruebe qué lenguas están disponibles como lenguas de origen y de llegada.

2. Usted vive en Francia y el médico le ha diagnosticado amygdalite pultacée. Localice el término equivalente en español.

3. Busque las colocaciones que permite el término bolsa en un ámbito técnico y en diferentes idiomas.

4. Busque en qué otros ámbitos se usa el término bolsa y qué vocablos utilizan otras lenguas para nombrar los diferentes tipos de bolsa.

5. Busque el término "repetición" en los ámbitos del deporte y en el de informática. (Esta tarea tiene como objetivo que el usuario intente restringir los ámbitos de la búsqueda.)

6. Encuentre información sobre bacterias. (En este caso no buscamos palabras equivalentes sino información sobre un tema.)

7. Busque las palabras con el radical econom- en los distintos idiomas que ofrece el sistema.

8. Envíe al webmaster su opinión sobre el servicio de búsqueda de este sitio web.

Se marcaron con un 0 las tareas no cumplidas, con un 1 aquellas conseguidas con dificultades y con un 2 las que ha realizaron fácilmente. La tabla 2 muestra cuáles han sido las tareas que se han realizado más satisfactoriamente en el test de usuarios, sin hacer distinción entre usuarios expertos y no expertos.

Tabla 2. Grado de cumplimiento de las tareas expresado en porcentajes.

Si bien no detallaremos los distintos problemas que les fueron planteando las tareas a los usuarios, sí diremos que se detectó una diferencia en la forma de utilizar el sistema entre los expertos en el ámbito de la terminología y los que no lo eran (figura 1). Las tareas fueron cumplidas con una tasa que varía entre el 50,85% y el 80,55%.

3.2. Lo que el usuario dice: la entrevista y el cuestionario

Una vez realizados los tests, los observadores mantuvieron una entrevista con cada uno de los usuarios. La entrevista ayudó a percibir cuestiones subjetivas que no siempre aparecían durante el test de usuario y permitió conocer la sensación que tiene éste tras la prueba. Esta entrevista vino apoyada además por un cuestionario que los usuarios debían rellenar fuera del lugar de la prueba y enviar posteriormente. En estas pruebas las preguntas que los evaluadores planteaban iban encaminadas a afinar los resultados obtenidos en el test de usuario en aspectos relacionados con la utilidad, facilidad, rapidez, efectividad y satisfacción del sistema.

Aquello que los usuarios valoraron más positivamente es la facilidad en el uso de las bases de datos, la claridad del vocabulario y de los textos explicativos y la rapidez en el uso del recurso. Por otro lado, aquello que valoraron más negativamente es la claridad de los iconos, de los textos de los menús y la estructura de las páginas, y por último la utilidad de la página de ayuda (tabla 3).

Tabla 3. Resultados porcentuales obtenidos en la entrevista.

Si se analizan los resultados de una forma global, se observa que la rapidez y la facilidad de uso se valoran más positivamente en relación con los demás valores, mientras que la efectividad y la utilidad de la ayuda son considerados los aspectos que más se podrían mejorar.

La mayoría de los usuarios reconocieron que si hubieran utilizado esta base de datos fuera de su ámbito laboral no habrían dedicado tanto tiempo y esfuerzo en la realización de las tareas, y que hubieran recurrido a otras bases de datos terminológicas u otro tipo de herramientas lingüísticas. Este dato es muy revelador: las dificultades de uso de las herramientas revierte directamente en la consideración del sistema como poco útil. De esta manera, la funcionalidad se pone en duda cuando la usabilidad no es correcta.

Las diferencias más destacables entre los dos tipos de usuarios, expertos y no expertos, son los aspectos referentes a la rapidez y a la satisfacción. Mientras que los usuarios no expertos se sienten satisfechos con las bases de datos analizadas, sobre todo con los resultados obtenidos, para los usuarios expertos el aspecto de la satisfacción obtiene unos de los peores resultados. En cambio, con respecto a la rapidez, los usuarios expertos la valoran muy bien mientras que los no expertos le dan peor puntuación. Creemos que se debe a que los usuarios no expertos, al no tener experiencia en el uso de bases de datos terminológicas, son más lentos realizando tareas; por otro lado, se sienten satisfechos con los resultados obtenidos porque no saben valorar si podrían haber sido mejores.

Tabla 4. Valoración (en porcentajes) de las bases de datos en el test de usuarios y en la entrevista.

Algunos de los resultados anteriores pueden parecer sorprendentes si se comparan con los resultados del apartado de las tareas (tabla 4). Algunas bases de datos, como Cercaterm y Euskalterm, siguen estando entre las mejores posiciones; en cambio, otras bases de datos, especialmente Base de Terminologie, TIS y WTOTerm, no aparecen valoradas de la misma manera. Las diferencias entre la realización de las tareas y el grado de satisfacción mostrados en la entrevista (e igualmente en el cuestionario) nos lleva a pensar que la segunda tiene un alto grado de subjetividad, y que los usuarios no siempre responden en la misma línea en que han realizado las tareas. Por este motivo, el test de usuario continúa siendo una herramienta de la que no se puede prescindir.

Figura 2. Resultados globales obtenidos en las pruebas con usuarios.

4. Conclusiones

Según la metodología de análisis presentada, la clasificación obtenida (de más a menos usable) ha sido la siguiente en las distintas pruebas realizadas:

Tabla 5. Comparación de la clasificación obtenida en las pruebas realizadas por expertos y en las pruebas realizadas con los usuarios.

Como se observa en la tabla 5, el resultado de aplicar una evaluación heurística y de trabajar directamente con usuarios finales presenta algunas variaciones. La diferencia media obtenida en este estudio ha sido de 2,8 en la clasificación. Los casos más notorios son los de Oncoterm, que ocupa el puesto número 4 según las pruebas con usuarios, mientras que quedaba en última posición según la evaluación heurística; y lo contrario ocurre con otros tres casos: el de UBTerm, colocado por la heurística en el puesto 3 mientras que los usuarios lo relegan al 8; el de Cercaterm, que según los usuarios ocuparía el puesto número 1 mientras que la heurística lo deja en el puesto 6; y Eurodicautom, puesto 1 para la heurística y 4 para los usuarios. A excepción de estos cuatro casos, las demás bases de datos dan resultados similares en la clasificación con una diferencia de uno o dos puestos.

Como conclusiones del estudio, destacamos las siguientes:

• La evaluación de la usabilidad es un paso ineludible en el proceso de diseño de sitios web, ya que sólo la aplicación de metodologías especialmente planteadas con este enfoque permite corregir errores graves de usabilidad antes de poner a disposición del público este tipo de productos. De esta manera, la evaluación, como paso intermedio en todo proceso de diseño, es un control de calidad que permite lanzar con confianza productos usables.

• Las bases de datos terminológicas son productos destinados a ser usados por usuarios reales con diferentes necesidades y en las más diversas circunstancias, por lo que deben implicar a los usuarios en el proceso de diseño.

• Algunos problemas detectados en la evaluación heurística no aparecen durante las pruebas con usuarios, en parte por la ausencia de un contexto real y una necesidad concreta natural, y en parte porque el prestigio de la autoría del recurso hace que algunos aspectos sean pasados por alto. En el caso de los usuarios no especialistas todavía dista más su opinión de lo que se observa en el test, pues su poca capacidad para discernir acerca de los resultados obtenidos les lleva a pensar que el sistema se ha comportado correctamente, cuando no siempre es así. Asimismo, se ha detectado que algunas funcionalidades del sistema no pueden ser utilizadas debido a problemas de usabilidad.

• Los sitios web que proveen herramientas de consulta terminológica deben ofrecer su interfaz en tantos idiomas como recoja su base de datos.

• La información debe mostrarse de forma clara, utilizando un vocabulario que no dé lugar a confusión.

• Los responsables de herramientas terminológicas on line deben atender a los aspectos de usabilidad, ya que esta ausencia de atención en la facilidad de uso está revirtiendo en una percepción negativa del contenido de los recursos por parte de los usuarios.

De forma general podemos afirmar que las bases de datos terminológicas, a pesar de estar accesibles en la web, arrastran características que eran propias de los sistemas de recuperación de información anteriores a la existencia de la web, como la complejidad para hacer consultas o la falta de flexibilidad para presentar los resultados. Los usuarios actuales han adaptado su modelo mental a las nuevas herramientas de consulta y son más reacios a admitir la dificultad, pues la web ofrece alternativas a las que no dudarán en acudir si un recurso plantea problemas de comprensión o de flexibilidad, es decir, si no les resulta usable.

5. Nota final

Los autores queremos mostrar nuestro agradecimiento a las instituciones que han participado de alguna manera en nuestra investigación:

Instituto Universitario de Lingüística Aplicada de la Universitat Pompeu Fabra, que ha dado soporte a la realización de este estudio y ha concedido una beca a Albert Morales y Juan Manuel Pérez (profesor a tiempo completo en la Universidad de Antioquia-Colombia).

Ministerio de Educación y Ciencia (2004-2007), proyecto "Web semántica y sistemas de información documental", nº HUM2004-03162/FILO del que Mari-Carmen Marcos es investigadora.

Fundación Caixa Galicia - Claudio San Martín, que ha colaborado con la beca otorgada a Paulo Malvar.

Programa Alban (Becas de Alto Nivel de la Unión Europea para América Latina), que ha colaborado con la concesión de la beca n° E05M059270MX a Fernanda López.

Agencia Española de Cooperación Internacional del Ministerio de Asuntos Exteriores, que ha otorgado una beca a Hajar Benmakhlouf.

Fundación Ford, que ha otorgado una beca a Pedro Hernández.

6. Referencias

Abadal Falgueras, E. (2002). Elementos para la evaluación de interfaces de consulta de bases de datos web. El Profesional de la Información, 11, 349-360.

Borgman, C. (2001). Evaluating digital libraries for teaching and learning in undergraduate education: a case study of the Alexandria Digital Earth ProtoType (ADEPT), Library Trends, 49, 228-50.

Cabré, T., Codina, L., y Estopà, R. (eds.) (2001). Terminologia i documentació. Barcelona: Institut Universitari de Lingüística Aplicada.

Espelt, C. (1998). Improving subject retrieval: user-friendly interfaces and effectiveness. BiD: Biblioteconomia i Documentació, vol. 1, < http://www.ub.es/biblio/bid/01espel1.htm > [Consulta: 04/04/06]

Floria, A. Evaluación Heurística [en línea]. 2000 < http://www.entrelinea.com/usabilidad/inspeccion/Heur.htm > [Consulta: 04/04/06]

Granollers, T., Lorés, J., y Cañas, J. J. (2005). Diseño de sistemas interactivos centrados en el usuario. Barcelona: UOC.

ISO. 1997. ISO 9241: Ergonomic Requirements for Office Work with Visual Display Terminals, International Organization for Standardization, Géneve, 1997

Johnson, F. C., Griffiths, J. R., y Hartley, R. J. (2003). Task dimensions of user evaluations of information retrieval systems. Information Retrieval, 18 (3), < http://informationr.net/ir/8-4/paper157.html > [Consulta: 04/04/06]

Knapp, A. et al. (2002). La experiencia del usuario. Madrid: Anaya Multimedia.

Krug, S. (2001). No me hagas pensar: una aproximación a la usabilidad. Madrid: Pearson Educación.

Manchón, E. ¿Qué es la usabilidad? Definición [en línea]. 2002 < http://www.ainda.info/que_es_usabilidad.htm > [Consulta: 04/04/06]

Manchón, E. Evaluación por criterios o heurística [en línea]. 2002 < http://www.ainda.info/evaluacion_heuristica.html > [Consulta: 04/04/06]

Manchón, E. Principios generales de usabilidad en sitios web [en línea]. 2002 < http://www.ainda.info/principios_generales.html > [Consulta: 04/04/06]

Marchionini, G. (1995). Information Seeking in an Electronic Environment. Cambridge University Press, Cambridge

Marcos, M. C. (2004). Interacción en interfaces de recuperación de información: conceptos, metáforas y visualización. Gijón: Trea, 2004

Marcos, M. C., y Gómez, M. (2006) Idoneidad de las interfaces de léxicos y terminologías en la web. Glat: Aspects méthodologiques pour l’élaboration de lexiques unilingues et de multilingues. Bertinoro (Italia), 17-20 may.

Marcos, M. C., y Cañada, J. (2003). Cómo medir la usabilidad: técnicas y métodos para evaluar el uso de sitios web. En C. Rovira y Ll. Codina (Dirs.). Documentación digital. Barcelona: Sección Científica de Ciencias de la Documentación. Departamento de Ciencias Políticas y Sociales. Universidad Pompeu Fabra.

Morgan, E. L. et al. (2006). User-centered design. En Designing, Implementing, and Maintaining Digital Library Services and Collections with MyLibrary. Chapter V, < http://dewey.library.nd.edu/mylibrary/manual/ch/pt05.html > [Consulta: 04/04/06]

Nielsen, J. (1994). Heuristic evaluation. En J. Nielsen & R. Mack (eds.). Usability Inspection Methods. John Wiley & Sons, New York, NY.

Nielsen, J. How to Conduct a Heuristic Evaluation [en línea]. 2002 < http://www.useit.com/papers/heuristic/heuristic_evaluation.html > [Consulta: 04/04/06]

Nielsen, J. Ten Usability Heuristics [en línea]. 2002 < http://www.useit.com/papers/heuristic/heuristic_list.html > [Consulta: 04/04/06]

Nielsen, J. Usabilidad. Diseño de sitios web. Madrid: Prentice Hall, 2000.

Nielsen, J., & Molich, R. (1990). Heuristic evaluation of user interfaces, Proc. ACM CHI'90 Conf. (Seattle, WA, 1-5 April), 249-256.

Preece, J. et al. (1994). Human-Computer Interaction. Harlow: Addison-Wesley.

Shneiderman, B. (1997). Designing the User Interface. 3rd ed. Reading, MA: Addison-Wesley.

Simpson, H. (1985). Design of User-Friendly Programs for Small Computers. New York: McGraw-Hill.

Su, L. (1992). Evaluation measures for interactive information retrieval. Information Processing and Management, 28 (4), 503-516.

Su, L. (1998). Value of search results as a whole as the best single measure of information retrieval performance. Information Processing and Management, 34 (5), 57-579.

Tognazzini, B. (2003). First principles of interaction design, URL < http://www.asktog.com/basics/firstPrinciples.html > [Consulta: 04/04/06]