Papeles del Psicólogo / Psychologist Papers, 2021 Vol. 42(1), pp. 1-9 Artículos https://doi.org/10.23923/pap.psicol2020.2937 http://www.papelesdelpsicologo.es http://www.psychologistpapers.com OCTAVA EVALUACIÓN DE TEST EDITADOS EN ESPAÑA: UNA EXPERIENCIA PARTICIPATIVA EIGHTH REVIEW OF TESTS PUBLISHED IN SPAIN: A PARTICIPATIVE EXPERIENCE Carme Viladrich1, Eduardo Doval1, Eva Penelo1, Joan Aliaga1, Albert Espelt1,2, Rebeca García-Rueda1 y Ariadna Angulo-Brunet1 1 Universitat Autònoma de Barcelona. 2CIBER de Epidemiología y Salud Pública La Comisión de Test del Consejo General de la Psicología en España promueve anualmente la revisión de la calidad de diferentes test publicados. Este trabajo tiene un doble objetivo: a) presentar los resultados de la octava edición y b) considerar la aportación de la universidad en dicho proceso. En esta edición participaron 10 especialistas, 332 estudiantes y siete profesores, adaptándose el protocolo estándar de revisión al formato aprendizaje-servicio. En cuanto a los resultados, la calidad de los 11 test evaluados fue adecuada (promedio de 3,9 puntos en una escala 1-5) y similar a años anteriores (r = 0,90). El desarrollo y la baremación fueron puntos fuertes, mientras que se proponen mejoras en otros aspectos. El aprendizaje-servicio contribuyó a la diversificación de voces en el proceso observándose una calidad similar entre los informes del estudiantado y los emitidos por especialistas y un grado de acuerdo esperable (r = 0,67) entre ellos. Concluimos que el presente proyecto ha permitido identificar la oportunidad de profundizar en el uso de lenguaje compartido para fortalecer la comunicación entre las casas editoriales, la comisión promotora del modelo es- pañol de revisión de test, y las personas usuarias de los test, particularmente si se trata de principiantes. Palabras clave: Evaluación de test, Calidad de los test, Psicometría, Aprendizaje-servicio. Every year, the Test Commission of the Spanish Psychological Association promotes the assessment of the test quality of several published tests. The aim of the present study is two-fold: a) to present results for the eighth review, and b) to consider the contribution of the universities in this process. Ten experts, 332 students, and seven professors participated in this edition and the standard protocol for review was aligned towards a service-learning format. For the 11 tests assessed, results showed an adequate quality (average of 3.9 points on a 1-5 rating scale) similar to previous years (r = .90). The strengths were test development and standardization, and a number of proposals for improving other sections were suggested. The service-learning approach contributed to the diversification of voices in the process with students’ and experts’ reports showing similar quality and an expected level of agreement (r = .67). We conclude that this project has helped to identify the opportunity to further deepen the use of shared language in order to strengthen the communication between the test publishers, the promoters of the Spanish model of test assessment, and the test users, especially in the case of beginners. Key words: Test review, Test quality, Psychometrics, Service-learning. L a revisión de test que promueve la Comisión de Test sonas evaluadas (e.g., Hernández et al., 2015). del Consejo General de la Psicología de España Entre los actores que intervienen en el proceso, la Comisión (COP, http://cop.es) en colaboración con la Comi- de Test del COP, formada por profesionales del ámbito aca- sión de Test de la European Federation of Psychologists’ As- démico y de las casas editoriales, ha asumido la función de sociations (EFPA, http://efpa.eu; Evers et al., 2013) se priorizar los test a evaluar en cada edición. A su vez, el per- inició en 2011 (Muñiz et al., 2011) y desde entonces se fil mayoritario de participantes en las revisiones ha sido el de han publicado 84 revisiones al ritmo aproximado de una personas que ocupan posiciones senior en distintas especiali- edición anual. Con esta iniciativa se pretende dar respues- dades académicas en los ámbitos de la psicología y la edu- ta a las necesidades de información independiente por par- cación. Una vez consolidado el proceso, se ha hecho te de la profesión (e.g., Hidalgo y Hernández, 2019), así explícita la voluntad de incluir nuevas voces en la revisión como de formación (e.g., Fonseca-Pedrero y Muñiz, 2017), (Elosua y Geisinger, 2016), particularmente las que hablan que son más relevantes cuando se utilizan los test para to- desde el ámbito profesional y desde posiciones junior (Fonse- mar decisiones con consecuencias importantes para las per- ca-Pedrero y Muñiz, 2017). Un paso más en esta dirección sería la ampliación a estudiantes que se incorporarán en bre- Recibido: 27 abril 2020 - Aceptado: 8 junio 2020 ve a la profesión, bajo la tutoría de su profesorado. Además Correspondencia: Eva Penelo. Facultat de Psicologia. Universi- de integrar una nueva voz en el proceso, esta estrategia da- tat Autònoma de Barcelona. C. de la Fortuna s/n. 08193 Bellate- ría la oportunidad al profesorado de compaginar las tareas rra (Cerdanyola del Vallès). España. de revisión y de formación, al menos en algunas especialida- E-mail: eva.penelo@uab.cat des académicas. 1 Artículos OCTAVA REVISIÓN DE TEST El potencial del modelo europeo de revisión de test como los seis niveles del test BADyG, y de los test BRIEF-P, CELF-5, herramienta de formación ha sido ampliamente reconocido MCMI-IV, PECO y TONI-4. Pueden verse más detalles de to- por parte del profesorado universitario (Hidalgo y Hernán- dos ellos en la Tabla 1. En consecuencia, el primer objetivo dez, 2019; Vermeulen, 2019). Así lo vimos también en la de este artículo es exponer y discutir los resultados de cali- asignatura de Psicometría de la Universitat Autònoma de dad de los 11 test sometidos a evaluación en la octava edi- Barcelona (UAB, http://uab.cat) cuando a partir del curso ción de la evaluación de test editados en España. El segundo 2011/12 implementamos un proyecto de aprendizaje ba- objetivo es exponer y discutir la aportación de la universidad sado en problemas utilizando el modelo de evaluación de en relación con dos roles novedosos: como proponente de test promovido por el COP. El estudiantado redacta un in- los test a evaluar y como participante en el proceso de revi- forme de evaluación de un test psicológico, educativo o lo- sión a través del estudiantado de psicología bajo la tutoría gopédico completando el Cuestionario de Evaluación de de su profesorado. Test Revisado (CET-R; Hernández, et al., 2016) y lo defien- de oralmente como parte de las evidencias de aprendizaje MÉTODO que presenta (Doval et al., 2013; Viladrich, Doval, Aliaga Participantes et al., 2014). Durante la última década, hemos evaluado Participaron 332 estudiantes (78,9% de sexo femenino que un total de 91 test entre los disponibles en nuestra docimo- formaron 69 equipos de trabajo y el equipo de profesorado teca, hemos presentado datos favorables de la validez de de la asignatura de Psicometría, que es obligatoria de tercer sus revisiones en comparación con las de especialistas (Vi- curso del grado en Psicología de la UAB. Por otra parte, par- ladrich, Doval y Penelo, 2014), hemos estudiado el efecto ticiparon seis revisoras y cuatro revisores especialistas en psi- de la adhesión temprana al proyecto en los resultados aca- cometría, salud o educación provenientes de distintas démicos (Espelt et al., 2016), y hemos contribuido a la revi- instituciones españolas (véase parte superior izquierda de la sión del modelo español (Hernández et al., 2016), además Tabla 2) y un número no concretado de personas de cada de colaborar individualmente como revisores en distintas casa editorial. ediciones. Durante el curso académico 2019/20 hemos aceptado el reto de liderar la octava edición de la evalua- Instrumentos ción de test editados en España. Para ello, hemos adapta- CET-R. Los criterios de calidad del modelo español de do la metodología docente que veníamos utilizando a un evaluación de test se reflejan en el CET-R (Hernández et formato de aprendizaje-servicio (ApS, Redondo-Corcobado al., 2016), que está formado por tres apartados. En el pri- y Fuentes, 2018) que ha salido del ámbito de la universi- mero, se describen las características del test; en el segun- dad para dirigirse al conjunto de la comunidad profesional do, se evalúan sus propiedades; y en el tercero, se (Viladrich et al., 2019, 2021). resumen todas las valoraciones. Las propiedades de los En esta edición, la Comisión de Test del COP nos encargó test se valoran contestando preguntas cerradas con cinco que revisáramos 11 test encaminados a la medida de la inte- categorías de respuesta ordenadas desde insuficiente a ex- ligencia, las aptitudes verbales, y la personalidad, publica- celente (10 preguntas sobre el desarrollo del test, 18 so- dos entre los años 2006 y 2019. Concretamente, se trata de bre validez, 14 sobre fiabilidad y nueve sobre TABLA 1 TESTS EVALUADOS EN LA OCTAVA EDICIÓN Acrónimo Nombre Editorial Año de publicación BADyG/i Batería de Actividades mentales Diferenciales y Generales, Nivel infantil CEPE, S.L. 2019 BADyG/E1-r Batería de Actividades mentales Diferenciales y Generales, Nivel E1 renovado CEPE, S.L. 2019 BADyG/E2-r Batería de Actividades mentales Diferenciales y Generales, Nivel E2 renovado CEPE, S.L. 2019 BADyG/E3-r Batería de Actividades mentales Diferenciales y Generales, Nivel E3 renovado CEPE, S.L. 2019 BADyG/M-r Batería de Actividades mentales Diferenciales y Generales, Nivel M renovado CEPE, S.L. 2019 BADyG/S-r Batería de Actividades mentales Diferenciales y Generales, Nivel S renovado CEPE, S.L. 2019 BRIEF-P Evaluación Conductual de la Función Ejecutiva- Versión infantil TEA Ediciones 2016 CELF-5 Evaluación Clínica de los Fundamentos del Lenguaje, 5 Pearson Educación 2018 MCMI-IV Inventario Clínico Multiaxial de Millon, IV Pearson Educación 2018 PECO Prueba para la Evaluación del Conocimiento Fonológico EOS 2006 TONI-4 Test de Inteligencia No Verbal, 4 TEA Ediciones 2019 2 CARME VILADRICH, EDUARDO DOVAL, EVA PENELO, JOAN ALIAGA, Artículos ALBERT ESPELT, REBECA GARCÍA-RUEDA Y ARIADNA ANGULO-BRUNET interpretación de las puntuaciones). Además de estar ba- Procedimiento sadas en una rúbrica, estas valoraciones se argumentan En la Figura 1 se representa el procedimiento que consiste en varias preguntas abiertas. Puesto que no todos los test en obtener dos revisiones independientes, conciliadas por la requieren las mismas evidencias de calidad, el modelo se editora que, a continuación, considera los comentarios de flexibiliza sometiendo al juicio de quién evalúa un test las casas editoriales antes de redactar y difundir el informe concreto la aplicabilidad de cada tipo de evidencia, parti- definitivo y el proceso de evaluación. Véase Gómez (2019) cularmente en los apartados de fiabilidad e interpretación para más detalles sobre protocolo estándar. Por nuestra par- de puntuaciones. te, hemos desarrollado un protocolo específico para aplicar- Rendimiento y satisfacción del estudiantado. Se proporcio- lo al proyecto académico de ApS. Cada una de las siete nan de forma estándar para todas las asignaturas de la uni- personas que firman este trabajo actuó como editor/a de versidad. Se valora el porcentaje de retención y el de éxito uno o dos de los test a evaluar hasta cubrir los 11 que for- (UAB, n.d.-a), así como percepción de puntos fuertes y pun- maron el encargo. La primera autora, además, canalizó to- tos débiles de la asignatura (UAB, n.d.-b). dos los flujos de información con la Comisión de Test, con TABLA 2 PARTICIPANTES EN LA OCTAVA EVALUACIÓN DE TESTS Revisor/a profesional (Filiación) Editor/a-Tutor/a (Universitat Autònoma de Barcelona) Alejandro Veas Iniesta (Universidad de Alicante) Albert Espelt Ana Isabel González Contreras (Universidad de Extremadura) Ariadna Angulo-Brunet Gerardo Aguado Alonso (Universidad de Navarra) Carme Viladrich Maria Dolores Gil Lario (Universitat de València) Eduardo Doval Maria Dolores Prieto (Universidad de Murcia) Eva Penelo Marijo Garmendia Txapartegi (Zarauzko Berritzegunea) Joan Aliaga Miguel Angel Carbonero (Universidad de Valladolid) Rebeca García-Rueda Montse Bartroli Checa (Agència de Salut Pública de Barcelona) Natalia Hidalgo-Ruzzante (Universidad de Granada) Rafael Martínez Cervantes (Universidad de Sevilla) Revisor/a estudiante (Universitat Autònoma de Barcelona) Ainoa Barreiro Escobar Laura Saavedra García Alba Rodríguez-Delgado Layla Ishak-Tello Aleix Jané-Alsina Mar Viniegra Pintado Anna Orts Maria Peiro Cristina Fuste-i-Valentí Maria Silva Pereira Carmen María Segura Sanchez Marian Granados-Gamito Daniel Steinherr Zazo Marina Clivillé Domingo Dunia Hanafi-Alcolea Marta Valera-Guiot Fátima Zarfani Azarfane Meritxell Bagué Solé Fernando Mengual-Rodas Meritxell Barroso Cantero Gemma Casimiro Fernandes Mireia Gamez-Broto Gemma Lapeira-Casé Natalia Llobet-Vallribera Isaac Pardo-Niño Núria Coma Bravo Joan Martínez-Vidal Oriol Martín-Corella Judit Reyes Griñena Paula Jimenez-Ventura Judith Moya Queralt Mas-Jarque Júlia Bartra Pallarès Raquel Villar Mateo Júlia Carrasco Hernández Roser Bigorra Fargas Ksenia Ouzioumova Sílvia Solano Selvas Laia Cervigón Moreno Xenia Pla-Ruiz 3 Artículos OCTAVA REVISIÓN DE TEST las revisoras, los revisores y con las casas editoriales y super- de su texto como Revisión 2 y para publicar su nombre en visó todos los informes. Durante el curso académico, en ca- los procesos de difusión. La gratificación económica que da grupo de prácticas de Psicometría se evaluó uno de los ofrece el COP a la editora y al Revisor 2 se ingresó en un test en forma de competición entre cuatro o cinco equipos fondo de la UAB destinado a sufragar gastos de la asignatu- formados por entre tres y seis personas. Cada equipo desa- ra de Psicometría. rrolló un borrador, recibió los comentarios de su tutor o tuto- ra, y redactó después el informe final. El informe ganador de RESULTADOS Y DISCUSIÓN cada test fue considerado como la Revisión 2 (véanse las au- Calidad de los Test Sometidos a Evaluación torías en la parte inferior de la Tabla 2). En caso que el pre- Los informes de revisión de los 11 test sometidos a eva- mio se considerara desierto, el profesorado tutor asumía este luación son el resultado principal de este trabajo y pue- papel. Posteriormente, el profesorado llevó a cabo dos sesio- den consultarse y descargarse en el sitio web del COP, nes de discusión para fijar una línea editorial común y valo- dentro del apartado correspondiente al año 2019 rar el proyecto. (https://www.cop.es/index.php?page=evaluacion-tests- En cuanto a las precauciones éticas, la adaptación al for- editados-en-espana). A modo de resumen, en la Tabla 3 mato ApS fue como sigue. Cada miembro del equipo de pro- pueden observarse las puntuaciones de cada uno de los fesorado aceptó participar en el proyecto antes de empezar 11 test evaluados en los aspectos relativos al desarrollo el curso; como alternativa, podía restringir su actividad a la del test, las evidencias de validez, la estimación de la fia- usual de tutorizar a sus estudiantes. Para el estudiantado fue bilidad de las puntuaciones, y la baremación e interpreta- una actividad obligatoria y evaluable como lo venía siendo ción de puntuaciones. en la última década. Se les informó del proyecto durante la En primer lugar, destacamos que los test valorados en es- primera sesión de clase y de forma permanente en el aula ta edición están desarrollados y baremados de forma muy virtual. Cada estudiante reconoció mediante su firma haber correcta, tal y como se desprende de la primera y última leído el documento sobre las leyes de copyright que afectan categorías en la Tabla 3. En todos los manuales se presen- a los materiales. Por otra parte, cada firmante de un proyec- ta una fundamentación teórica entre buena y excelente y lo to ganador dio por escrito su consentimiento para hacer uso mismo sucede con el proceso de adaptación. Aunque con FIGURA 1 PROCEDIMIENTO DE REVISIÓN DE LOS TESTS EN LA OCTAVA EDICIÓN 4 CARME VILADRICH, EDUARDO DOVAL, EVA PENELO, JOAN ALIAGA, Artículos ALBERT ESPELT, REBECA GARCÍA-RUEDA Y ARIADNA ANGULO-BRUNET algo más de variabilidad, también los materiales y la docu- La información contenida en el apartado de validez ha sido mentación de los test se han valorado en este mismo rango, calificada mayoritariamente como adecuada, lo que signifi- así como la gran mayoría de los estudios de baremación. ca que el uso de los test evaluados ha merecido confianza a Estos resultados se mantienen a una altura similar o supe- quienes han revisado, aunque sin duda es el apartado con rior a los obtenidos en las otras revisiones basadas en el mayor margen de mejora. Una primera oportunidad de me- CET-R (Gómez, 2019; Fonseca-Pedrero y Muñiz, 2017; Hi- jora sería asociar a cada uno de los usos propuestos del test dalgo y Hernández, 2019) y, en conjunto, ilustran la robus- aquellas evidencias de validez que lo sustentan. Así se reco- tez de los test que las casas editoriales someten a mendaba en la revisión firmada por Elosua y Geisinger evaluación año tras año en estos aspectos. Cabe destacar (2016), así está contemplado en la introducción al apartado que la presentación de datos de análisis de ítems no siem- 2.11 del CET-R, y en ello se insistía con la propuesta de Gó- pre alcanza valores aceptables según la rúbrica del CET-R. mez (2019) de reconsiderar la valoración de la etiqueta “No En este sentido, recuperamos aquí la sugerencia de Ponso- se aporta información” en el CET-R. De hecho, escribir en el da y Hontangas (2013) de que en los manuales se podrían manual de un test la afirmación “el test TAL puede utilizarse mencionar materiales suplementarios que estuvieran dispo- para evaluar la característica X” requiere un soporte distinto nibles en la página web de la editorial, como ya se hace, que escribir la afirmación “el test TAL puede utilizarse para por ejemplo, con la batería de test BADyG. Respecto a la detectar dificultades de una persona en la característica X, interpretación de puntuaciones, la mejora que juzgamos para diseñar un plan de intervención encaminado a su mejo- más importante sería que en todos los manuales se justifica- ra, y para hacer el seguimiento de su evolución en los ámbi- ran los puntos de referencia que se publican a modo de tos clínico, educativo, social y legal”. La diferencia radica en ayuda para la toma de decisiones. Así reza la recomenda- que la primera afirmación deja bajo la responsabilidad de la ción del CET-R (apartado 2.13.2.1), y un ejemplo de bue- persona usuaria del test el uso concreto que hará de esa eva- na práctica son los datos de sensibilidad y especificidad luación y, por tanto, la responsabilidad de sustentar dicho que se publican en el manual del test MCMI-IV. Como míni- uso (AERA et al., 2014, estándar 9.4). En cambio, con la se- mo, en todos los manuales habría que hacer un esfuerzo gunda afirmación se promueve explícitamente el test para di- por aclarar que el hecho de que una persona ocupe una versos usos específicos, por lo que la responsabilidad de posición atípica en relación con su grupo normativo no tie- apoyar cada uso concreto recae en la casa editorial (AERA ne en sí mismo significación clínica. Se contribuiría así a et al., 2014, estándares 5.0 y 7.1). corregir posibles malos usos que pueden ser razonablemen- Otra mejora se conseguiría si, antes de presentar resultados te anticipados (American Educational Research Association de validez, se especificaran con toda claridad las hipótesis [AERA] et al., 2014, estándar 7.1). concretas que se van a comprobar y cuáles son los resulta- TABLA 3 RESUMEN DE LAS CALIFICACIONES DE LOS TEST EVALUADOS EN LA OCTAVA EDICIÓN Característica BADyG BRIEF CELF MCMI PECO TONI Media 2019 i E1-r E2-r E3-r M-r S-r P 5 IV 4 (anteriores*) Desarrollo: Materiales y documentación 4,5 4,5 4,5 4,5 4,5 4,5 4,8 4 4,3 3 4,5 4,3(4,3) Desarrollo: Fundamentación teórica 5 5 5 5 5 5 4,5 4 4 4 5 4,7(4,1) Desarrollo: Adaptación - - - - - - 5 5 4,5 - - 4,8(4,3) Desarrollo: Análisis de ítems 4 4 4 4 4 4 4 2 2 4 4 3,6(3,8) Validez: contenido 4 4,5 5 5 5 4,5 3,3 3,5 3 3 3,5 4,0(3,8) Validez: relación con otras variables 3,5 3,4 2,7 3,7 3,7 3 3,3 3,4 3,4 2,6 3,9 3,3(3,6) Validez: estructura interna 2,5 3 3 3 3 3 2,5 - - 2,5 5 3,1(3,7) Validez: análisis del DIF - - - - - - - - - - 5 - Fiabilidad: equivalencia - - - - - - - - - - 3 - Fiabilidad: consistencia interna 4 4 5 5 5 4 5 4,5 4 3,5 3,5 4,3(4,2) Fiabilidad: estabilidad - - - - - - 4 2,5 3 - 3 3,1(3,5) Fiabilidad: TRI - - - - - - - - - - - - Fiabilidad inter-jueces - - - - - - - - - - - - Baremos e interpretación de puntuaciones 4,7 4,3 4,7 4,3 4,7 4,7 3,7 3,3 4 2,3 4,3 4,1(4,1) Nota. 1: Inadecuado, 2: Adecuado con carencias, 3: Adecuado, 4: Bueno, 5: Excelente, -: No pertinente o No se aportaron datos. *: Puntuación media entre las medias de las ediciones desde 2010 a 2018. 5 Artículos OCTAVA REVISIÓN DE TEST dos que se considerarán evidencia favorable teniendo en Finalmente, respecto a la fiabilidad, los estudios de consisten- cuenta la fundamentación teórica, los resultados obtenidos cia interna incluidos en los manuales que se han evaluado reci- en investigaciones anteriores y los usos previstos del test ben mayoritariamente una valoración entre buena y excelente, (e.g., Ziegler, 2014). En este sentido, la cadena hipótesis-re- lo que significa que se publican coeficientes de fiabilidad ele- sultados-conclusiones debería quedar clara en relación con vados obtenidos en muestras suficientemente grandes. Sin em- todas las cargas factoriales, todos los coeficientes de correla- bargo, hay que remarcar la gran cantidad de casillas sin ción y todos los tamaños del efecto que se publican, incluso información que se observan en este apartado de la Tabla 3. si se presentan dentro de tablas o como resultados previa- Aunque no todos los diseños para estudiar fiabilidad son apli- mente publicados. Ello no impide incorporar muchas varia- cables a todos los test, tanto en el CET-R (apartado 2.12.1) co- bles en unas pocas hipótesis, como es el caso de las que se mo en anteriores revisiones (e.g., Hernández et al., 2015) se hacen en el análisis factorial o en el diseño de matrices multi- sugiere como buena práctica la posibilidad de aportar varios rasgo-multimétodo; al contrario, este sería precisamente un coeficientes de fiabilidad para cada escala o subescala y sub- formato muy recomendable. población. Por nuestra parte, creemos que ello podría concre- La tercera oportunidad de mejora en el ámbito de la vali- tarse en que cada test aporte datos de fiabilidad obtenidos al dez consistiría en incorporar más información sobre la equi- menos con dos tipos de diseños de los que se contemplan en valencia y la equidad en el uso de los test. De forma el CET-R o, alternativamente, explicaciones claras sobre por consistente, en las revisiones anteriores se ha animado a ha- qué no son objeto de preocupación otras fuentes de variación cerlo incrementando la publicación de estudios sobre funcio- aleatoria más allá de las derivadas de la coherencia entre los namiento diferencial de los ítems (DIF, por sus siglas en ítems del test. Incluso sin utilizar otro diseño que el de consis- inglés; e.g., Fonseca-Pedrero y Muñiz, 2017; Gómez, 2019; tencia interna, sería muy oportuno reconocer que no todas las Hidalgo y Hernández, 2019). Con todo, en la presente edi- puntuaciones de un mismo test tienen la misma fiabilidad, lo ción su uso se mantiene a un nivel parecido o menor, ya que que conllevaría la publicación de datos de fiabilidad relativa se ha aportado un único análisis DIF, el relativo al test TONI- como los que se pueden obtener utilizando la teoría de res- 4. Por nuestra parte, valoramos el coste que tiene hacer este puesta a los ítems. Con esta sugerencia nos sumamos de nue- tipo de pruebas, incluyendo el riesgo de sobreestimar la pre- vo a las recomendaciones realizadas en anteriores revisiones sencia de DIF. Por ello, creemos que ha llegado el momento (e.g., Gómez, 2019). de recomendar un paso más asequible y, sin embargo, fun- damental, para dar a la equidad la importancia que se le re- Aportaciones Novedosas de la Universidad al conoce actualmente tanto en la sociedad como en los textos Proceso de Revisión de Test normativos (AERA et al., 2014; COP, 2015a, 2015b; Aso- En esta edición queremos sumarnos al agradecimiento ciación Española de Normalización y Certificación [AE- que, año tras año, se hace de la colaboración de las casas NOR], 2013). Concretamente, sugerimos incluir en los editoriales ofreciendo su ayuda y su experiencia durante el manuales un apartado específico dedicado a aportar infor- proceso de evaluación de test y del apoyo de la Comisión mación sobre la flexibilidad del test para afrontar la diversi- de Test del COP durante todo el proceso. Con mayor motivo dad funcional, lingüística, neurológica o social de las si cabe porque nuestro proyecto docente ha conllevado ma- personas potencialmente evaluables. Esta información puede yor apoyo económico y ajuste a los tiempos académicos por recabarse mediante análisis DIF, pero únicamente cuando los su parte. Queremos también reflexionar sobre el proceso de grupos son grandes y las hipótesis bien definidas. En cam- priorización de los test a evaluar a partir de tres datos. El bio, es mucho más factible obtener información relevante me- primer dato es la lista ordenada de los 25 test más usados diante consultas a especialistas y a personas integrantes de por las personas colegiadas según una encuesta reciente los grupos minorizados (AERA et al., 2014, estándar 3.11). (Muñiz et al., 2020). El segundo dato es la lista de los 84 Esta información puede y debe obtenerse y compartirse de test con informes publicados en la página web del COP des- forma rigurosa (Levitt et al., 2018). Un rigor que, además, de el año 2010. Al comparar ambas listas se observa que debería extenderse a todas las evidencias obtenidas median- solo coinciden en 12 casos y no siempre se trata de los test te el uso de métodos cualitativos, entre las que se incluyen la más usados. El tercer dato es la lista de los 91 test que han obtenidas durante el desarrollo y la adaptación de un test y, valorado en este mismo periodo nuestros estudiantes en sus en especial, la recopilación de evidencia relacionada con el trabajos de curso con mayor o menor éxito, una lista accesi- contenido del test y también la relativa a puntos de corte pa- ble contactando con la autora de correspondencia. Son test ra la interpretación de puntuaciones referida al criterio. En seleccionados entre los disponibles en nuestra docimoteca nuestra opinión, como mínimo, sería necesario especificar que, por su parte, realiza las adquisiciones atendiendo a por separado cuántas personas participaron y su cualifica- demandas del profesorado de la Facultad de Psicología. ción para ello, las estrategias que se utilizaron para obtener Más de una cuarta parte de estos 91 coinciden con los test la información, los datos que se obtuvieron, sean verbales o evaluados por el COP, pero resulta interesante observar la numéricos, y las conclusiones y decisiones que de ellos se de- presencia de nueve test que están también en la lista de los rivaron, para así facilitar la formación de un juicio propio de más utilizados que no cuentan con informe oficial publica- quien lee sobre la calidad de dichas decisiones. do. Otro dato interesante es que uno de los test que está en 6 CARME VILADRICH, EDUARDO DOVAL, EVA PENELO, JOAN ALIAGA, Artículos ALBERT ESPELT, REBECA GARCÍA-RUEDA Y ARIADNA ANGULO-BRUNET la lista de los más utilizados y que no ha sido evaluado has- Relacionado con lo anterior, los equipos ganadores presen- ta ahora es un test no comercializado. Todo ello induce a taron comentarios muy ajustados a las instrucciones y rúbri- pensar que, si se abriera la participación a nuevos colecti- cas del CET-R. Ello no es de extrañar porque, tal como vos con intereses en este proceso, probablemente se conse- hemos dicho, nuestras clases de psicometría están alineadas guiría mayor cobertura de las necesidades reales de con ellas y las dudas del estudiantado al respecto se resolvie- información por parte de la profesión y, además, sería un ron gracias a la tutorización presencial. Con todo, las perso- nuevo paso en favor de la diversificación de las voces que nas especialistas también han hecho comentarios en el participan en el proceso de revisión. sentido que algunas preguntas del CET-R son difíciles de con- Respecto a la actuación de nuestro estudiantado, en la últi- testar. Por ello, creemos que sería de gran ayuda que se im- ma columna de la Tabla 3 se presenta la comparativa de las plementara la propuesta de Fonseca-Pedrero y Muñiz (2017) puntuaciones promedio de la octava edición con las puntua- de rebajar esta barrera facilitando más información técnica y ciones promedio del conjunto de las siete ediciones anterio- desarrollando tutoriales sobre como rellenar el CET-R. res. Solo se incluyen las 10 características para las que ha Todavía en el mismo orden de cosas, hemos detectado un sido posible obtener datos promedio en todas las revisiones amplio margen para seguir desarrollando lenguaje comparti- disponibles. Aunque al observar dato por dato se encuentran do tanto técnico como inclusivo. En cuanto al lenguaje técni- algunas divergencias que se equilibran por ser unas al alza co, nos alineamos con la opinión expresada en anteriores y otras a la baja, las dos series de datos tienen un mismo va- trabajos de que el CET-R es una buena guía para la construc- lor promedio de 3,9 puntos y el coeficiente de correlación ción, la edición y el uso de los test (Elosua y Geisinger, entre ellas es de 0,90; es decir, se trata de evaluaciones glo- 2016; Muñiz y Fonseca-Pedrero, 2019) y, por ello, sugeri- balmente muy comparables. Sea como fuere, no hay que mos a las casas editoriales que al redactar los manuales se perder de vista que las diferencias podrían atribuirse a quien utilice en la medida de lo posible el lenguaje psicométrico tal evalúa, pero también a los test que se han sometido a eva- como está expresado en el CET-R. Nada más lejos de nues- luación en la presente edición. tra intención que coartar la presentación de pruebas novedo- Más informativa resulta la comparación de los informes de la sas en apoyo de los usos de un test; antes al contrario, estas Revisión 1 (especialista) con los de la Revisión 2 (estudiantes) serían muy bienvenidas. Pero para la presentación de prue- sobre el mismo test. La mediana de los coeficientes de correla- bas más clásicas, proponemos como referencia el lenguaje ción entre las puntuaciones otorgadas por el Revisor 1 y el Re- psicométrico del CET-R porque éste es una síntesis consensua- visor 2 en las preguntas en que todos los revisores dieron da de algunos de los textos normativos más ampliamente puntuaciones válidas a todos los test evaluados fue de 0,67, aceptados como son los criterios de la EFPA, los estándares un valor moderado y muy similar al publicado por Ponsoda y de la AERA y de la APA, de la International Test Commission Hontangas (2013) que fue de 0,61. De hecho, un valor como y la norma ISO-10667 (Hernández et al., 2016) y también este o incluso menor sería de esperar en un proceso de revi- porque la homogeneización facilitaría enormemente el com- sión por pares en el que las discrepancias son consustanciales, partir el material con el resto de la profesión y, especialmen- tal como señalaron Fonseca-Pedrero y Muñiz (2017). te, con las personas principiantes. Y en relación con el uso En las preguntas abiertas, los equipos de estudiantes gana- de lenguaje inclusivo, por una parte, en los manuales de los dores escribieron textos mucho más largos (entre 2000 y test que hemos evaluado se utiliza ampliamente el masculino 4400 palabras) que las personas profesionales (entre 800 y genérico para referirse a las personas y, por otra, en nuestra 3000 palabras). La lectura comparativa mostró que los textos universidad se considera buena práctica valorar positivamen- del estudiantado pueden ser más argumentados, pero tam- te el uso de lenguaje inclusivo. Paradójicamente, nuestro es- bién más redundantes y más dependientes de la forma de tudiantado ha visto penalizada en sus escritos una práctica presentación de la información utilizada en los libros de tex- lingüística utilizada en los manuales que estaba evaluando. to y en los manuales de los test. El profesorado atribuimos es- Creemos que es un buen momento para proponer a las ca- tos resultados a diversos motivos. Por una parte, puede ser sas editoriales que se sumen a dar ejemplo alineándose así que el estudiantado sienta la necesidad de escribir un apoyo con la política del Colegio Oficial de la Psicología en cuanto teórico que le dé pie a expresar su opinión. Por otra, su for- al uso de lenguaje inclusivo. mación previa está muy basada en la lectura de manuales Finalmente, en la vertiente educativa, es de destacar que la educativos y de artículos científicos, por lo que podría resul- asignatura ha tenido este curso una retención superior al tarles difícil enfrentarse a textos desarrollados para la comer- 99% y un éxito del 93%, resultados dentro del rango de los cialización de un producto, aunque este tenga base obtenidos en los últimos cursos (UAB, n.d.-a) y que conside- científica. En cambio, las personas expertas tendrían más re- ramos muy satisfactorios. Los pocos estudiantes que partici- cursos para interpretar y valorar estos materiales. Otra expli- paron en la encuesta de satisfacción reflejaron opiniones cación puede provenir de los comentarios del profesorado a polarizadas. Entre las negativas destacó que el tiempo dedi- los borradores, ya que en ellos se les pidió fundamentalmen- cado a elaborar el trabajo es mucho y compite con el tiempo te que reconsiderasen las inconsistencias de sus valoracio- dedicado a la explicación y asimilación de conceptos teóri- nes, que incorporasen información, y/o que desarrollasen cos. Entre las positivas, predominó que el proyecto implica el más sus argumentos. fortalecimiento del aprendizaje conceptual mediante la apli- 7 Artículos OCTAVA REVISIÓN DE TEST cación real de la teoría y la aproximación al mundo profesio- tacar la conveniencia de profundizar en el desarrollo de len- nal-laboral. Esta polarización se reflejó prácticamente en los guaje compartido entre los diferentes grupos con intereses en mismos términos en las valoraciones del profesorado. el uso de los test. En cuanto a la función educativa, conclui- mos que ha sido muy efectiva, puesto que nuestro estudianta- CONCLUSIONES Y RECOMENDACIONES do ha tenido éxito en la asignatura en un 93% de los casos, El primer objetivo de este trabajo ha sido valorar la calidad aunque también hemos observado opiniones polarizadas en- de 11 test sometidos a la octava edición de la evaluación de tre lo costoso y lo motivador del proyecto. test en España aplicando el modelo de evaluación consen- Nuestra conclusión sobre esta experiencia es que la incor- suado por la Comisión de Test del COP y reflejado en el poración de estudiantes bajo tutoría en el proceso de revi- cuestionario CET-R. Nuestras conclusiones han sido que en la sión de test ha resultado costosa en cuanto a los materiales y documentación que acompaña a estos test se presentan da- el tiempo necesarios para desarrollarla; variable en cuanto a tos más que adecuados en apoyo del desarrollo y adapta- su potencial motivador; y satisfactoria en relación con el éxi- ción del test así como sobre las muestras de tipificación. to académico del estudiantado, la profesionalidad de los in- También se aportan excelentes datos relativos a la consisten- formes que han desarrollado, y las ideas que han aportado cia interna del test, pero debería incrementarse la presencia para desarrollar manuales de test que resulten cómodos para de otras pruebas de fiabilidad. Hemos detectado un mayor profesionales principiantes. margen de mejora en cuanto a la aportación de pruebas en sustento de la validez del test para todos y cada uno de los CONFLICTO DE INTERESES usos propuestos. Nuestras propuestas de mejora son la aso- No existe conflicto de intereses ciación explícita de las pruebas de validez con cada uno de los usos propuestos, la especificación previa de las hipótesis AGRADECIMIENTOS que se pretende probar, el desarrollo de pruebas en favor de Agradecemos a la Dra. Laura Gómez y al Prof. Dr. José la equidad en el tratamiento de diversas personas evalua- Muñiz su apoyo a lo largo de todo el proceso. A las casas bles, y el reporte de la metodología cualitativa basado en es- editoriales, la aportación de seis ejemplares de cada test, a tándares actualizados. la Facultad de Psicología y a la Biblioteca de Humanidades Estas conclusiones tienen derivadas que afectan a la estruc- de la UAB, la compra de los ejemplares faltantes hasta com- tura y valoración de las preguntas del CET-R. En este sentido, pletar el material necesario para cubrir todos los grupos de recomendamos (a) incorporar una pregunta sobre los usos clase. Al Espai de Suport i Innovació Docent de la Facultad previstos del test en el apartado de descripción y estructurar de Psicología de la UAB su apoyo en la gestión del acceso a la valoración de la validez en función de dichos usos, (b) dar los materiales. A Remei Prat, Elena Ripollés, Salomé Tàrrega dos opciones evaluativas para caracterizar la información y Joan Pons su contribución al desarrollo del proyecto for- faltante, que se calificaría o bien como No relevante o bien mando parte del equipo docente en cursos anteriores. como Relevante, pero no se aporta información, (c) valorar de manera estructurada las evidencias de validez obtenidas REFERENCIAS con metodología cualitativa, considerando por separado el AENOR. (2013). Prestación de servicios de evaluación. Pro- método y los resultados y (d) dar entidad a la aplicación cedimientos y métodos para la evaluación de personas en equitativa de los test desarrollando de forma estructurada la entornos laborales y organizacionales. Parte 2: Deberes valoración de los datos presentados sobre acomodaciones. del proveedor de servicios. (UNE-ISO 10667-2:2013) Nuestro segundo objetivo ha sido valorar la aportación no- https://www.aenor.com/normas-y-libros/buscador-de- vedosa de la universidad a dos aspectos del proceso de eva- normas/UNE?c=N0051261 luación. En cuanto a los test que se someten a evaluación, AERA, American Psychological Association [APA], y Natio- nuestra conclusión ha sido que se podría ampliar la cobertu- nal Council on Measurement in Education [NCME]. ra de las necesidades de información de la profesión si en el (2014). Standards for Educational and Psychological Tes- proceso de priorización se incorporara la opinión de otras ting [Estándares para los test educativos y psicológicos]. entidades además de la Comisión de Test del COP. Por otra American Educational Research Association. parte, hemos ofrecido datos sobre la ampliación de las voces COP. (2015a). Directrices internacionales para el uso de los representadas en la revisión ofreciendo esta oportunidad a tests. https://www.cop.es/index.php?page=directrices- estudiantes bajo la tutorización del profesorado. Nuestras internacionales conclusiones han sido que a nivel cuantitativo se ha manteni- COP. (2015b). Principios éticos de la evaluación en psicología. do una gran similitud con las ediciones anteriores y, a nivel https://www.cop.es/index.php?page=principios-eticos narrativo, nuestros estudiantes han escrito textos más largos y Doval, E., Viladrich, C., Aliaga, J., Espelt, A., García-Rueda, más ajustados a las instrucciones del CET-R, aunque no siem- R., Penelo, E., Prat, R. y Tárrega, S. (2013, 3–6 de sep- pre han proporcionado las argumentaciones más sólidas por- tiembre). Las asignaturas de contenido psicométrico en la que sus textos son muy dependientes del manual de la UAB: saber y oficio [comunicación]. XIII Congreso de la asignatura y de las valoraciones expresadas en la propia do- Asociación Española de Metodología de las Ciencias del cumentación que están evaluando. Ello nos ha llevado a des- Comportamiento. La Laguna, España. 8 CARME VILADRICH, EDUARDO DOVAL, EVA PENELO, JOAN ALIAGA, Artículos ALBERT ESPELT, REBECA GARCÍA-RUEDA Y ARIADNA ANGULO-BRUNET Elosua, P., y Geisinger, K. F. (2016). Cuarta evaluación de de los psicólogos. Papeles del Psicólogo, 41(1). 1–15 tests editados en España: Forma y fondo. Papeles del Psi- https://doi.org/10.23923/pap.psicol2020.2921 cólogo, 37(2), 82–88. Muñiz, J., Fernández-Hermida, J. R., Fonseca-Pedrero, E., Espelt, A., Viladrich, C., Doval, E., Penelo, E., y Aliaga, J. Campillo-Álvarez, Á., y Peña-Suárez, E. (2011). Evalua- (2016, 5-7 de julio). Relació entre l’adherència al funcio- ción de tests editados en España. Papeles del Psicólogo, nament de l’assignatura de Psicometria i la qualificació fi- 32(2), 113–128. nal dels estudiants [Relación entre la adherencia al Ponsoda, V., y Hontangas, P. (2013). Segunda evaluación funcionamiento de la asignatura de Psicometría y la califi- de tests editados en España. Papeles del Psicólogo, 34(2), cación final de los estudiantes] [poster]. IX Congreso Inter- 82–90. nacional de Docencia e Innovación Universitaria (CIDUI). Redondo-Corcobado, P., y Fuentes, J. L. (2020). La investi- Barcelona, España. gación sobre el Aprendizaje-Servicio en la producción Evers, A., Muñiz, J., Hagemeister, C., Hstmælingen, A., Lind- científica española: una revisión sistemática. Revista ley, P., Sjöberg, A., y Bartram, D. (2013). Evaluación de Complutense de Educacion, 31(1), 69–83. la calidad de los tests: revisión del modelo de evaluación https://doi.org/10.5209/rced.61836 de la EFPA. Psicothema , 25 (3), 283–291. UAB. (n.d.-a). Seguiment de titulacions: Grau en Psicologia, https://doi.org/10.7334/psicothema2013.97 Psicometria. [Seguimiento de titulaciones: Grado en Psico- Fonseca-Pedrero, E., y Muñiz, J. (2017). Quinta evaluación logía, Psicometría] http://siq.uab.cat/siq_public/titulacio- de Tests editados en España: mirando hacia atrás, cons- /2502443/assignatura/102569 truyendo el futuro. Papeles del Psicólogo, 38(3), 161– UAB. (n.d.-b). Enquesta de satisfacció d’assignatura de la 168. https://doi.org/10.23923/pap.psicol2017.2844 UAB [Encuesta de satisfacción de assignatura de la UAB]. Gómez, L. E. (2019). Séptima evaluación de test editados en https://www.uab.cat/doc/QuestionariEnquestaAssigna- España. Papeles del Psicólogo , 40 (3), 205–210. tures https://doi.org/10.23923/pap.psicol2019.2909 Vermeulen, K. (2019). English version of the COTAN review Hernández, A., Ponsoda, V., Muñiz, J., Prieto, G., y Elosua, system [Versión inglesa del sistema de revision COTAN] P. (2016). Cuestionario de Evaluación de Tests Revisado Testing International, 41, 8. CET-R. Papeles del Psicólogo, 37, 161–168. Viladrich, C., Doval, E., y Penelo, E. (2014, 23-25 de julio). Hernández, A., Tomás, I., Ferreres, A., y Lloret, S. (2015). Student versus expert test reviews: What can we learn Evaluación de tests editados en España. Papeles del Psicó- from them? [Revisiones de test de estudiantes versus espe- logo, 36(1), 1–8. cialistas: ¿qué podemos aprender de ellos?] [comunica- Hidalgo, M. D., y Hernández, A. (2019). Sexta evaluación ción en el simposio Viladrich, C. (presidencia) Symposium de tests editados en España: Resultados e impacto del mo- Tests review as a tool to enhancing testing practices]. VI delo en docentes y editoriales. Papeles del Psicólogo, European Congress of Methodology. Utrecht, Holanda. 40 (1), 21–30. https://doi.org/10.23923/pap.psi- Viladrich, C., Doval, E., Penelo, E., Aliaga, E., Espelt, col2019.2886 A., García-Rueda, R., y Angulo-Brunet, A. (2019). International Test Commission. (2018). ITC Guidelines for the Avaluació de tests psicológics [ Evaluación de test psi- Large-Scale Assessment of Linguistically and Culturally Diver- cológicos ]. Assignatures i pràctiques ApS. http://pa- se Populations [Directrices de la ITC para la evaluación a gines.uab.cat/aps/ca/content/assignatures-i-pràctiqu gran escala de poblaciones lingüística y culturalmente diver- es-aps sas]. https://www.intestcom.org/page/31 Viladrich, C., Doval, E., Penelo, E., Aliaga, E., Espelt, A., Gar- Levitt, H.M., Bamberg, M., Creswell, J. W., Frost, D. M., Jossel- cía-Rueda, R., y Angulo-Brunet, A. (2021, 21-23 de julio). son, R. y Suárez-Orozco, C. (2018). Journal Article Repor- Eighth edition of the Spanish evaluation of test quality: A ting Standards for Qualitative Primary, Qualitative service-learning experience [Octava evaluación de test edi- Meta-Analytic, and Mixed Methods Research in Psychology: tados en España: Una experiencia de aprendizaje-servicio]. The APA Publications and Communications Board Task For- [resumen aceptado en el simposio Hernández, A. y Muñiz, ce Report [Estándares de reporte en artículos de revistas pa- J. (presidencia) Improving tests and testing practices: inter- ra la investigación cualitativa primaria, meta-analítica national and multi-stakeholder perspectives]. IX European cualitativa y de métodos mixtos en psicología: Informe del Congress of Methodology. Valencia, España. grupo de trabajo de la Junta de Publicaciones y Comunica- Viladrich, C., Doval, E., Aliaga, J., Espelt, A., García-Rueda, ciones de la APA]. American Psychologist, 73(1). 26–46. R., Penelo, E., Tárrega, S., Ripollès, E., y Prat, R. (2014). https://dx.doi.org/10.1037/amp0000151 Aprendices de certificadores en psicometría: una experien- Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la cia ABP con grupos grandes. Revista del CIDUI, 2,1–9. construcción de un test. [Ten steps for test development]. Ziegler, M. (2014). Stop and state your intentions! Let’s not for- Psicothema, 31, 7–16. https://doi.org/10.7334/psicot- get the ABC of test construction [¡Detente y declara tus inten- hema2018.291 ciones! No olvidemos el ABC de la construcción de test]. Muñiz, J., Hernández, A., y Fernández-Hermida, J. R. European Journal of Psychological Assessment, 30(4), 239– (2020). Utilización de los test en España: el punto de vista 242. https://doi.org/10.1027/1015-5759/a000228 9