Propuesta para detectar patrones atípicos de respuestas en contextos reales de evaluación
Riba i Lloret, M. Dolors (Universitat Autònoma de Barcelona. Departament de Psicobiologia i de Metodologia de Ciències de la Salut)
Doval Dieguez, Eduardo (Universitat Autònoma de Barcelona. Departament de Psicobiologia i de Metodologia de Ciències de la Salut)
Renom Pinsach, Jordi (Universitat de Barcelona. Departament de Psicologia Social i Psicologia Quantitativa)
Fuentes Agustí, Marta (Universitat Autònoma de Barcelona. Departament de Psicologia Bàsica, Evolutiva i de l'Educació)

Data:	2017
Resum:	Los índices de detección de patrones atípicos de respuesta (PAR) permiten evaluar la validez de las inferencias de las puntuaciones individuales obtenidas en pruebas de evaluación de conocimientos. En la actualidad existe una larga serie de índices, paramétricos y no paramétricos, cuyas propiedades han sido ampliamente estudiadas. Sin embargo, el uso de estos índices en la práctica evaluativa es casi inexistente. Posiblemente, uno de los motivos sea la complejidad conceptual y metodológica de la mayoría de ellos. Nuestro objetivo es presentar una propuesta metodológica, que sin pérdida de rigor, resulte sencilla de aplicar en contextos reales de evaluación, para detectar aquellos estudiantes que contestan a las pruebas de una forma atípica. La propuesta parte de la agrupación de las preguntas de la prueba en tres segmentos en función de su nivel de dificultad (bajo, moderado y alto) así como en el cálculo, a nivel individual, del porcentaje de respuestas correctas en cada uno de estos segmentos. Así pues, se trabaja con información agregada en lugar de toda la que ofrece el vector de respuestas a cada uno de los ítems, base del cálculo de los índices más conocidos. En este trabajo, proponemos comparar el perfil de respuestas observado para cada persona evaluada, con el esperado según la puntuación total obtenida y de acuerdo con el modelo de Guttman. Dicha comparación se realiza mediante el cálculo de la distancia euclídea entre ambos perfiles. La adecuación de la propuesta se valora a la luz de los resultados que aporta el análisis de las respuestas de 58. 072 alumnos de cuarto curso de la E. S. O a la prueba de competencias básicas de castellano (33 preguntas con 3 opciones de respuesta) realizada por el Consell Superior d'Avaluació del Sistema Educatiu de Catalunya durante el curso 2014-15. Como resultados se presenta la distribución de perfiles de respuestas que muestran el 20% de casos con valores más altos en la distancia euclídea y se compara con la distribución de perfiles que muestran los casos extremos detectados con el índice de precaución modificado, uno de los índices de PAR más conocidos.
Ajuts:	Ministerio de Economía y Competitividad EDU2013-41399-P
Nota:	Amb el suport del Consell Superior d'Avaluació de Catalunya
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la comunicació pública de l'obra i la creació d'obres derivades, sempre que no sigui amb finalitats comercials i que es distribueixin sota la mateixa llicència que regula l'obra original. Cal que es reconegui l'autoria de l'obra original.
Llengua:	Castellà
Document:	Contribució a congrés
Matèria:	Patrones atípicos de respuesta ; Evaluación educativa ; Validez
Publicat a:	XV Congreso de Metodología de las Ciéncias del Comportamiento. Barcelona, : 2017

13 p, 826.8 KB

El registre apareix a les col·leccions:
Contribucions a jornades i congressos > Presentacions