Respuestas guiadas por el experto: Validación de las inferencias basadas en los procesos de respuesta

En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes.