¿PISA es de fiar? La evaluación del evaluador. La competencia científica en PISA

La edición de PISA 2015 dio prioridad al área de ciencias. Pero, ¿cómo se mide la noción de competencia científica en PISA 2015? ¿Cuál es su precisión? ¿Nos podemos fiar de PISA?

Retrato de Benito Yañez Araque

por Benito Yáñez Araque | Nov 27, 2018

PISA es una de las evaluaciones más reconocidas de los sistemas educativos de muchos países del mundo, que ha servido de base para la toma de decisiones y establecer políticas públicas que han intentado mejorar la calidad de los sistemas educativos. Políticos y medios de comunicación toman el informe PISA como un acto de fe. Pero, los resultados malos para España, ¿pueden ser imputados en alguna medida a un defecto general de la prueba?

El elevado nivel de fracaso escolar y abandono educativo temprano en España junto al rendimiento educativo de nuestros estudiantes al acabar la enseñanza obligatoria son de los problemas más graves del sistema educativo español. Nos preguntamos si aceptamos PISA como un instrumento válido como punto de partida para el diagnóstico de nuestro sistema educativo, si sus resultados se toman por políticos y medios de comunicación como un acto de fe o realmente PISA es un informe con rigor metodológico que mide de manera robusta, confiable y válida lo que quiere medir con precisión.

Los días 8 y 9 de noviembre de 2018 la OCDE celebraba en París la Conferencia metodológica sobre comparabilidad de escalas de cuestionarios entre países. Programas como PIAAC (Programa para la Evaluación Internacional de las Competencias de la población Adulta, que evalúa las competencias de los adultos de 16 a 65 años), TALIS (Encuesta Internacional de Enseñanza y Aprendizaje, dirigida a docentes y directores de Educación Primaria y Secundaria) o el más conocido PISA son impulsados por la OCDE. El desafío metodológico clave que enfrentan estas encuestas es la comparabilidad de las mediciones a través de países e idiomas y en el tiempo. La propia OCDE reconoce que el uso de los mismos instrumentos y de los mismos procedimientos de administración en diferentes culturas no garantizan por sí mismos la comparabilidad de las puntuaciones de escala. Así, para poder comparar de manera válida los puntajes de escala entre grupos/países es necesario establecer antes de nada la equivalencia de medida, es decir, la invarianza.

PISA (por sus siglas en inglés de Programme for International Student Assessment) es un programa trienal comparativo estandarizado relacionado con evaluaciones internacionales de habilidades académicas y no académicas en cada uno de los dominios (lectura, matemáticas, ciencias, educación financiera y resolución de problemas de colaboración), así como las subescalas de ciencias, sobre muestras de jóvenes de 15 años, a gran escala, administradas por una serie de países participantes, ya sean miembros o asociados de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). El diseño de la escala de la prueba PISA se basa en una variante de muestreo matricial que hace inapropiado el uso de la estadística de puntaje total de validación psicométrica. Esta limitación se puede superar empleando la Teoría de Respuesta al Ítem (IRT) (OECD, 2017). En particular, en ciclos PISA anteriores (2000-2012), el modelo Rasch (1960) y el modelo de Crédito Parcial (Masters, 1982) se utilizaron para estimar los parámetros de dificultad del elemento (calibrar/ escalar los elementos). PISA 2015 ha evolucionado hacia enfoques muy flexibles para el análisis de datos categóricos multinivel a gran escala (modelo logístico de dos parámetros para items dicotómicos y modelo de crédito parcial generalizado para items politómicos). La mayoría de autores han confirmado la evidencia psicométrica de la fiabilidad y validez de las pruebas PISA ​​​​​​​(Instituto de Evaluación e Ingeniería Avanzada, 2008; Yus Ramos et al., 2013), es decir, los resultados malos para España no pueden ser imputados a un defecto general de la prueba. Sin embargo, la escala de PISA no está exenta de críticas como el uso oportunista de las puntuaciones transformadas por la normalización, falta de desarrollo de datos longitudinales entre distintas aplicaciones con magnitudes homogéneas o la falta de valor diagnóstico en términos del desempeño individual de los estudiantes y cambios curriculares (Fernandez-Cano, 2016). Zamarro, Hitt y Mendez (2016) afirman que los puntajes de las pruebas PISA están asociados entre el 32 y el 38 por ciento con el esfuerzo que los estudiantes hayan puesto en realizar el test, en lugar del verdadero conocimiento del contenido académico evaluado. Y aún más allá, presumiendo la precisión, exactitud y reproducibilidad de PISA, ¿es la panacea para tomar las decisiones acertadas en los sistemas educativos de los países? ¿Es suficiente su criterio para mejorar la transferencia de resultados?

Loading...

Loading...

Fiabilidad y Validez. Fuente: Elaboración propia.
Referencias
  • Fernandez-Cano, A. (2016). A methodological critique of the PISA evaluations. RELIEVE, 22(1), 1-16. doi:10.7203/relieve.22.1.8806
  • Instituto de Evaluación e Ingeniería Avanzada, S. C. (IEIA)/Instituto N. para la E. de la E. (INEE). (2008). A contribution to the evidence of the scale validity of the PISA test. Veracruz.
  • Masters, G. N. (1982). A rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. doi:10.1007/BF02296272
  • OECD. (2017). PISA 2015 Technical Report. Paris. Recuperado a partir de https://www.oecd.org/pisa/data/2015-technical-report/
  • Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Nielsen and Lydiche (Expanded edition, Chicago, University of Chicago Press, 1980).
  • Yus Ramos, R., Fernández Navas, M., Gallardo Gil, M., Barquín Ruiz, F. J., Sepúlveda Ruiz, M. del P., y Serván Núñez, M. J. (2013). La competencia científica y su evaluación: análisis de las pruebas estandarizadas de PISA. Revista de Educación, 360(enero-abril), 557-576. doi:10-4438/1988-592X-RE-2011-360-127
  • Zamarro, G., Hitt, C., y Mendez, I. (2016). When Students Don’t Care: Reexamining International Differences in Achievement and Non-Cognitive Skills. SSRN Electronic Journal. Fayetteville. doi:10.2139/ssrn.2857243

Te puede interesar

En nuestro blog

Dando luz a las nuevas tarifas de luz

A medida que el calor del verano se ha ido intensificando, también lo ha hecho el debate sobre las nuevas tarifas eléctricas, que no han parado de crecer día tras día. Y, desde luego, no han faltado razones para ello. En parte,...

¿De verdad sirven las redes sociales para comunicar Ciencia?

Según la VIII encuesta de percepción social de la Ciencia publicada por la FECYT, un 43,6% de los españoles se informa ya sobre Ciencia y Tecnología a través de las redes sociales, lo que representa una extraordinaria...

¿Contribuye la educación científica en la escuela a la enculturación o alfabetización científica ciudadana?

La ciudadanía española ha venido estando expuesta durante más de 10 años durante varias horas a la semana a información científica en la escuela. En particular los que entraron al sistema educativo desde 1990, casi 20 años. Sin...

Estrategia de difusión y comunicación educativa en Youtube

Hay un sector de la audiencia YouTube que las instituciones educativas y los investigadores deben recuperar como estrategia para fomentar comunicación educativa y la difusión científica. En el anterior post comentábamos sobre la...

Las redes sociales pueden potenciar el reciclaje de biorresiduos

A partir del reciclaje de biorresiduos, algo que aparentemente no tiene ninguna utilidad se puede transformar en un producto con un nuevo valor. Conocer los procesos de gestión y reciclado de los materiales y comunicarlos es...
Este blog está financiado por el proyecto Comciencia. Comunicación eficaz, eficiente y responsable para proyectos de investigación competitivos (CSO2017-82875-C2-1-R, Ministerio de Economía, Industria y Competitividad (MINECO), la Agencia Estatal de Investigación (AEI) y el Fondo Europeo de Desarrollo Regional (FEDER).