Seleccionar página

¿PISA es de fiar? La evaluación del evaluador. La competencia científica en PISA

La edición de PISA 2015 dio prioridad al área de ciencias. Pero, ¿cómo se mide la noción de competencia científica en PISA 2015? ¿Cuál es su precisión? ¿Nos podemos fiar de PISA?

Retrato de Benito Yañez Araque

¿Sobre qué escribimos?

por | Nov 27, 2018

PISA es una de las evaluaciones más reconocidas de los sistemas educativos de muchos países del mundo, que ha servido de base para la toma de decisiones y establecer políticas públicas que han intentado mejorar la calidad de los sistemas educativos. Políticos y medios de comunicación toman el informe PISA como un acto de fe. Pero, los resultados malos para España, ¿pueden ser imputados en alguna medida a un defecto general de la prueba?

El elevado nivel de fracaso escolar y abandono educativo temprano en España junto al rendimiento educativo de nuestros estudiantes al acabar la enseñanza obligatoria son de los problemas más graves del sistema educativo español. Nos preguntamos si aceptamos PISA como un instrumento válido como punto de partida para el diagnóstico de nuestro sistema educativo, si sus resultados se toman por políticos y medios de comunicación como un acto de fe o realmente PISA es un informe con rigor metodológico que mide de manera robusta, confiable y válida lo que quiere medir con precisión.

Los días 8 y 9 de noviembre de 2018 la OCDE celebraba en París la Conferencia metodológica sobre comparabilidad de escalas de cuestionarios entre países. Programas como PIAAC (Programa para la Evaluación Internacional de las Competencias de la población Adulta, que evalúa las competencias de los adultos de 16 a 65 años), TALIS (Encuesta Internacional de Enseñanza y Aprendizaje, dirigida a docentes y directores de Educación Primaria y Secundaria) o el más conocido PISA son impulsados por la OCDE. El desafío metodológico clave que enfrentan estas encuestas es la comparabilidad de las mediciones a través de países e idiomas y en el tiempo. La propia OCDE reconoce que el uso de los mismos instrumentos y de los mismos procedimientos de administración en diferentes culturas no garantizan por sí mismos la comparabilidad de las puntuaciones de escala. Así, para poder comparar de manera válida los puntajes de escala entre grupos/países es necesario establecer antes de nada la equivalencia de medida, es decir, la invarianza.

PISA (por sus siglas en inglés de Programme for International Student Assessment) es un programa trienal comparativo estandarizado relacionado con evaluaciones internacionales de habilidades académicas y no académicas en cada uno de los dominios (lectura, matemáticas, ciencias, educación financiera y resolución de problemas de colaboración), así como las subescalas de ciencias, sobre muestras de jóvenes de 15 años, a gran escala, administradas por una serie de países participantes, ya sean miembros o asociados de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). El diseño de la escala de la prueba PISA se basa en una variante de muestreo matricial que hace inapropiado el uso de la estadística de puntaje total de validación psicométrica. Esta limitación se puede superar empleando la Teoría de Respuesta al Ítem (IRT) (OECD, 2017). En particular, en ciclos PISA anteriores (2000-2012), el modelo Rasch (1960) y el modelo de Crédito Parcial (Masters, 1982) se utilizaron para estimar los parámetros de dificultad del elemento (calibrar/ escalar los elementos). PISA 2015 ha evolucionado hacia enfoques muy flexibles para el análisis de datos categóricos multinivel a gran escala (modelo logístico de dos parámetros para items dicotómicos y modelo de crédito parcial generalizado para items politómicos). La mayoría de autores han confirmado la evidencia psicométrica de la fiabilidad y validez de las pruebas PISA ​​​​​​​(Instituto de Evaluación e Ingeniería Avanzada, 2008; Yus Ramos et al., 2013), es decir, los resultados malos para España no pueden ser imputados a un defecto general de la prueba. Sin embargo, la escala de PISA no está exenta de críticas como el uso oportunista de las puntuaciones transformadas por la normalización, falta de desarrollo de datos longitudinales entre distintas aplicaciones con magnitudes homogéneas o la falta de valor diagnóstico en términos del desempeño individual de los estudiantes y cambios curriculares (Fernandez-Cano, 2016). Zamarro, Hitt y Mendez (2016) afirman que los puntajes de las pruebas PISA están asociados entre el 32 y el 38 por ciento con el esfuerzo que los estudiantes hayan puesto en realizar el test, en lugar del verdadero conocimiento del contenido académico evaluado. Y aún más allá, presumiendo la precisión, exactitud y reproducibilidad de PISA, ¿es la panacea para tomar las decisiones acertadas en los sistemas educativos de los países? ¿Es suficiente su criterio para mejorar la transferencia de resultados?

Loading...

Loading...

Fiabilidad y Validez. Fuente: Elaboración propia.
Referencias
  • Fernandez-Cano, A. (2016). A methodological critique of the PISA evaluations. RELIEVE, 22(1), 1-16. doi:10.7203/relieve.22.1.8806
  • Instituto de Evaluación e Ingeniería Avanzada, S. C. (IEIA)/Instituto N. para la E. de la E. (INEE). (2008). A contribution to the evidence of the scale validity of the PISA test. Veracruz.
  • Masters, G. N. (1982). A rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. doi:10.1007/BF02296272
  • OECD. (2017). PISA 2015 Technical Report. Paris. Recuperado a partir de http://www.oecd.org/pisa/data/2015-technical-report/
  • Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Nielsen and Lydiche (Expanded edition, Chicago, University of Chicago Press, 1980).
  • Yus Ramos, R., Fernández Navas, M., Gallardo Gil, M., Barquín Ruiz, F. J., Sepúlveda Ruiz, M. del P., y Serván Núñez, M. J. (2013). La competencia científica y su evaluación: análisis de las pruebas estandarizadas de PISA. Revista de Educación, 360(enero-abril), 557-576. doi:10-4438/1988-592X-RE-2011-360-127
  • Zamarro, G., Hitt, C., y Mendez, I. (2016). When Students Don’t Care: Reexamining International Differences in Achievement and Non-Cognitive Skills. SSRN Electronic Journal. Fayetteville. doi:10.2139/ssrn.2857243

¿Sobre qué escribimos?

Te puede interesar

En nuestro blog

¿Contribuye la educación científica en la escuela a la enculturación o alfabetización científica ciudadana?

La ciudadanía española ha venido estando expuesta durante más de 10 años durante varias horas a la semana a información científica en la escuela. En particular los que entraron al sistema educativo desde 1990, casi 20 años. Sin...

¡Dejándonos seducir por el canto de las Fake News o falsas noticias!

Buscando hechos o ejemplos de porqué nos dejamos seducir por el canto de las Fake News o falsas noticias sin comprobar si son noticias verídicas, verbigracia compartir el vídeo de un águila llevándose un bebé o retwitear como...

Aproximación del hecho científico en educación infantil

La escuela es un lugar privilegiado de enseñanzas, aprendizajes, crecimiento e interrelaciones, es el escenario propicio para desarrollar el conocimiento científico de nuestro alumnado. Enseñar ciencias desde las primeras etapas...

Habilidades digitales para empoderar a las personas: invirtamos la pirámide

  Al igual que cuando aprendemos un idioma somos más competentes a lo largo del tiempo alcanzando un nivel alto de fluidez, la alfabetización digital se alcanza mediante un proceso de desarrollo desde el acceso y las habilidades...

La ciencia no es un acertijo envuelto en un misterio dentro de un enigma

La ciencia no es un arcano. No es, como dijo Winston Churchill refiriéndose a la Unión Soviética, “un acertijo envuelto en un misterio dentro de un enigma”, aunque muchos lo hayan pretendido a lo largo de la historia y aún hoy...
Este blog está financiado por el proyecto Comciencia. Comunicación eficaz, eficiente y responsable para proyectos de investigación competitivos (CSO2017-82875-C2-1-R, Ministerio de Economía, Industria y Competitividad (MINECO), la Agencia Estatal de Investigación (AEI) y el Fondo Europeo de Desarrollo Regional (FEDER).
Share This