Seleccionar página

¿PISA es de fiar? La evaluación del evaluador. La competencia científica en PISA

La edición de PISA 2015 dio prioridad al área de ciencias. Pero, ¿cómo se mide la noción de competencia científica en PISA 2015? ¿Cuál es su precisión? ¿Nos podemos fiar de PISA?

Retrato de Benito Yañez Araque

¿Sobre qué escribimos?

por | Nov 27, 2018

PISA es una de las evaluaciones más reconocidas de los sistemas educativos de muchos países del mundo, que ha servido de base para la toma de decisiones y establecer políticas públicas que han intentado mejorar la calidad de los sistemas educativos. Políticos y medios de comunicación toman el informe PISA como un acto de fe. Pero, los resultados malos para España, ¿pueden ser imputados en alguna medida a un defecto general de la prueba?

El elevado nivel de fracaso escolar y abandono educativo temprano en España junto al rendimiento educativo de nuestros estudiantes al acabar la enseñanza obligatoria son de los problemas más graves del sistema educativo español. Nos preguntamos si aceptamos PISA como un instrumento válido como punto de partida para el diagnóstico de nuestro sistema educativo, si sus resultados se toman por políticos y medios de comunicación como un acto de fe o realmente PISA es un informe con rigor metodológico que mide de manera robusta, confiable y válida lo que quiere medir con precisión.

Los días 8 y 9 de noviembre de 2018 la OCDE celebraba en París la Conferencia metodológica sobre comparabilidad de escalas de cuestionarios entre países. Programas como PIAAC (Programa para la Evaluación Internacional de las Competencias de la población Adulta, que evalúa las competencias de los adultos de 16 a 65 años), TALIS (Encuesta Internacional de Enseñanza y Aprendizaje, dirigida a docentes y directores de Educación Primaria y Secundaria) o el más conocido PISA son impulsados por la OCDE. El desafío metodológico clave que enfrentan estas encuestas es la comparabilidad de las mediciones a través de países e idiomas y en el tiempo. La propia OCDE reconoce que el uso de los mismos instrumentos y de los mismos procedimientos de administración en diferentes culturas no garantizan por sí mismos la comparabilidad de las puntuaciones de escala. Así, para poder comparar de manera válida los puntajes de escala entre grupos/países es necesario establecer antes de nada la equivalencia de medida, es decir, la invarianza.

PISA (por sus siglas en inglés de Programme for International Student Assessment) es un programa trienal comparativo estandarizado relacionado con evaluaciones internacionales de habilidades académicas y no académicas en cada uno de los dominios (lectura, matemáticas, ciencias, educación financiera y resolución de problemas de colaboración), así como las subescalas de ciencias, sobre muestras de jóvenes de 15 años, a gran escala, administradas por una serie de países participantes, ya sean miembros o asociados de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). El diseño de la escala de la prueba PISA se basa en una variante de muestreo matricial que hace inapropiado el uso de la estadística de puntaje total de validación psicométrica. Esta limitación se puede superar empleando la Teoría de Respuesta al Ítem (IRT) (OECD, 2017). En particular, en ciclos PISA anteriores (2000-2012), el modelo Rasch (1960) y el modelo de Crédito Parcial (Masters, 1982) se utilizaron para estimar los parámetros de dificultad del elemento (calibrar/ escalar los elementos). PISA 2015 ha evolucionado hacia enfoques muy flexibles para el análisis de datos categóricos multinivel a gran escala (modelo logístico de dos parámetros para items dicotómicos y modelo de crédito parcial generalizado para items politómicos). La mayoría de autores han confirmado la evidencia psicométrica de la fiabilidad y validez de las pruebas PISA ​​​​​​​(Instituto de Evaluación e Ingeniería Avanzada, 2008; Yus Ramos et al., 2013), es decir, los resultados malos para España no pueden ser imputados a un defecto general de la prueba. Sin embargo, la escala de PISA no está exenta de críticas como el uso oportunista de las puntuaciones transformadas por la normalización, falta de desarrollo de datos longitudinales entre distintas aplicaciones con magnitudes homogéneas o la falta de valor diagnóstico en términos del desempeño individual de los estudiantes y cambios curriculares (Fernandez-Cano, 2016). Zamarro, Hitt y Mendez (2016) afirman que los puntajes de las pruebas PISA están asociados entre el 32 y el 38 por ciento con el esfuerzo que los estudiantes hayan puesto en realizar el test, en lugar del verdadero conocimiento del contenido académico evaluado. Y aún más allá, presumiendo la precisión, exactitud y reproducibilidad de PISA, ¿es la panacea para tomar las decisiones acertadas en los sistemas educativos de los países? ¿Es suficiente su criterio para mejorar la transferencia de resultados?

Loading...

Loading...

Fiabilidad y Validez. Fuente: Elaboración propia.
Referencias
  • Fernandez-Cano, A. (2016). A methodological critique of the PISA evaluations. RELIEVE, 22(1), 1-16. doi:10.7203/relieve.22.1.8806
  • Instituto de Evaluación e Ingeniería Avanzada, S. C. (IEIA)/Instituto N. para la E. de la E. (INEE). (2008). A contribution to the evidence of the scale validity of the PISA test. Veracruz.
  • Masters, G. N. (1982). A rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. doi:10.1007/BF02296272
  • OECD. (2017). PISA 2015 Technical Report. Paris. Recuperado a partir de http://www.oecd.org/pisa/data/2015-technical-report/
  • Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Nielsen and Lydiche (Expanded edition, Chicago, University of Chicago Press, 1980).
  • Yus Ramos, R., Fernández Navas, M., Gallardo Gil, M., Barquín Ruiz, F. J., Sepúlveda Ruiz, M. del P., y Serván Núñez, M. J. (2013). La competencia científica y su evaluación: análisis de las pruebas estandarizadas de PISA. Revista de Educación, 360(enero-abril), 557-576. doi:10-4438/1988-592X-RE-2011-360-127
  • Zamarro, G., Hitt, C., y Mendez, I. (2016). When Students Don’t Care: Reexamining International Differences in Achievement and Non-Cognitive Skills. SSRN Electronic Journal. Fayetteville. doi:10.2139/ssrn.2857243

¿Sobre qué escribimos?

Te puede interesar

¿Desde qué entornos se comunica la alfabetización científica?

La alfabetización científica puede entenderse como alfabetización sobre contenidos científicos. Actualmente, sin embargo, debido a la interdisciplinariedad existente en los equipos de investigación, por otro lado necesaria, la "alfabetización científica" podría...

En nuestro blog

Alfabetización científica para la sostenibilidad: un reto de todos los ciudadanos

Recientemente, William D. Nordhaus y Paul M. Romer, han sido galardonados con el premio Nobel de economía por analizar las repercusiones del cambio climático y las innovaciones tecnológicas en el desarrollo económico. Frenar los...

Habilidades digitales para empoderar a las personas: invirtamos la pirámide

  Al igual que cuando aprendemos un idioma somos más competentes a lo largo del tiempo alcanzando un nivel alto de fluidez, la alfabetización digital se alcanza mediante un proceso de desarrollo desde el acceso y las habilidades...

¿PISA es de fiar? La evaluación del evaluador. La competencia científica en PISA

PISA es una de las evaluaciones más reconocidas de los sistemas educativos de muchos países del mundo, que ha servido de base para la toma de decisiones y establecer políticas públicas que han intentado mejorar la calidad de los...

La importancia del posicionamiento web en la comunicación de los proyectos de investigación

En proyectos de investigación como los financiados por el programa H2020, la planificación estratégica de la comunicación es fundamental para lograr la difusión y el impacto deseado acorde con los propósitos de la RRI ―el...

Avances en realidad extendida ¿Qué nos depara como medio de comunicación?

Se habla, muy a menudo, de realidad virtual y de realidad aumentada. Son, además, términos utilizados con una cada vez mayor frecuencia en nuestro lenguaje cotidiano, y son tecnologías con las que nos vamos familiarizando cada...
Este blog está financiado por el proyecto Comciencia. Comunicación eficaz, eficiente y responsable para proyectos de investigación competitivos (CSO2017-82875-C2-1-R, Ministerio de Economía, Industria y Competitividad (MINECO), la Agencia Estatal de Investigación (AEI) y el Fondo Europeo de Desarrollo Regional (FEDER).
Share This