Seleccionar página

¿PISA es de fiar? La evaluación del evaluador. La competencia científica en PISA

La edición de PISA 2015 dio prioridad al área de ciencias. Pero, ¿cómo se mide la noción de competencia científica en PISA 2015? ¿Cuál es su precisión? ¿Nos podemos fiar de PISA?

Retrato de Benito Yañez Araque

¿Sobre qué escribimos?

por | Nov 27, 2018

PISA es una de las evaluaciones más reconocidas de los sistemas educativos de muchos países del mundo, que ha servido de base para la toma de decisiones y establecer políticas públicas que han intentado mejorar la calidad de los sistemas educativos. Políticos y medios de comunicación toman el informe PISA como un acto de fe. Pero, los resultados malos para España, ¿pueden ser imputados en alguna medida a un defecto general de la prueba?

El elevado nivel de fracaso escolar y abandono educativo temprano en España junto al rendimiento educativo de nuestros estudiantes al acabar la enseñanza obligatoria son de los problemas más graves del sistema educativo español. Nos preguntamos si aceptamos PISA como un instrumento válido como punto de partida para el diagnóstico de nuestro sistema educativo, si sus resultados se toman por políticos y medios de comunicación como un acto de fe o realmente PISA es un informe con rigor metodológico que mide de manera robusta, confiable y válida lo que quiere medir con precisión.

Los días 8 y 9 de noviembre de 2018 la OCDE celebraba en París la Conferencia metodológica sobre comparabilidad de escalas de cuestionarios entre países. Programas como PIAAC (Programa para la Evaluación Internacional de las Competencias de la población Adulta, que evalúa las competencias de los adultos de 16 a 65 años), TALIS (Encuesta Internacional de Enseñanza y Aprendizaje, dirigida a docentes y directores de Educación Primaria y Secundaria) o el más conocido PISA son impulsados por la OCDE. El desafío metodológico clave que enfrentan estas encuestas es la comparabilidad de las mediciones a través de países e idiomas y en el tiempo. La propia OCDE reconoce que el uso de los mismos instrumentos y de los mismos procedimientos de administración en diferentes culturas no garantizan por sí mismos la comparabilidad de las puntuaciones de escala. Así, para poder comparar de manera válida los puntajes de escala entre grupos/países es necesario establecer antes de nada la equivalencia de medida, es decir, la invarianza.

PISA (por sus siglas en inglés de Programme for International Student Assessment) es un programa trienal comparativo estandarizado relacionado con evaluaciones internacionales de habilidades académicas y no académicas en cada uno de los dominios (lectura, matemáticas, ciencias, educación financiera y resolución de problemas de colaboración), así como las subescalas de ciencias, sobre muestras de jóvenes de 15 años, a gran escala, administradas por una serie de países participantes, ya sean miembros o asociados de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). El diseño de la escala de la prueba PISA se basa en una variante de muestreo matricial que hace inapropiado el uso de la estadística de puntaje total de validación psicométrica. Esta limitación se puede superar empleando la Teoría de Respuesta al Ítem (IRT) (OECD, 2017). En particular, en ciclos PISA anteriores (2000-2012), el modelo Rasch (1960) y el modelo de Crédito Parcial (Masters, 1982) se utilizaron para estimar los parámetros de dificultad del elemento (calibrar/ escalar los elementos). PISA 2015 ha evolucionado hacia enfoques muy flexibles para el análisis de datos categóricos multinivel a gran escala (modelo logístico de dos parámetros para items dicotómicos y modelo de crédito parcial generalizado para items politómicos). La mayoría de autores han confirmado la evidencia psicométrica de la fiabilidad y validez de las pruebas PISA ​​​​​​​(Instituto de Evaluación e Ingeniería Avanzada, 2008; Yus Ramos et al., 2013), es decir, los resultados malos para España no pueden ser imputados a un defecto general de la prueba. Sin embargo, la escala de PISA no está exenta de críticas como el uso oportunista de las puntuaciones transformadas por la normalización, falta de desarrollo de datos longitudinales entre distintas aplicaciones con magnitudes homogéneas o la falta de valor diagnóstico en términos del desempeño individual de los estudiantes y cambios curriculares (Fernandez-Cano, 2016). Zamarro, Hitt y Mendez (2016) afirman que los puntajes de las pruebas PISA están asociados entre el 32 y el 38 por ciento con el esfuerzo que los estudiantes hayan puesto en realizar el test, en lugar del verdadero conocimiento del contenido académico evaluado. Y aún más allá, presumiendo la precisión, exactitud y reproducibilidad de PISA, ¿es la panacea para tomar las decisiones acertadas en los sistemas educativos de los países? ¿Es suficiente su criterio para mejorar la transferencia de resultados?

Loading...

Loading...

Fiabilidad y Validez. Fuente: Elaboración propia.
Referencias
  • Fernandez-Cano, A. (2016). A methodological critique of the PISA evaluations. RELIEVE, 22(1), 1-16. doi:10.7203/relieve.22.1.8806
  • Instituto de Evaluación e Ingeniería Avanzada, S. C. (IEIA)/Instituto N. para la E. de la E. (INEE). (2008). A contribution to the evidence of the scale validity of the PISA test. Veracruz.
  • Masters, G. N. (1982). A rasch model for partial credit scoring. Psychometrika, 47(2), 149-174. doi:10.1007/BF02296272
  • OECD. (2017). PISA 2015 Technical Report. Paris. Recuperado a partir de http://www.oecd.org/pisa/data/2015-technical-report/
  • Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Nielsen and Lydiche (Expanded edition, Chicago, University of Chicago Press, 1980).
  • Yus Ramos, R., Fernández Navas, M., Gallardo Gil, M., Barquín Ruiz, F. J., Sepúlveda Ruiz, M. del P., y Serván Núñez, M. J. (2013). La competencia científica y su evaluación: análisis de las pruebas estandarizadas de PISA. Revista de Educación, 360(enero-abril), 557-576. doi:10-4438/1988-592X-RE-2011-360-127
  • Zamarro, G., Hitt, C., y Mendez, I. (2016). When Students Don’t Care: Reexamining International Differences in Achievement and Non-Cognitive Skills. SSRN Electronic Journal. Fayetteville. doi:10.2139/ssrn.2857243

¿Sobre qué escribimos?

En nuestro blog

Desarrollo de las competencias digitales de los docentes

  Desde la realidad social que nos ha tocado vivir, es muy conveniente (si no necesaria e imprescindible) la cualificación de los profesionales de la educación en el desarrollo de las competencias digitales necesarias para la docencia, reconociendo su notable...

YouTube, un laboratorio científico

Canales abiertos y vertiginosos, creadores independientes e innovadores y, sobre todo, públicos masivos, activos y colaborativos: las plataformas de vídeo online han transformado profundamente la forma de divulgar el conocimiento científico en la red. Entremos al...

Te puede interesar

La realidad virtual para comunicar ciencia a través de la inmersión

    La realidad virtual es una tecnología en auge que cada vez se encuentra más presente en las actividades de nuestra vida cotidiana. El potencial que tiene en el usuario para generar una inmersión sensorial a varios niveles...

¿Es posible una verdadera narrativa científica desde una efectiva divulgación audiovisual?

La capacidad de contar de manera óptima nuestros proyectos científicos utilizando las diferentes plataformas digitales audiovisuales para su difusión, y empleando estrategias narrativas aplicadas al método científico puede...

El vídeo interactivo y su potencial para comunicar sobre ciencia

Cada año el vídeo toma mas relevancia como formato predilecto a la hora de consultar información sobre ciencia y tecnología (FECyT, 2017). Este incremento coincide con la popularidad del vídeo interactivo, alternativa muy...

¿De verdad sirven las redes sociales para comunicar Ciencia?

Según la VIII encuesta de percepción social de la Ciencia publicada por la FECYT, un 43,6% de los españoles se informa ya sobre Ciencia y Tecnología a través de las redes sociales, lo que representa una extraordinaria...

¿PISA es de fiar? La evaluación del evaluador. La competencia científica en PISA

PISA es una de las evaluaciones más reconocidas de los sistemas educativos de muchos países del mundo, que ha servido de base para la toma de decisiones y establecer políticas públicas que han intentado mejorar la calidad de los...
Este blog está financiado por el proyecto Comciencia. Comunicación eficaz, eficiente y responsable para proyectos de investigación competitivos (CSO2017-82875-C2-1-R, Ministerio de Economía, Industria y Competitividad (MINECO), la Agencia Estatal de Investigación (AEI) y el Fondo Europeo de Desarrollo Regional (FEDER).
Share This