El elevado nivel de fracaso escolar y abandono educativo temprano en España junto al rendimiento educativo de nuestros estudiantes al acabar la enseñanza obligatoria son de los problemas más graves del sistema educativo español. Nos preguntamos si aceptamos PISA como un instrumento válido como punto de partida para el diagnóstico de nuestro sistema educativo, si sus resultados se toman por políticos y medios de comunicación como un acto de fe o realmente PISA es un informe con rigor metodológico que mide de manera robusta, confiable y válida lo que quiere medir con precisión.

Los días 8 y 9 de noviembre de 2018 la OCDE celebraba en París la Conferencia metodológica sobre comparabilidad de escalas de cuestionarios entre países. Programas como PIAAC (Programa para la Evaluación Internacional de las Competencias de la población Adulta, que evalúa las competencias de los adultos de 16 a 65 años), TALIS (Encuesta Internacional de Enseñanza y Aprendizaje, dirigida a docentes y directores de Educación Primaria y Secundaria) o el más conocido PISA son impulsados por la OCDE. El desafío metodológico clave que enfrentan estas encuestas es la comparabilidad de las mediciones a través de países e idiomas y en el tiempo. La propia OCDE reconoce que el uso de los mismos instrumentos y de los mismos procedimientos de administración en diferentes culturas no garantizan por sí mismos la comparabilidad de las puntuaciones de escala. Así, para poder comparar de manera válida los puntajes de escala entre grupos/países es necesario establecer antes de nada la equivalencia de medida, es decir, la invarianza.

PISA (por sus siglas en inglés de Programme for International Student Assessment) es un programa trienal comparativo estandarizado relacionado con evaluaciones internacionales de habilidades académicas y no académicas en cada uno de los dominios (lectura, matemáticas, ciencias, educación financiera y resolución de problemas de colaboración), así como las subescalas de ciencias, sobre muestras de jóvenes de 15 años, a gran escala, administradas por una serie de países participantes, ya sean miembros o asociados de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). El diseño de la escala de la prueba PISA se basa en una variante de muestreo matricial que hace inapropiado el uso de la estadística de puntaje total de validación psicométrica. Esta limitación se puede superar empleando la Teoría de Respuesta al Ítem (IRT) (OECD, 2017). En particular, en ciclos PISA anteriores (2000-2012), el modelo Rasch (1960) y el modelo de Crédito Parcial (Masters, 1982) se utilizaron para estimar los parámetros de dificultad del elemento (calibrar/ escalar los elementos). PISA 2015 ha evolucionado hacia enfoques muy flexibles para el análisis de datos categóricos multinivel a gran escala (modelo logístico de dos parámetros para items dicotómicos y modelo de crédito parcial generalizado para items politómicos). La mayoría de autores han confirmado la evidencia psicométrica de la fiabilidad y validez de las pruebas PISA ​​​​​​​(Instituto de Evaluación e Ingeniería Avanzada, 2008; Yus Ramos et al., 2013), es decir, los resultados malos para España no pueden ser imputados a un defecto general de la prueba. Sin embargo, la escala de PISA no está exenta de críticas como el uso oportunista de las puntuaciones transformadas por la normalización, falta de desarrollo de datos longitudinales entre distintas aplicaciones con magnitudes homogéneas o la falta de valor diagnóstico en términos del desempeño individual de los estudiantes y cambios curriculares (Fernandez-Cano, 2016). Zamarro, Hitt y Mendez (2016) afirman que los puntajes de las pruebas PISA están asociados entre el 32 y el 38 por ciento con el esfuerzo que los estudiantes hayan puesto en realizar el test, en lugar del verdadero conocimiento del contenido académico evaluado. Y aún más allá, presumiendo la precisión, exactitud y reproducibilidad de PISA, ¿es la panacea para tomar las decisiones acertadas en los sistemas educativos de los países? ¿Es suficiente su criterio para mejorar la transferencia de resultados?