Una de las metas principales para la mayoría de las naciones que participan en las pruebas PISA es dar seguimiento al desempeño de sus estudiantes en el tiempo, con el propósito de monitorear avances o retrocesos. Si otros factores del contexto permanecen constantes y los resultados obtenidos muestran una tendencia creciente, la conclusión es que el sistema educativo está haciendo las cosas mejor que antes. Por el contrario, si el rendimiento se mantiene o disminuye, es señal de que debe hacerse un mayor esfuerzo.
Las pruebas PISA se aplican a estudiantes de 15 años y se enfocan en tres áreas principales: alfabetización matemática, competencia lectora y alfabetización científica. Se espera que comparando directamente los puntajes obtenidos entre un año y otro se pueda determinar si el desempeño de los alumnos en esas materias está mejorando o no. Sin embargo, hay condiciones metodológicas fundamentales que deben cumplirse para que estas comparaciones y conclusiones sean válidas.
En el caso de la prueba aplicada en Costa Rica en el 2015, hay razones de peso para dudar de la validez de las comparaciones entre ese año y los anteriores. Es decir, no se puede concluir sobre mejoras o desmejoras en el rendimiento estudiantil a partir de la comparación directa entre los puntajes del 2015 y los del 2012 y 2009.
Ello se debe a dos circunstancias concretas: la cobertura de la población de 15 años, que aumentó de manera relevante con respecto a las pruebas anteriores, y el cambio en el modo de administración de los exámenes, que pasó de lápiz y papel en el 2009 y el 2012, a computadora en el 2015.
Diferencias. En el 2009, primer año en que Costa Rica participó en PISA, el Informe Estado de la Educación hizo notar al país que la validez de las comparaciones sustantivas entre países se veía amenazada debido a la falta de comparabilidad de los puntajes reportados, causada por las notables diferencias de cobertura entre las naciones participantes.
Se indicó en aquella ocasión que “solo un 53% de los jóvenes de 15 años del país estaban siendo representados por la muestra PISA del año 2009”. Este fue uno de los porcentajes de representación más bajos de los países participantes de PISA en ese año.
En dicha oportunidad se llevo a cabo un ejercicio de simulación para determinar cuáles habrían sido los puntajes de Costa Rica en competencia lectora y alfabetización matemática si el país hubiera tenido los mismos niveles de cobertura de México (61%) y Chile (85%).
En la comparación con México se determinó que en la prueba de competencia lectora las diferencias significativas se mantenían a favor de Costa Rica; mientras que en alfabetización matemática sucedía lo contrario, el promedio mexicano era significativamente más alto que el costarricense. Por el contrario en la comparación con Chile, si Costa Rica hubiera tenido los mismos niveles de cobertura que este país en PISA 2009, sus promedios de rendimiento en ambas pruebas continuarían ubicándose por debajo de los de Chile, pero con una diferencia estadística significativamente mayor.
Para el análisis de los resultados del 2015 se aplicó esta misma metodología con el objetivo de calcular cuáles hubieran sido los puntajes en las tres materias si en el 2009 y el 2012 la cobertura hubiera sido la misma del 2015 (63%). De esta manera se controló el factor de aumento en la cobertura. Los resultados indican que los puntajes promedio disminuyen 6 puntos en el 2009 y 8 puntos en el 2012.
Otra metodología. Para controlar el segundo factor relacionado con las forma de administrar la prueba (cambio de papel y lápiz a la computadora) se usó una metodología aplicada en el Instituto de Educación de la University College de Londres, con datos de PISA 2012 en un estudio que mostró diferencias hasta de 50 puntos en los resultados de los estudiantes de Shanghái, China, por cambios en la aplicación de la forma de administración de la prueba en matemática de lápiz a computador.
Para el caso de Costa Rica, se adoptó esta metodología con un enfoque conservador que supuso que la disminución en los puntajes reportados de PISA debido a la administración del examen por computadora podría ser igual a diez puntos. Lo que implica restar esa cantidad a los puntajes del 2009 y del 2012 antes de hacer la comparación.
El análisis mostró que el puntaje de alfabetización matemática en el 2015 es significativamente superior a las calificaciones del 2009 y 2012. En competencia lectora no hay diferencias de relevancia entre el 2009 y el 2015, mientras que la cifra del 2012 se ubica más abajo. En alfabetización científica los puntajes promedio tienden a ser similares, sin cambios relevantes entre un año y otro.
El estudio concluye que no hay evidencia para afirmar que el rendimiento de los estudiantes costarricenses en PISA 2015 fue más bajo que el de los años anteriores. Los descensos observados en los puntajes pueden haber sido causados por el aumento de la cobertura en el 2015 y el cambio en el modo de administrar las pruebas (de papel y lápiz a computadora), consideraciones que deben ser tomadas en cuenta para evitar juicios parciales o equivocados sobre las pruebas.
Bajos promedios. No debe perderse de vista que los puntajes obtenidos por Costa Rica en PISA siguen siendo bajos en las tres competencias evaluadas, con un alto porcentaje de estudiantes que no alcanzan los niveles mínimos aceptables o que se ubican en los estratos más bajos de desempeño, muy lejos del promedio que obtienen los países de la OCDE.
Si bien el ejercicio realizado llama a la cautela al hacer comparaciones entre los puntajes de PISA entre un año y otro, dadas las consideraciones metodológicas señaladas, también levanta alarmas sobre aspectos que al día de hoy resultan urgentes de atender. Tal es el caso del número elevado y creciente de estudiantes con adecuación curricular, las dificultades de acceso a TIC en los centros educativos y la poca familiarización que tienen los estudiantes con lecturas en formato digital, sin mencionar la dicotomía que enfrenta el país para lograr aumentar cobertura al tiempo que provee enseñanza de alta calidad a todos los estudiantes.
Las autoras son investigadoras del Estado de la Educación, Conare.