CAMBRIDGE – En la actualidad, múltiples organizaciones, desde entidades gubernamentales hasta instituciones filantrópicas y de cooperación internacional, requieren que las políticas y los programas “estén basados en evidencia”. Es sensato exigir que las políticas se basen en evidencia y que esta sea la mejor posible, dentro de límites razonables de tiempo y de presupuesto. Sin embargo, la forma en que ahora se ejecuta este enfoque puede estar causando mucho daño al debilitar nuestra capacidad de aprender y de mejorar lo que hacemos.
Hoy, el llamado “patrón-oro” de lo que constituye evidencia sólida es el ensayo de control aleatorizado (RCT por su siglas en inglés), idea que se originó en la medicina hace doscientos años, pasó a la agricultura y, durante los últimos veinte años, ha estado causando furor en la economía. Su popularidad se asienta en el hecho de que aborda problemas clave en la inferencia estadística.
Por ejemplo, la gente rica viste ropa fina. ¿Haría ricos a los pobres el que se les distribuyera ropa fina? Este es un caso en que la correlación (entre la ropa y la riqueza) no implica causalidad.
Los que estudian en la Universidad de Harvard consiguen muy buenos empleos. ¿Es porque en Harvard se enseña bien o porque se escoge bien a personas inteligentes que hubieran tenido éxito en la vida de todos modos? Este es el problema de sesgo en la selección.
Los RCT abordan estos problemas dividiendo, de manera aleatoria, a los participantes en el ensayo entre quienes van a recibir un “tratamiento” y quienes van a recibir un “placebo”, creando así un grupo de “control”. Mediante la observación de las diferencias que resultan entre los dos grupos con posterioridad a la intervención, se puede evaluar la eficacia del tratamiento.
Los RCT se han aplicado en medicamentos, microcréditos, programas de capacitación, herramientas educativas y una miríada de otras intervenciones.
Supongamos que se está considerando introducir tabletas como medio para mejorar el aprendizaje en la sala de clases. Un RCT exigiría la participación de alrededor de 300 escuelas, de las cuales se asignaría 150 al grupo de control que no va a recibir tabletas. Antes de que estas se distribuyeran, se realizaría un estudio de referencia inicial con el fin de evaluar cuánto están aprendiendo los niños en la escuela. Luego se distribuirían las tabletas a las 150 escuelas que están bajo el “tratamiento” y se dejaría pasar un tiempo. Transcurrido el lapso, se llevaría a cabo otro estudio para descubrir si en ese momento existe una diferencia en el aprendizaje entre las escuelas que recibieron y las que no recibieron los aparatos.
Supongamos que no hay diferencias significativas, como ha sucedido en cuatro RCT que encontraron que la distribución de textos no tenía ningún efecto. Sería equivocado presumir que se llegó a la conclusión de que las tabletas (o los textos) no mejoran el aprendizaje. Lo que se ha demostrado es que esa tableta en particular, con su software particular, empleada en esa estrategia pedagógica particular y en la enseñanza de esos conceptos en particular, no hizo ninguna diferencia.
Pero la pregunta que realmente queríamos responder es: ¿Cómo deberían utilizarse las tabletas para maximizar el aprendizaje? En este ámbito, el espacio para el diseño es realmente enorme, y los RCT no permiten testear más de dos o tres diseños al mismo tiempo –y a paso de tortuga–. ¿Es posible hacerlo de una manera mejor?
Consideremos el siguiente experimento mental: en la tableta se incluye algún mecanismo que informe al maestro en tiempo real qué tan bien sus alumnos están absorbiendo el material que se les está enseñando. A todos los maestros se les da libertad para experimentar con distintos tipos de software, de estrategias y de modos de emplear la nueva herramienta.
El rápido circuito de retroalimentación que se producirá hará que los maestros ajusten sus estrategias para maximizar el desempeño de sus alumnos.
Con el correr del tiempo, se observará que algunos maestros han dado con estrategias que son altamente eficaces. Entonces, se comparte lo que ellos han logrado con otros maestros. Notemos lo radicalmente diferente que es este método. En lugar de testear la validez de un diseño haciendo que 150 de 300 escuelas utilicen exactamente el mismo programa, este método explora el espacio de diseño al hacer que cada maestro busque resultados.
En lugar de tener un estudio de referencia inicial y otro final, provee retroalimentación sobre el desempeño de manera constante.
En lugar de que el aprendizaje lo haga un econometrista de modo centralizado y luego informe a todos sobre los resultados del experimento, son los maestros quienes hacen el aprendizaje de manera descentralizada e informan al centro sobre sus descubrimientos.
Está claro que los maestros van a confundir la correlación con la causalidad mientras ajusten sus estrategias, pero estos errores se irán corrigiendo prontamente a medida que sus presunciones equivocadas no produzcan resultados mejores.
Igualmente, es posible que ocurra un sesgo en la selección (a algunos lugares les puede ir mejor que a otros porque difieren en otros aspectos); pero si diferentes contextos requieren estrategias diferentes, el sistema va a encontrarlas tarde o temprano. Esta táctica se asemeja más a la implementación social de un algoritmo de aprendizaje automático que a un ensayo clínico.
En economía, los RCT han estado causando gran furor, especialmente en el campo del desarrollo internacional, a pesar de las críticas formuladas por el ganador del premio Nobel Angus Deaton, así como por Lant Pritchett y Dani Rodrik, quienes han atacado las exageradas aserciones de los defensores de los RCT.
Una grave deficiencia es su validez externa. Las lecciones no viajan bien: Si a través de un RCT se descubre que darles micronutrientes a los niños de Guatemala mejora su capacidad de aprendizaje, ¿se les debería dar micronutrientes a los niños noruegos?
El problema más importante que yo tengo con los RCT es que nos hacen pensar sobre las intervenciones, las políticas y las organizaciones de manera errónea. A diferencia de los dos o tres diseños que se prueban lentamente a través de un RCT (como colocar tabletas o papelógrafos en las escuelas), la mayor parte de las intervenciones sociales tiene millones de posibilidades de diseño y los resultados dependen de combinaciones complejas entre ellas. Esto conduce a lo que el científico de la complejidad Stuart Kauffman denomina un “paisaje adaptativo accidentado”.
En casos complejos, obtener la combinación correcta de parámetros es de importancia crítica. Ello exige que las organizaciones pongan en marcha estrategias evolutivas basadas en ensayar las cosas y aprender rápidamente sobre sus resultados a través de circuitos de retroalimentación acelerados, según lo han sugerido Matt Andrews, Lant Pritchett y Michael Woolcock del Center for International Development de la Universidad de Harvard.
Bien puede que los RCT sean apropiados para los ensayos clínicos de medicamentos. Sin embargo, en una extremadamente amplia gama de ámbitos relativos a políticas, el impacto del movimiento RCT ha sido equivalente a poner a auditores a cargo de un departamento de investigación y desarrollo.
Esta es la forma equivocada de diseñar cosas que funcionan bien. Solamente creando organizaciones que aprenden a aprender, del mismo modo en que la “producción optimizada” o lean manufacturing lo ha hecho para el sector industrial, podremos acelerar el progreso.
Ricardo Hausmann, exministro de Planificación de Venezuela y ex economista jefe del Banco Interamericano de Desarrollo, es director del Center for International Development at Harvard University y profesor de Economía del Harvard Kennedy School. Además preside el Meta-Consejo sobre Crecimiento Inclusivo del Foro Económico Mundial. © Project Syndicate 1995–2016