No te creas todo lo que
piensas
Andrés
Roemer
O quizá
debería empezar con: no te creas lo que otros piensan. En abril de este año, un
estudiante de posgrado de la Universidad de Massachusetts Amherst encontró
errores que podrían cambiar las conclusiones de un famoso trabajo realizado por
dos economistas internacionalmente reconocidos de la Universidad de Harvard. Al
estudiante Thomas Herndon se le dio la tarea de replicar los resultados del
popular trabajo de Reinhart y Rogoff, el cual encuentra una relación positiva
negativa entre alta deuda soberana y leve crecimiento económico en períodos de
crisis. Los resultados no eran idénticos y no parecía haber una razón del
porqué, hasta que Thomas se dio cuenta de un error accidental en la hoja de
cálculo de los economistas de Harvard: Reinhart y Rogoff habían cometido un
error, y un estudiante lo había encontrado.
Uno
generalmente no piensa en retar a las autoridades en una disciplina y menos si
se trata de la universidad más prestigiada del mundo, pero el hecho de que
algunos investigadores tengan una extraordinaria trayectoria no quiere decir
que no cometan errores o que todo lo que emane de su boca sea necesariamente
verdadero. Las palabras de expertos son, sin duda alguna, valiosas, pero no son
incuestionables.
Los
ejercicios de repetición de resultados, como el que hizo Thomas, son comunes,
pero resultan relativamente poco “sexys”. El caso de Reinhart y Rogoff atrajo
la atención mediática por tratarse de un tema de coyuntura económica —es un
argumento a favor de las políticas de austeridad en tiempos de crisis—pero en
general las réplicas de experimentos son raramente atractivas y menos
publicadas. Tomen por ejemplo las profecías. Tendemos a concentrarnos en
aquellas que se hicieron realidad, como la que se dice que predijo Nostradamus
para el 11 de septiembre de 2001. Pero si miramos con cuidado, veremos que hay
miles de profecías (no sólo de él) que no resultaron verdaderas, ni remotamente
(a menos de que tergiversemos sus palabras para que digan lo que queremos
escuchar).
Entonces,
vende más una idea en positivo que una en negativo o una hipótesis no probada.
(Un resultado positivo es cuando la hipótesis se prueba, un resultado nulo es
cuando la hipótesis no se prueba). Si alguien llegara a probar que el consumo
de lechuga ocasiona cáncer, sería mucho más atrayente que uno que probara que
el consumo de lechuga no ocasiona cáncer. Esta idea de que es mejor publicar
resultados positivos tiene incluso un nombre “el sesgo de publicación” (o
publication bias, en inglés).
Cuando se
publican experimentos en ciencia, muchas veces se replican. Sin embargo, las
revistas académicas pocas veces están dispuestas a publicar resultados de
experimentos repetidos, pues prefieren conocimiento nuevo que desafíe los
supuestos convencionales. ¿Por qué esto es un problema? Porque puede ser que el
experimento pionero esté errado; repeticiones del mismo experimento, esclarece
dudas de su veracidad.
El hecho de
que no se publiquen los resultados nulos es especialmente peligroso en
medicina. En EU, la FDA debe aprobar los medicamentos y drogas con pruebas en
humanos dándole a un grupo de personas medicamento, mientras a otro grupo se la
da un placebo (un “medicamento” sin ingrediente activo); si hay más personas
que se curaron con el medicamento que con el placebo y esta diferencia es
estadísticamente significativa, entonces se aprueba el medicamento. En un
estudio se dio a conocer que de pruebas de 12 antidepresivos, 38 de los
experimentos resultaron positivos, es decir, el medicamento funcionó, mientras
que en 36 el resultado fue nulo. Cuando el investigador miró los trabajos
publicados sobre estos experimentos, encontró para su sorpresa que 37 de los
experimentos positivos fueron publicados en revistas académicas (las que
consultan los médicos para recetar medicamentos), mientras que solamente tres
de los nulos lo fueron. Esto quiere decir que hubo 33 estudios que fueron
realizados, pero que no se publicaron en una revista especializada. Si los
médicos vieran que el resultado de estos medicamentos es 50-50, probablemente
no los recetarían tan fervientemente.
Por supuesto
que el problema no es exclusivo de las ciencias exactas o biológicas, en las
ciencias sociales hay una propensión por probar positivamente una hipótesis, en
especial cuando se trata de trabajo estadístico y con datos duros. Los
investigadores quieren probar su idea, y si sus datos fallan en hacerlo,
intentan encontrar más datos, cambiar las variables, añadir controles e
intentar con diferentes herramientas estadísticas. Por supuesto que una vez que
se encuentra que la prueba a la hipótesis, todas las fallas anteriores no se
reportan. Como dice Ronald Coase, uno de los padres del derecho y economía, “Si
torturas a los datos lo suficiente, ellos confesarán”.
El problema
del sesgo de publicación no tiene que ver solamente con que las revistas
académicas prefieren publicar resultados positivos, los sistemas de incentivos
para los investigadores muchas veces están basados en un tipo de productividad
fácilmente medible: número de publicaciones. Es decir, si un investigador
quiere ganar mejor y tener un mejor estatus, debe publicar más, y si éste
quiere ser publicado más, tiene que reportar resultados positivos (porque son
los que prefieren las revistas).
¿Cuál es la
solución al problema del sesgo de publicación? La respuesta sin duda no es
fácil, pero por lo pronto lo mejor que podemos hacer es no creernos todo lo que
pensamos… ni lo que otros publican.
