No diga crisis de replicabilidad, diga hype

Esto de la muy supuesta crisis de replicabilidad, la idea de que, de un tiempo a esta parte, una gran cantidad de los resultados experimentales son fraudulentos porque presentan problemas para ser replicados por otros investigadores, se nos ha ido de las manos. Se han montado una buena cantidad de grupos de investigación, jugosamente financiados, para estudiar y resolver la hecatombe; se han escrito ríos de tinta sobre el tema, tanto en la prensa como en artículos especializados; e incluso la falta de replicabilidad se ha convertido en un arma arrojadiza empleada por negacionistas de la ciencia, pseudocientíficos y, en general, por todo el hampa intelectual de nuestro tiempo. Soprendentemente, parece haber una opinión mayoritaria en favor de que, en efecto, la replicabilidad es parte necesaria de un criterio de demarcación entre ciencia y no-ciencia, que esta no se consigue debido a intereses ocultos. Para el opinólogo medio, la crisis existe y merece nuestra máxima atención en tanto que crisis subsanable, tanto para mejorar la optención de conocimiento por medio de una mayor replicabilidad de los resultados, como a fin de sacar a relucir que la ciencia, como empresa intelectual, consistiría realmente en la más pura basura mercantilizada.

Sin embargo, la crisis de reproducilbilidad no es tal. Ni es una crisis, ni la reproducibilidad es una panacea —no pasa de ser un mero valor positivo, sin más—, ni la situación pasa de ser un hype alimentado por ciertos científicos. Unos científicos que, en general, se dividen en dos grupos: los que denostan el análisis filosófico de su actividad, considerándolo una actividad inútil y prefiriendo correr la carrera mirándose los pies, y los que, sin denostarlo pero considerándolo pan comido, sostienen concepciones filosóficas propias de niños de primaria. Ambos grupos, por supuesto, son altamente susceptibles de tragarse anzuelos como este, del que pueden salir debates interesantes a modo de injertos, pero cuyo tronco temático —las maravillas de la reproducibilidad y las conspirativas razones para su ausencia— no se sostiene ante un análisis medianamente crítico.

En resumen:

– La reproducibilidad no forma parte de un criterio de demarcación válido.

– La falta de reproducibilidad puede, y suele, ser una característica inherente a la investigación científica.

– La reproducibilidad es incapaz de sacar a relucir carencias metodológicas y en muchos casos también es incapaz de detectar fraudes.

– Como tal, la crisis de la reproducibilidad no existe, simplemente es la toma de consciencia de una característica de la ciencia que no encaja con las concepciones filosóficas extremadamente ingenuas de la mayoría de los científicos.

La concepción folk de la ciencia y la replicabilidad como match point

El problema básico de este punto de vista tan rígido respecto a la replicabilidad radica en una concepción de la ciencia propia de lo que en ocasiones se ha denominado «concepción heredada», un punto de vista propio de las clases de ciencia del cole y que era mayoritario hasta principios del siglo XX —cuando la gente, dicho a modo de contexto, marchaba feliz a la primera guerra mundial, pensando que aquello sería una experiencia vital muy enriquecedora; esa Europa panoli, vaya—. Consiste en la visión de la ciencia en la que un señor —estamos a principios de los años 20 y la ciencia es una cosa de señores— sale al campo y observa con pureza intelectual el mundo, entonces quiere saber algo o resolver un problema, formula una hipótesis, la testa muy ricamente y ya tiene una teoría. Una teoría, ojo, incontrovertida, porque las contrastaciones son más objetivas que el sol saliendo y la cuesta abajo de Nicolas Cage. Y luego testa muchas veces lo mismo hasta que se convierte en una ley, pasándose, de paso, el problema humeano de la inducción por el forro. Todos estos pasos, claro está, presentan graves problemas teóricos y van contra la evidencia disponible respecto al funcionamiento metodológico de la ciencia y respecto al comportamiento de los científicos como agentes cognitivos, al menos en una formulación tan simple como esta, pero el último paso es el que se lleva la palma. Sin ir más lejos, todo lo que conocemos como falsacionismo, confirmacionismo, razonamiento estadístico / cálculo bayesiano y demás consiste en problematizar este punto, que es una movida gordísima. La ciencia no consiste en contrastar sin más una y otra vez lo mismo; hay matices considerables en este proceso. A veces eso ayuda, a veces es absurdo, a veces es contraproducente.

Hay que entender el concepto de replicabilidad en todo su sentido para captar el porqué de esto. Replicar algo consiste en llevarlo a cabo de un modo exactamente igual en todas sus instancias, tanto respecto a su dominio de estudio como respecto a sus protocolos experimentales. ¿Podemos replicar un experimento que consiste en medir los movimientos de un péndulo? Bueno, con las condiciones de presión atmosférica y con otros cuidados metodológicos, sí podemos. ¿Podemos hacer lo propio con un proceso cerebral? Este caso es más complejo, dado que las condiciones iniciales de cada cerebro serán diferentes y la cantidad de variables ocultas es pantagruélico, pero, en fin, dependiendo del caso podemos acercarnos. Sin embargo, ¿podemos hacer lo propio con un experimento de psicología social o de sociología? ¿Y de ciencia política? Ufff, aquí ya es todo bien jodido, porque hay variables culturales en cantidades ingentes y los resultados de los estudios se deberán circunscribir a un momento dado a una población determinada. Por supuesto, podemos sacar conclusiones, pero siempre teniendo en cuenta que la validez externa de nuestros resultados es limitada y muy matizable, y que necesitamos una base estadística muy amplia y con gran variabilidad de dominios para poder hacer inducciones. En este sentido, replicar un experimento puede ser útil o inútil. Por ejemplo, en el caso del péndulo la replicación es un ejercicio de poco valor, pero en el caso del cerebro sí lo es, porque, aunque los resultados varíen debido a que la replicación es imperfecta, en base a repetirlo una y otra vez podremos llegar a aislar, o no, los factores que los condicionan. En el caso de la homeopatía, en cambio, será contraproducente, dado que estaremos gastando tiempo y dinero en ensayos clínicos absurdos que contrastan una hipótesis aún más absurda y llena por todos lados de pensamiento mágico impostado como ciencia —todos deberíamos estar ya bastante cansados de los estudios y metaanálisis sobre homeopatía; hay prioridades en la vida y la memoria del agua no es una de ellas—.

Es casi un lugar común considerar la replicabilidad como uno de los rasgos característicos de la ciencia. De hecho, muchas de las propuestas de criterios de demarcación —por así decirlo, definiciones que nos permiten cribar entre lo científico y lo no-científico en base a determinados rasgos epistemológicos y/o sociológicos—, consideran entre los rasgos inextirpables de la ciencia su capacidad para ofrecer resultados reproducibles. Por ejemplo (Hansson, 1983; Beyerstein, 1995; Lack y Rousseau, 2016) consideran la replicabilidad de este modo. Sin embargo, otros autores (Vollmer, 1993; Norton, 2015) argumentan contra esta idea por varias razones de peso. Las más contundentes residen en el hecho de que (1) pensar en la reproducibilidad de este modo asfixia nuestra consideración de la ciencia, de modo que la historia, la sociología, la economía, grandes parcelas de la psicología e incluso partes de la biología quedarían fuera del concepto ciencia. Además, (2) la replicabilidad no tiene un valor epistemológico claro, ni como un aumento del conocimiento ni como una forma de vigilancia epistémica. Si buscamos estos mecanismos de control metodológico tendremos que hacerlo en el sistema de publicaciones y en los estándares éticos de los investigadores. Pensar que estos controles son sinónimo o incluyen a la replicabilidad es un error constante.

La falta de replicabilidad puede deberse, entonces, a varios factores:

1) Fraude: Un grupo de investigadores ha falseado los datos y por eso no se pueden replicar. Esta es una explicación extremadamente común dentro de los defensores de la crisis de la replicabilidad, según la cual la heterogeneidad de resultados se debería al fraude, especialmente de las farmacéuticas. Y, de hecho, los datos, prima facie, encajan con esta idea. Por ejemplo, sabemos que los ensayos clínicos privados arrojan resultados positivos un 30% más que los públicos. Sin embargo, puede haber muchas explicaciones a este dato, todas ellas más o menos subdeterminadas. Por ejemplo, puede ser que las farmacéuticas hagan ensayos clínicos, que han de hacerse en humanos y son carísimos, únicamente de los fármacos más prometedores, mientras los ensayos clínicos públicos, al no arriesgar recursos propios, sean más arriesgados. Otra posible explicación podría residir en la escasa base estadística de los ensayos clínicos públicos, que, al ser tan caros, son raramente financiados de este modo. Por ello, establecer una comparación sería poco fiable, dado que la muestra de ensayos públicos podría estar sesgada.

2) El dominio de los campos científicos es altamente cambiante en complejidad, cualidades y variables: Un ejemplo de esto. Hace varias semanas una revista me envió un artículo para corregir. En él, se hablaba de la supuestamente terrible situación de falta de reproducibilidad en biomedicina, apelando a (Open Science Collaboration, 2015). Mi revisión fue evidente: tete/a, estás usando un artículo que habla sobre psicología para sustentar una afirmación sobre biomedicina. Y es que es habitual que se hable de «crisis de replicabilidad» así, a lo loco, de forma generalizada, como si la ciencia fuera un todo homogéneo. Esto, sin embargo, es una concepción, aunque seductora por su simpleza, altamente falaz. Hay tasas de replicabilidad variables, que dependen del campo, y cada una de dichas tasas puede ser explicada apelando a razones diferentes. Por ejemplo, en biomedicina puede ser un rasgo menos extendido que en psicología, y en el caso de los ensayos clínicos médicos podría explicarse por el mal uso —o abuso— de herramientas estadísticas, con las que se puede hacer maravillas, como que dependiendo de un par de sujetos los resultados sean positivos o negativos, mientras en psicología el problema podría deberse a otras razones. Incluso dentro de la psicología podemos encontrar más matices. Por ejemplo, en psicología social puede deberse a planificaciones metodológicas deficientes y a variaciones culturales entre las muestras, pero en psicología clínica puede ser un problema relacionado con una baja elucidación del concepto de «grupo de control» o de «placebo». Estos conceptos son muy problemáticos y cambiantes en la práctica clínica de la psicología, como también lo son, por ejemplo, en la fisioterapia. Es sencillo pensar en un placebo en farmacología, pero es complejo pensar en lo mismo cuando tocas o hablas con los pacientes; y aún más complejo unificar todos estos diferentes conceptos de placebo como los mismos procesos neurológicos. Conocidos son en este sentido los problemas de la acupuntura, donde la situación se ha convertido en una locura en la que cada cual aplica el placebo como le da la gana.

Extralimitando la replicabilidad

La mitología de la replicabilidad ha tenidos dos consecuencias. Por un lado, ha llevado a varios científicos a adoptar caminos muy poco adecuados, como, por ejemplo, el caso de la llamada «medicina basada en el paciente». El razonamiento aquí es que, claro, como la medicina no sería replicable, o lo sería en muy bajo grado vete tú a saber por qué, entonces resulta adecuado dejar de pretender que lo sea y, en lugar de hacer estudios con muestras amplias, dedicarnos a hacerle un traje a medida a cada paciente. Esta idea, además de utópica en términos prácticos, supone dinamitar la mina de la ciencia. La razón es que la ciencia consiste, en su mayor parte, en razonamientos probabilísticos, y estos razonamientos necesitan de una muestra amplia de evidencia. Claro está, esa forma de razonar tiene sus limitaciones, pero nos ha llevado hasta aquí, que no es precisamente poco. Por otro lado, en lugar de despreciar la replicabilidad, ha llevado a otro grupo de gente a ensalzarla, de modo que la obsesión por conseguirla y por suponerle beneficios ha ido creciendo hasta lo irracional (Simons, 2014).

Respuesta a algunos mitos acerca de la replicabilidad:

– No sirve para detectar fallos metodológicos: Si yo replico en todo el sentido del término un experimento, que es lo que la gente suele tener en la cabeza, lo que hago es copiar sus protocolos experimentales al 100%. Por esta razón, no puedo generar progreso respecto a mis predecesores replicándolos, dado que lo único que voy a hacer es ver si sale lo mismo si hago lo mismo. Si hago lo mismo y sale lo mismo, pues muy bien, dos resultados en lugar de uno, aunque el valor epistémico de ambos es el mismo, dado que no he aportado conocimiento propiamente nuevo. Si hago lo mismo y sale distinto, ¿he refutado algo? Pues no, simplemente he visto que sale distinto, lo cual me ha de llevar a un razonamiento muy complejo al respecto o a ninguno y ver si venzo a mi predecesor replicando una y otra vez hasta ganarle en número de resultados o perder en el intento.

– Su utilidad respecto a la detección de fraudes es muy limitada: Que yo replique algo y salga diferente no quiere decir que el otro haya cometido un fraude; simplemente quiere decir que el fenómeno es cambiante y/o que podríamos estar obviando variables ocultas. La replicación dificilmente es del 100%, con lo cual al anterior investigador siempre le queda la carta de apelar a los factores diferenciales entre ambos experimentos.

– La presencia de una baja tasa de replicabilidad no significa que nuestra actividad científica sea fraudulenta ni tampoco que sea errónea: Puede significar muchas cosas en muchos contextos. Una de esas cosas puede ser, simplemente, que el campo es así debido a su dominio y punto. Yo ahora puedo hacer un experimento sociológico y dentro de 20 años, o en otro país, o en el pueblo de al lado, a saber si arrojará los mismos resultados. Y no pasa nada. Un único experimento en ciencia no vale nada; lo que vale son muchos experimentos que incluyan pequeñas variaciones pero que presenten la suficiente homogeneidad como para llevar a caso razonamientos de orden superior en torno a ellos. Estadísticamente hablando, los falsos negativos, los falsos positivos y los resultados variables van a ocurrir, con lo cual necesito de muchos datos. Dichos datos, además, han de ser interpretados en relación a su propio domino, teniendo en cuenta sus limitaciones al extrapolarlos o compararlos.

El valor real de la replicabilidad total es muy bajo; el valor real de la replicabilidad parcial es dotarnos de bases estadísticas amplias. En este sentido, replicar algo no significa que me tenga que dar el mismo resultado, sino observar qué pasa si hago algo parecido. Este es el gran problema: pensar que en ciencia todo ha de llevar a Roma, cuando el mundo es mucho más retorcido. Al final llegaremos a Roma o no, pero la línea recta dificilmente la veremos. ¿Esto hace que la psicología y la sociología sean complicadas? Sí. Pero, oye, la vida es complicada, qué quieres que te diga. Si quieres vivir en un mundo en el cual un único experimento pueda determinar la validez o invalidez de una teoría en campos de complejidad ontológica, y que dicha complejidad sea suprimida para que todo sea más cómodo y podamos obtenener los mismos resultados haciendo todo el rato lo mismo, entonces te recomiento que te mudes de planeta. Hay una canción de los Hives que dice que la definición de la locura es hacer lo mismo y esperar resultados distintos; desde un punto de vista realista, esta debería ser, en cambio, la definición misma del sentido común.

Para más información: Hay muy poca investigación en filosofía de la ciencia respecto a la replicabilidad, lo cual no deja de ser sorprendente debido a lo interesante del tema. En nuestro entorno, tenemos el placer de tener al grupo de la UNED, que lleva un tiempo particularmente interesado por esta cuestión en el marco de su interés, más general, en filosofía de la medicina y en epistemología. Echarle un vistazo a las publicaciones de Jesús Zamora Bonilla o de David Teira, a quien considero una persona particularmente brillante, podría ser de gran interés para el lector.

Por Angelo Fasce

Beyerstein B (1995) Distinguising Science from Pseudoscience. Consulted in: http://www.sld.cu/galerias/pdf/sitios/revsalud/beyerstein_cience_vs_pseudoscience.pdf

Gruenberger F (1964) A measure for crackpots. Science 25: 1413-1415.

Hansson, SO (1983) Vetenskap och ovetenskap. Stockholm: Tiden.

Norton J (2015) Replicability of experiment. THEORIA 30(2): 229-248.

Lack C, Rousseau J (2016) Critical thinking, science, and pseudoscience: why we can’t trust our brains. New York: Springer Publishing Company.

Open Science Collaboration (2015) Estimating the reproducibility of psychological science. Science 349(6251), aac4716.

Simons D (2014) The Value of Direct Replication. Perspectives on Psychological Science 9(1): 76-80.

Vollmer G (1993) Wissenschaftstheorie im Einsatz, Beiträge zu einer selbstkritischen Wissenschaftsphilosophie Stuttgart: Hirzel Verlag.