29 julio 2008

Ciego yo, ciego tú.

Los científicos, como personas que son, están supeditados y condicionados por sus propias convicciones y opiniones personales que en ocasiones enturbian el buen hacer de la ciencia.

El método tradicional de comunicación de resultados mediante la publicación de los mismos en revistas científicas está supeditado a varios condicionantes. Para evaluar la calidad del trabajo, valorando criterios como el diseño experimental, el análisis de los datos o la interpretación de los resultados, las revistas utilizan un sistema de revisión por pares. Esa evaluación la realizan varios investigadores (generalmente dos aunque de forma variable) más o menos conocedores del tema que trata el estudio. En ciertas ocasiones, en base al reducido “valor” que se le asigna al trabajo o debido a que el tema que trata el estudio no se encuentra dentro del ámbito de la revista, el editor, previamente, puede tomar la decisión de interrumpir este proceso antes de enviar el trabajo a ser revisado (ver).

Aunque el sistema de revisión por pares se presenta como un método por el que se depuran errores presentes en los trabajos mediante la calidad de los mismos, no deja de tener sus problemas. Generalmente los revisores son desconocidos para el autor que envía su trabajo mientras que, en general, el revisor suele conocer el firmante del artículo. Eso les otorga un cierto estatus de poder. Así, posibles enemistades personales u otros condicionantes pueden afectar a la decisión final de los revisores, aquellos que a la postre deben evaluar si el trabajo es apto o no para ser publicado en esa revista. Recientemente, ciertas revistas científicas han tomado la decisión de depurar este mecanismo de evaluación haciéndolo ciego en ambas direcciones, esto es, que ni los autores ni los revisores sepan quienes son los otros. Este mecanismo, conocido como doble ciego, parece disminuir sesgos producidos, por ejemplo, por el machismo (1, pero no sin la lógica polémica 2, 3), algo que a priori uno debería pensar que esta alejado del mundo científico. Posiblemente factores como la nacionalidad de los autores del trabajo también sean potencialmente influyentes a la hora de la evaluación de los resultados presentados.

Este mecanismo de doble ciego se basa en retirar del texto que se les envía a los revisores el nombre de los autores y secciones como los agradecimientos, en la que frecuentemente aparecen datos que fácilmente conducen a conocerlos. Pero si nos preguntamos si esto es completamente eficaz, la respuesta clara es que no. Por ejemplo, viendo la lista de referencias o las metodologías empleadas en los trabajos puede resultar relativamente fácil conocer quienes son los firmantes del estudio. Además, en trabajos realizados en el campo es altamente recomendable especificar el lugar donde se realizó ese estudio. Esto hace que aquellos investigadores que realizan seguimientos de poblaciones fijas o que trabajen en un tema muy particular en cierto país puedan ser fácilmente detectados por el revisor. Por tanto, aunque este filtro no es 100% eficaz sí permite, al menos, una reducción de la certeza del revisor sobre quien es el autor o autores del estudio. Además, al no conocer con exactitud quien de ese equipo es el primer autor del estudio, se pueden reducir posibles sesgos debidos, por ejemplo, al sexo del firmante (1),…

Es inevitable encontrarnos con casos como estos, dado que los científicos son parte de la sociedad y en la sociedad están presentes estos problemas. No obstante hay que ser conscientes de ellos y evitar, en la medida de lo posible, que la ciencia se resienta de las dolencias de los humanos.

1.- A.E. Budden et al., Double-blind review favours increased representation of female authors, Trends Ecol. Evol. 23 (2008), pp. 4–6.

2.- T.J. Webb et al., Does double-blind review benefit female authors?, Trends Ecol. Evol. 23 (2008), pp. 351–353.

3.- A.E. Budden et al., Response to Webb et al.: Double-blind review: accept with minor revisions, Trends Ecol. Evol. 23 (2008), pp. 353–354.

8 comentarios:

Anónimo dijo...

Patético que ocurran éstas cosas...
Me gustaría pensar que el machismo no es la causa general, así que me decanto por las malas relaciones entre grupos. Aún así, debemos luchar para que desaparezcan estos comportamientos dignos de otras disciplinas un poco menos científicas...
Saludos!

Freddy Milton dijo...

Y en el caso de que un trabajo no sea publicado, simplemente... ¿no existe?.

Parece una dictadura.

Jafma dijo...

En la práctica, si no está publicado en una revista de las más conocidas, no existe. Sin embargo, si te lo rechazan en una puedes intentar publicarlo en otra (y de hecho siempre se hace así; no vas a perder un trabajo por una sóla revisión). Entonces aparecen cosas más curiosas, como que en un supuesto sistema entre pares, es sorprendentemente más fácil publicar en revistas "menos importantes", o que dependiendo de qué revisores te toquen en una misma revista, trabajos similares tienen respuestas distintas.

El problema de fondo, en mi opinión, es que el currículum (y por tanto el futuro profesional) de los investigadores actualmente depende, por decisiones políticas, de las publicaciones en ciertos medios concretos, así que todo el mundo tiene que seguir el sistema de las revistas (en ese sentido sí es una dictadura, y se mezcla con aspectos mercantiles). Pero los desarrollos científicos no deberían ser así, sino estar públicos TODOS (y sometidos a revisión continua). Claro, así no se podría saber tan directamente qué currículum tiene cada uno (o qué de bueno es; pero quién puede averiguar tales cosas...).

Sandra Castillo dijo...

La realidad es que los que envían un trabajo a una revista también saben quien les va a revisar. Yo te reviso a ti y tú me revisas a mi.
Hace un año que empecé a trabajar en una empresa de investigación (la mayor empresa de Finlandia) y esto es muy poco serio.

Anónimo dijo...

Interesante tema de debate. Está claro que algún filtro tiene que existir para dar dotar de una cierta calidad el contenido de este tipo de revistas científicas. Eso es precisamente lo que las distingue.
Aunque el filtro tenga ciertos problemas... Muchas veces se descartan buenos trabajos de un autor simplemente porque no es conocido.
La metodología del doble ciego es un buen paso hacia la mejora de este filtro, aunque seguramente habría que mejorarlo más.
De todos modos no creo que llegue a ser perfecto, supongo que la ciencia la hacen las personas y las personas son subjetivas en cierta medida. La ciencia es más objetiva, pero no del todo objetiva, sólo en la medida en que somos capaces de acercarnos un poco más a dicha objetividad.
Suena a filosofía totalmente...:P

Eugenio Manuel dijo...

Otro factor que pone en tela de juicio el "doble ciego" son las comunicaciones científicas en congresos. En algunos campos la ciencia es tan especializada que se conocen los cuatro gatos que trabajan en un tema concreto, en los congresos a veces se informa sobre un avance, luego en el artículo huele de lejos a lo que se dijo en tal o cual congreso.

Buen post, me encanta leer cosas sobre metodología de la ciencia.

Roke Iñaki Oruezabal dijo...

Doble ciego para ya, publicación abierta y con comentarios por identificación ISI.
Lo que no puede ser son los chanchullos (por amistad o por enemistad) que conocemos todos y que originan que se publique o no un artículo.
Un amigo mandó un trabajo a una revista buena como Nature Biotechnology, todo buenas revisiones salvo un referee que no acababa de contentarse, tras varios pases solicita la recusación y el paper pasa (era un enemigo, por su parte, declarado).
La contraria, en mi tema hay un tipo que escribre todos los news and views del tema en Nature, el currículum normalito pero con amistad con el editor...infla que te infla el CV con comentarios a artículos ajenos...
Doble ciego ya.

Anónimo dijo...

¿Podrán los humanos hacer ciencia sin interferencia de humanos? ¡No!
Lo peor, son las nuevas autoridades científicas, creadas por asociaciones de empresas, que muy fielmente atienden a sus propios y exclusivos intereses, como RIFM y otros que ya están en camino.
Los revisores pueden arruinar carreras, el RIFM a países enteros.
Manipular la ciencia es un buen negocio.
Lo pero lo peor de todo es el caso de MERCK y Joan Ramon Laporte, en defensa de su ciencia.
¡Suerte a todos! Y ... ¡Salud!