18 agosto 2008

Otros toques de atención en la metodología científica

Mirando el contenido del último número de TREE he visto que continúa la polémica sobre el efecto de la revisión mediante doble ciego y el sesgo entre aceptación y rechazo de artículos con una mujer como primera autora (ver al respecto). En este caso, la discusión la protagoniza el editor de una de las revistas incluidas en aquel estudio (que no salía muy bien parada) seguida de la lógica réplica de los autores firmantes del primer trabajo. Desde luego recomiendo su lectura. Un intento por limpiar el nombre de la revista (Journal of Biogeography mediante su editor R. J. Whittaker) y una curiosa respuesta de los autores. Aunque ahora no quiero profundizar en este tema (quería tratar otros aspectos diferentes), me gustaría dar una pincelada de lo que se cuece en estos artículos. Según se detalla, Budden y colaboradores (autores del polémico estudio) parecen que tienen apunto de sacar del horno otro trabajo sobre el tema incluyendo datos editoriales (no accesibles para los autores en el primer estudio) proporcionados por una de las más importantes editoriales de publicaciones científicas (Blackwell Publishers). Curiosamente, Journal of Biogeography es una de las revistas distribuidas por este grupo editorial, pero parece que el comité editorial de la revista (personado en la figura de su editor jefe, el mismo R. J. Whittaker) ha declinado la participación en ese estudio argumentando confidencialidad de los datos requeridos por Budden y colaboradores. En relación con todo este tema también recomendamos un artículo de Tregenza publicado en TREE hace unos años (ver más abajo).

Pero aunque quería comentar esto no pretendía que fuese el tema central de esta entrada y es que buceando en estos artículos he llegado a otros que me parecen interesantes para ser citados aquí. Su tema central, otros problemas de los que puede adolecer la ciencia, la nacionalidad del autor. Ann M. Link testó la posibilidad de que los artículos enviados a Gastroenterology difirieran en la tasa de aceptación o rechazo en función de que fuesen firmados por autores de USA o de fuera de USA y que fuesen revisados por autores de este u otros países. Así, los artículos escritos por autores de USA tuvo una mayor frecuencia de aceptación cuando los revisores eran compatriotas suyos que cuando no lo eran. Además, aunque los revisores extranjeros (de fuera de USA) tendieron a evaluar de manera más favorable los manuscritos procedentes de USA (con una significación de 0,09), esta asociación aumentaba considerablemente (p=0,01) cuando autores y revisores compartían nacionalidad (ambos de USA). ¿A qué se debe? ¿Acaso nos creemos más los resultados según de donde vengan? ¿Hay un favoritismo por aceptar los artículos de conocidos o paisanos? En este estudio también se observa que cuando el manuscrito provenía de autores de fuera de USA, el porcentaje de aceptación y rechazo no difería entre revisores de USA o de fuera de ese país. Entonces ¿es mejor la ciencia de USA que la del resto de los países? ¿La revisión es más eficaz cuando la hacen gente menos relacionada? La verdad es que da que pensar. Por su parte, en otro estudio se encontró un alto efecto del país de afiliación sobre la aceptación del manuscrito. Estas diferencias fueron patentes incluso cuando se limitaron los análisis a países ricos diferenciándolos en función de que los trabajos provinieran de países con el inglés como lengua oficial (Australia, Canada, Nueva Zelanda, Reino Unido y USA) frente países con otro idioma oficial (Países de la UE, Israel, Japón, Noruega y Suiza). Aunque estos estudios tienen muchos puntos flacos como limitar el estudio a una nacionalidad frente al resto (primer caso) o identificar como nacionalidad el lugar de correspondencia del autor, parece indicar que sería aconsejable que las revisiones se realicen sin sesgos de nacionalidad. Es difícil saber si realmente en USA (u otros países) se hace siempre mejor ciencia que en otros países o si son factores sociales o relativos al lenguaje los que determinan estos sesgos, pero en cualquier caso sirve para que sigamos atentos a ello. Quizás el modelo del doble ciego nuevamente se posiciona como una alternativa útil para evitar estas dolencias.

Pero una vez pasada la barrera de aceptación o rechazo del artículo, ¿qué pasa cuando el artículo ya está publicado? ¿Acaso permanecen esos sesgos que adolecen la revisión a la hora de citar los artículos? Esas preguntas se las hicieron ya en su día Roosa Leimu y Julia Koricheva para trabajos en el área de ecología. Sus resultados arrojaron una nueva evidencia, existe un sesgo en las tasas de cita en relación a que el primer autor sea o no de un país de habla inglesa, siendo favorecidos aquellos estudios de autores anglosajones. ¿A qué se debe? Lógicamente nos encontramos con un nuevo punto de difícil explicación, en el que deben estar influyendo multitud de factores. Lo que parece lógico es que para aquellos autores provenientes de países de habla no inglesa, la redacción de manuscritos en ese idioma supone un cierto sobreesfuerzo, a pesar del cual, posiblemente de manera general, no se alcance un nivel óptimo de redacción. Esto tiene que dificultar la lectura por parte de aquellos autores de habla inglesa y puede suponer un cierto “rechazo” a leer estos artículos y a la postre a citarlos. En cualquier caso nos encontramos ante graves dificultades a la hora de realizar estos estudios sobre la pureza de la ciencia debida a múltiples factores, desde aquellos más básicos como la accesibilidad a los datos para realizarlos a aquellos debidos al sesgo natural en la distribución de los científicos. Por ello, sería aconsejable hacer multitud de estudios sobre el tema que despierten en lo científicos un afán por recordar la “limpieza” de la ciencia y alertar sobre posibles defectos del sistema.

Para terminar daremos una nota de color en este desconcierto apático. En estos estudios también encontramos resultados halagüeños y esperanzadores en cuanto a la “pureza de los científicos”. Así, en el estudio de Leimu y Koricheva vemos que no parece que los científicos muestren un comportamiento machista a la hora de citar los trabajos de otros científicos, no encontrándose sesgos significativos en el número de citas por razón de sexo del autor. No todo van a ser malas noticias, ¿no?

Citas:
Ann M. Link. 1998. US and non-US submissions an analysis of reviewer bias. JAMA 280: 246-247.
Budden et al. 2008. Response to Whittaker: challenges in testing for gender bias. Trends in Ecology & Evolution 23: 480-481.

Leimu, R. y Koricheva, J. 2005. What determines the citation frequency of ecological papers? Trends in Ecology & Evolution 20: 28-32.
Tregenza, T. 2002.Gender bias in the refereeing process? Trends in Ecology & Evolution 17: 349-350.

Whittaker, R. J. 2008. Journal review and gender equality: a critical comment on Budden et al. Trends in Ecology & Evolution 23: 478-479.


5 comentarios:

Héctor dijo...

Jeje. Los científicos no son seres de otro planeta. En psicología de la publicidad se habla de este tipo de cosas. Por ejemplo, nos pueden causar una impresión de mayor confianza empresas inglesas o alemanas que empresas de otros países. Y de hecho los publicistas usan estos recursos para influir en la gente.
Los científicos son personas igual que los demás. La ciencia es menos subjetiva que otras formas de conocimiento, pero la siguen haciendo seres humanos. Seguramente los filtros para la aceptación de los trabajos científicos se puedan mejorar, habrá que ver cómo. La metodología del doble ciego no está mal para empezar...
Buen artículo :)

Un saludo

Jiuq dijo...

Otro artículo "recién" respecto a lo del machismo en el Animal Behaviour:
http://www.sciencedirect.com/science?_ob=ArticleURL&_udi=B6W9W-4SY5X18-5&_user=4225319&_coverDate=09%2F30%2F2008&_rdoc=62&_fmt=high&_orig=browse&_srch=doc-info(%23toc%236693%232008%23999239996%23696055%23FLA%23display%23Volume)&_cdi=6693&_sort=d&_docanchor=&_ct=62&_version=1&_urlVersion=0&_userid=4225319&md5=bd2a41e453049123c480bc479fce4fd4

Parasite dijo...

Sí hector, tengo una opinión como la tuya, la cuestión es que creo, que la ciencia debería ir al margen de estos problemas, y creo que lo consigue con el paso del tiempo y con estudios como estos, pero no debe de bajarse la guardia.

Por otro lado, gracias por el apunte Jiuq, jsto después de leer los artículos de TREE y escribir esto seguí con las alertas y zás, ví esta de AB, un ejemplo más de la necesidad de repetir los estudios, de hacer las cosas desde otros puntos de vista, de comprobar como pueden "cambiar" las conclusiones en función de cómo y qué se analicen. Desde luego, sea o no correcto del todo el modelo presentado inicialmente por Budden o sean mejor los análisis aportados por este trabajo nuevo, lo que es indudable es que el trabajo inicial está desatando un interés atroz, con muchas réplicas, reanálisis,... es algo que preocupa a los científicos claramente.

Gracias por las aportaciones!!

Roke Iñaki Oruezabal dijo...

A la hora de compartir o publicar conocimiento hay aspectos que inveitablemente influencian, como son la similaridad y la proximidad. Más al respecto en artículo de este año de Mergel y Lazer, comentario en http://uamblogger.blogspot.com/2008/08/compartir-conocimiento.html

pearl jewelry dijo...

Good page!

pearl jewelry
akoya pearls
pearl strands
pearl necklace
freshwater pearls