Otros toques de atención en la metodología científica

Mirando el contenido del último número de TREE he visto que continúa la polémica sobre el efecto de la revisión mediante doble ciego y el sesgo entre aceptación y rechazo de artículos con una mujer como primera autora (ver al respecto). En este caso, la discusión la protagoniza el editor de una de las revistas incluidas en aquel estudio (que no salía muy bien parada) seguida de la lógica réplica de los autores firmantes del primer trabajo. Desde luego recomiendo su lectura. Un intento por limpiar el nombre de la revista (Journal of Biogeography mediante su editor R. J. Whittaker) y una curiosa respuesta de los autores. Aunque ahora no quiero profundizar en este tema (quería tratar otros aspectos diferentes), me gustaría dar una pincelada de lo que se cuece en estos artículos. Según se detalla, Budden y colaboradores (autores del polémico estudio) parecen que tienen apunto de sacar del horno otro trabajo sobre el tema incluyendo datos editoriales (no accesibles para los autores en el primer estudio) proporcionados por una de las más importantes editoriales de publicaciones científicas (Blackwell Publishers). Curiosamente, Journal of Biogeography es una de las revistas distribuidas por este grupo editorial, pero parece que el comité editorial de la revista (personado en la figura de su editor jefe, el mismo R. J. Whittaker) ha declinado la participación en ese estudio argumentando confidencialidad de los datos requeridos por Budden y colaboradores. En relación con todo este tema también recomendamos un artículo de Tregenza publicado en TREE hace unos años (ver más abajo).

Pero aunque quería comentar esto no pretendía que fuese el tema central de esta entrada y es que buceando en estos artículos he llegado a otros que me parecen interesantes para ser citados aquí. Su tema central, otros problemas de los que puede adolecer la ciencia, la nacionalidad del autor. Ann M. Link testó la posibilidad de que los artículos enviados a Gastroenterology difirieran en la tasa de aceptación o rechazo en función de que fuesen firmados por autores de USA o de fuera de USA y que fuesen revisados por autores de este u otros países. Así, los artículos escritos por autores de USA tuvo una mayor frecuencia de aceptación cuando los revisores eran compatriotas suyos que cuando no lo eran. Además, aunque los revisores extranjeros (de fuera de USA) tendieron a evaluar de manera más favorable los manuscritos procedentes de USA (con una significación de 0,09), esta asociación aumentaba considerablemente (p=0,01) cuando autores y revisores compartían nacionalidad (ambos de USA). ¿A qué se debe? ¿Acaso nos creemos más los resultados según de donde vengan? ¿Hay un favoritismo por aceptar los artículos de conocidos o paisanos? En este estudio también se observa que cuando el manuscrito provenía de autores de fuera de USA, el porcentaje de aceptación y rechazo no difería entre revisores de USA o de fuera de ese país. Entonces ¿es mejor la ciencia de USA que la del resto de los países? ¿La revisión es más eficaz cuando la hacen gente menos relacionada? La verdad es que da que pensar. Por su parte, en otro estudio se encontró un alto efecto del país de afiliación sobre la aceptación del manuscrito. Estas diferencias fueron patentes incluso cuando se limitaron los análisis a países ricos diferenciándolos en función de que los trabajos provinieran de países con el inglés como lengua oficial (Australia, Canada, Nueva Zelanda, Reino Unido y USA) frente países con otro idioma oficial (Países de la UE, Israel, Japón, Noruega y Suiza). Aunque estos estudios tienen muchos puntos flacos como limitar el estudio a una nacionalidad frente al resto (primer caso) o identificar como nacionalidad el lugar de correspondencia del autor, parece indicar que sería aconsejable que las revisiones se realicen sin sesgos de nacionalidad. Es difícil saber si realmente en USA (u otros países) se hace siempre mejor ciencia que en otros países o si son factores sociales o relativos al lenguaje los que determinan estos sesgos, pero en cualquier caso sirve para que sigamos atentos a ello. Quizás el modelo del doble ciego nuevamente se posiciona como una alternativa útil para evitar estas dolencias.

Pero una vez pasada la barrera de aceptación o rechazo del artículo, ¿qué pasa cuando el artículo ya está publicado? ¿Acaso permanecen esos sesgos que adolecen la revisión a la hora de citar los artículos? Esas preguntas se las hicieron ya en su día Roosa Leimu y Julia Koricheva para trabajos en el área de ecología. Sus resultados arrojaron una nueva evidencia, existe un sesgo en las tasas de cita en relación a que el primer autor sea o no de un país de habla inglesa, siendo favorecidos aquellos estudios de autores anglosajones. ¿A qué se debe? Lógicamente nos encontramos con un nuevo punto de difícil explicación, en el que deben estar influyendo multitud de factores. Lo que parece lógico es que para aquellos autores provenientes de países de habla no inglesa, la redacción de manuscritos en ese idioma supone un cierto sobreesfuerzo, a pesar del cual, posiblemente de manera general, no se alcance un nivel óptimo de redacción. Esto tiene que dificultar la lectura por parte de aquellos autores de habla inglesa y puede suponer un cierto “rechazo” a leer estos artículos y a la postre a citarlos. En cualquier caso nos encontramos ante graves dificultades a la hora de realizar estos estudios sobre la pureza de la ciencia debida a múltiples factores, desde aquellos más básicos como la accesibilidad a los datos para realizarlos a aquellos debidos al sesgo natural en la distribución de los científicos. Por ello, sería aconsejable hacer multitud de estudios sobre el tema que despierten en lo científicos un afán por recordar la “limpieza” de la ciencia y alertar sobre posibles defectos del sistema.

Para terminar daremos una nota de color en este desconcierto apático. En estos estudios también encontramos resultados halagüeños y esperanzadores en cuanto a la “pureza de los científicos”. Así, en el estudio de Leimu y Koricheva vemos que no parece que los científicos muestren un comportamiento machista a la hora de citar los trabajos de otros científicos, no encontrándose sesgos significativos en el número de citas por razón de sexo del autor. No todo van a ser malas noticias, ¿no?

Citas:
Ann M. Link. 1998. US and non-US submissions an analysis of reviewer bias. JAMA 280: 246-247.
Budden et al. 2008. Response to Whittaker: challenges in testing for gender bias. Trends in Ecology & Evolution 23: 480-481.
Leimu, R. y Koricheva, J. 2005. What determines the citation frequency of ecological papers? Trends in Ecology & Evolution 20: 28-32.
Tregenza, T. 2002.Gender bias in the refereeing process? Trends in Ecology & Evolution 17: 349-350.
Whittaker, R. J. 2008. Journal review and gender equality: a critical comment on Budden et al. Trends in Ecology & Evolution 23: 478-479.