Índices que no dicen nada

Gracias a un tuit de @Weitergen acabo de leer sobre el artículo que acaban de aceptarle al grupo de Björn Brems sobre el fraude del factor de impacto de las revistas científicas, y en su blog, comenta parte de los resultados de su trabajo, que no por ser de sobra conocidos resultan menos interesantes. Y esto no va sólo para los que estamos en este negocio de la ciencia, sino para los que leen o escriben de Ciencia, para que no se vuelvan locos al oir la palabra Nature o Science pensando que lo que se publica allí es oro…o casi.

Este grupo de investigadores analizó variables como la calidad científica, la utilidad, o el índice de retractaciones -de retirada de un manuscrito por errores o por mala conducta científica, que en llano significa inventarse los datos, vaya-. Vais a ver qué útil es el factor de impacto, ya…

Para quien no lo sepa, el factor de impacto mide, en teoría, el impacto que tienen los descubrimientos publicados en una revista determinada y se calcula, entre otras cosas, por el número de citaciones que de los artículos publicados en esa revista se dan en un periodo de 2 años, normalmente. Las revistas guays, que son (entre otras) las que mencioné anteriormente tienen altos factores de impacto y todo el mundo se mata por publicar ahí, porque eso es lo que da currículo.

Ahora volvemos al artículo que tenemos entre manos. ¿Para qué sirve el factor de impacto en realidad? Pues los datos indican que correlaciona de manera muy débil con los indicadores más comunes de utilidad y/o calidad. Además, en términos estadísticos, sólo es un poco mejor que el azar para estimar la novedad o la importancia y atención, PEOR a la hora de estimar la calidad científica de las publicaciones. Esto significa que a la hora de buscar un artículo de buena calidad científica es más probable encontrarlo en una revista de bajo índice de impacto, que normalmente es una revista especializada pero donde quien lo hace tiene menos presión y publica datos mejor contrastados y más fidedignos.

Pero esperad, que aún hay más. Hay algo para lo que si sirve el factor de impacto: para predecir dónde es más probable que se retracte un artículo, entre otras razones porque la presión para publicar en las revistas más conocidas facilita el que se recurra a tácticas deshonestas pero también porque hay una mayor atención puesta en descubrir al tramposo. Así pasó con Hwang Woo-suk, el coreano que aseguraba haber obtenido cultivos de células madre in vitro y resultó haber falseado los datos publicados en Science. O más recientemente, y sobre el mismo tema, la polémica sobre los posibles errores y duplicaciones de imágenes en el Cell de Mitalipov. Para lo otro para lo que sirven es para confirmarnos en nuestra percepción subjetiva de la calidad de esas revistas donde mandamos lo mejor de lo mejor de nuestros datos, porque vaya, si tienen ese factor de impacto, por algo será ¿no? Aunque sea por el interés de los que venden/publican esas revistas…

Habla Brembs de que su artículo al final ha sido publicado por una revista especializada en Neurociencia porque “las grandes” no encontraron bastante novedoso o de interés general el contenido de su trabajo. Vaya, vaya…al pez grande no le interesa que se hable de cómo mantiene la rueda de la presión del “publish or perish” (publica o desaparece)…¡qué sorpresa!

Por supuesto, no es ninguna sorpresa para los que llevamos un tiempo en esto, que mucha de la mejor ciencia no se publica en Science, ni en Nature y que lo que contienen esas revistas en ocasiones no vale mucho más que el Cuore o el Hola!. Así que ojo con los índices, ni Standard and Poor´s ni el índice de impacto son indicadores reales. La calidad de la ciencia se mide de otra forma. Por ejemplo, reproducibilidad. Por ejemplo, tranferencia tecnológica. Por ejemplo, avance del conocimiento. Y así, un largo etcétera.

Addendum: Acabo de enterarme por medio de @sonicando de que existe una iniciativa para acabar y/o modificar el modo de evaluación de la ciencia. La iniciativa se llama DORA (Declaración sobre la evaluación de la Ciencia) por sus siglas en inglés y surgió no hace demasiado -a finales de 2012- en el encuentro anual de la sociedad americana de biología celular. Os emplazo a que firméis la petición y paséis la voz. No importa que no seáis científicos, esto es algo que también nos incumbe como ciudadanos, porque la mayor parte de la investigación se hace con dinero público y es importante saber cómo y qué pasa con ello. Venga esa firmita…

One thought on “Índices que no dicen nada

Comments are closed.