Un decálogo para usar indicadores bibliométricos

La gente de Thomson Reuters ha elaborado un Libro blanco sobre el uso de indicadores bibliométricos para la evaluación de la investigación (Pendlebury, 2008) en el que se desarrolla un decálogo con recomendaciones y precauciones a tener en consideración para usar indicadores bibliométricos. Yo os voy a ofrecer mi traducción libre, muy libre, del decálogo:

1.- ¿Es potable la fuente de la que bebemos?: Debemos escoger la fuente adecuada para obtener los datos para nuestro estudio, o al menos ser conscientes de las carencias y precauciones con las que hay que tomar los datos obtenidos. Por ejemplo, Science Citation Index suele considerarse una fuente en la que la biomedicina está bien representada; no así la informática.

2.- Escoge apropiadamente (a) el tipo de publicación, (b) el área de trabajo y (c) el marco temporal: (a) Si buscamos sin más la producción de un autor nos encontraremos con artículos pero también con cartas, contribuciones a congresos, editoriales, revisiones y puede que sólo queramos su producción científica y no su producción como científico. (b) Si buscamos los trabajos de bibliometría únicamente en Scientometrics y su categoría (por llamarla de alguna manera), Computer Science, nos quedaremos sin los trabajos publicados en todas esas revistas a las que les gusta tener un artículo especial en el que se relatan éxitos bibliométricos de la revista. (c) Hay que distinguir dos tiempos a tener en cuenta; uno, el de publicación: por ejemplo podemos decidir revisar las publicaciones de los últimos cinco o diez años en lugar de los últimos cien, lo que nos permitirá comparar con cierto equilibrio al cátedro con los doctores recientes; dos, la ventana de citación: podemos analizar todas las citas o establecer una ventana de citación de dos o tres años (para artículos publicados en 2000 contar las citas recibidas en 2001, 2002 y 2003 en el caso de tres años); al establecer ventanas de citación podemos comparar las citas que recibe un artículo de 1999 y las que recibe uno de 2003.

3.- Todo o nada o un poquito: Un artículo puede estar firmado por 3 o por 300 y podemos decidir que cuente para todos como uno o como una parte (1/3 o 1/300), podemos hacer que cuente para el corresponding author, que suele coincidir con el primero o para el primero y el último o para el primero, el segundo y el último, podemos hacer que cuente para todas las instituciones firmantes o una vez por cada, y del mismo modo podemos proceder con las citas recibidas. Lo de repartir el mérito tiene más sentido en áreas donde encontramos artículos firmados por 200 y menos en aquellas donde lo habitual es encontrarse con tres o cuatro firmantes. Y obviamente dependerá de las posibilidades de la base de datos fuente.

4.- El fino trabajo del artesano: Los datos hay que trabajarlos y aunque cada vez ofrezcan más posibilidades las bases de datos bibliográficas, no hay que creerse lo que le muestran a uno. Si buscamos a un autor habrá que buscarlo por sus múltiples posibles variantes, si buscamos las citas de un artículo no nos creamos lo que dice Times Cited y comprobemos en Cited Reference Search que hay más citas que las indicadas, si alguien se pasa con las autocitas igual debamos plantearnos quitarlas o al menos observarlo. Podemos encontrarnos con instituciones que se nombran de distinta manera o podemos atribuir la última institución a los autores analizados, podemos reclasificar las revistas… En definitiva, podemos enriquecer y dar mayor valor a los datos fuente obtenidos.

5.- Si se suman dos manzanas… Pero si se suma una pera y una manzana: Cada disciplina tiene sus propios hábitos de publicación y citación, por lo que resulta complicado, por no decir imposible, comparar agentes o a gentes de distintos campos científicos. Tampoco podemos comparar las citas totales recibidas por un artículo de hace 8 años con uno recien publicado.

6.- Abajo el absolutismo, viva la relatividad: Decir que España publicó 45.000 artículos en 2007 no es decir mucho frente a decir que España es el 9º país del mundo productor de artículos en 2007. Decir que un grupo de investigación publica 20 artículos al año dice algo, pero dice menos que decir que de todos los grupos analizados es el segundo con más publicaciones al año. Incluso la comparación con la media es poco recomendable en muchos casos, porque en bibliometría las distribuciones suelen ser asimétricas; es más recomendable el uso de la mediana, de cuartiles o deciles. Y estratificar por años, por áreas, por grupos de revistas, por tipo de publicación, por autores principales y colaboradores, por colaboración internacional y nacional…

7.- En la variedad está el gusto: El uso de muchos argumento apoya mejor una idea y el uso de múltiples indicadores sustenta mejor unas conclusiones.

8.- La larga cola y el que la tiene más grande: Lo que decía al final del 6; las distribuciones bibliométricas suelen ser asimétricas, un pequeño número de artículos acumulan la mayor parte de las citas y un gran número de artículos se reparte el resto de ellas, hay un grupo de autores muy productivos y muchísimos autores con un único artículo, etc.

9.- No seamos impertinentes: ¿Los datos recogidos son los pertinentes para aquello que queremos analizar? ¿Nos faltan? ¿Nos sobran?

10.- Eppur si muove: Los datos y las conclusiones obtenidas se deben inspeccionar con escepticismo, con espíritu científico. Ante ellos hay que preguntarse ¿estos datos responden nuestras preguntas iniciales? ¿son refutables las conclusiones extraidas de los resultados? ¿se exponen conclusiones no sustentadas en los resultados?

Pendlebury, David A. White Paper: Using Bibliometrics in Evaluating Research. Philadelphia: Thomson Reuters, 2008. [Consulta: 12 de noviembre de 2008].

Artículos relacionados:
– Normas relativas a las publicaciones científicas en internet (Un útil compendio resumido de recursos y estándares para escribir y citar artículos científicos en internet).
– Normas tradicionales relativas a las publicaciones científicas (Un útil compendio resumido de recursos y estándares tradionales para escribir y citar artículos científicos).

Fuente: Álvaro Roldán – bibliometria.com