jeudi 6 septembre 2007

Deep impact factor

Intéressant article dans le dernier Current Biology qui fait le résumé des travers du système actuellement en vigueur pour évaluer "objectivement" les scientifiques.
Les scientifiques publient leurs travaux dans des journaux spécialisés avec "revue par les pairs" c'est-à-dire que pour publier il faut que deux ou trois scientifiques indépendants sensés s'y connaitre dans le domaine valident l'article en vérifiant que les expériences ont été bien et complètement menées et si les travaux amènent quelque chose de réellement nouveau. Les différents journaux ne sont pas équivalent mais ont chacun un impact factor c'est-à-dire un nombre qui correspond au nombre moyen de fois qu'un article dans ce journal est cité par d'autres publications (avec le biais que évidemment la médecine est surévaluée par rapport aux autres disciplines). Les scientifiques sont évalués par leur nombre de publication, l'impact factor des journaux où ils ont publié et le nombre de fois que leur article a été cité deux ans après sa parution.
Ce système qui parait juste au premier abord amène de nombreux problèmes si il est considéré seul comme le critère absolu pour trier le bon grain de l'ivraie chez les scientifiques. Tout d'abord, publier dans un journal avec un fort impact factor ne veut pas dire que l'article en question sera très cité, même si ce dernier paramètre est aussi pris en compte. Ensuite, ce système entraine des effets de mode .Par exemple plus on va étudier une molécule plus les travaux sur cette molécule seront cités, plus ce sera rentable de faire un nième article sur cette molécule. A contrario, des articles pourtant fondamentaux comme celui décrivant la double hélice d'ADN en 1953 ou le complexe Hox en 1978 n'ont été cités que très peu durant les deux premières années car trop en avance en quelque sorte sur leur temps. Ensuite, beaucoup de chefs d'équipe préfèrent essayer de "passer en force" dans un journal avec un haut impact factor au prix d'une perte de temps considérable, notamment pour les petits thésards et les post-docs, au lieu de chercher à publier dans un journal vraiment au niveau de l'article, où il sera accepté sans trop de problème ou de délais. Enfin, il y a un aspect assez "commercial" dans tout ça. Beaucoup de chefs d'équipe hantent les congrès, non pas pour partager leur savoir, mais pour "vendre" leur travail à de futurs "reviewers" potentiels.

1 commentaire:

Nicolas Renier a dit…

oui, tout ce système gâche grandement le plaisir de faire de la science : on a l'impression que tous les travaux sont "côtés en bourses", et qu'il faut séduire le plus d'actionnaires possibles (ie les reviewers), si vous me permettez cette comparaison !

SInon, il y a aussi les articles tellement fondamentaux qu'on ne les cite plus, car ils passent pour des acquis, ce qui baisse leur facteur d'impact : l'exemple de l'ADN s'inscrit dans cette logique, mais on pourrait aussi y adjoindre celui de Krebs et autres...