Fake science : panorama des méconduites et contre-feux pour déjouer les pièges
En janvier 2024, Guillaume Cabanac, professeur d’informatique à l’Université Toulouse III – Paul Sabatier et membre de l’Institut de recherche en informatique de Toulouse, intervenait autour de de la notion de fake science et des outils pour s’en prémunir à la MSH Sud (durée de la conférence :1h27, https://www.youtube.com/watch?v=enVQ3Q7p__A)
La conférence vient rencontrer des intérêts de notre profession : la notion de fiabilité étant au coeur de nos formations aux compétences informationnelles, ou à l’éducation aux médias.
Quelles sont les menaces que rencontre la science, dans le contexte “publish or perish” ?
– les fake conferences ;
– les éditeurs prédateurs ;
– les papermills (usines à articles).
Qu’est-ce qui pollue la science ?
– les générateurs de textes : SCIgen et Mathgen, depuis 2005 environ ;
– détourner les métriques : présenter un CV bien rempli (beaucoup de publications, très citées, pour apparaitre dans le classement Highly Cited Researchers de Clarivate, par exemple) ;
– le flou sur les auteurs : invités, fantômes, dont l’identité a été usurpée ;
– la fabrication et la falsification de données ;
– la falsification du texte ou des images ;
– insérer des références dans les métadonnées qui n’apparaissent pas dans le pdf de l’article.
A t-on un espoir ?
L’ évaluation post publication permet de signaler un certain nombre de dérives.
Le danger actuel est l’effet domino : des articles légitimes ont pu citer des articles rétractés : quelle est la qualité de l’article et de ses conclusions ? Comment nettoyer la chaine ?
Le processus d’autocorrection de la science est réputé éliminer ces cas problématiques.
A quoi s’engagent les chercheurs ?
Robert King Merton, père fondateur de la sociologie des sciences, propose 4 piliers :
– communisme, communalisme : mettre en commun ses travaux ;
– universalisme ;
– désintéressement : le salami slicing (découper un article qui aurait eu de la consistance en soi en 5 plus petits articles pour avoir plus de publications) va à l’encontre de ce principe ;
– scepticisme organisé : douter avant tout, analyser. En 20 ans, il y a deux fois plus de revues : y-a-t-il deux fois plus de chercheurs pour les processus d’évaluation par les pairs ?
Guillaume Cabanac a ensuite abordé des cas contemporains de malscience :
– Usurpation d’identité
Googliser son nom régulièrement et faire des alertes Google Scholar permet de lutter contre ça.
– Plagiat in extenso d’articles
Pubpeer permet d’attirer l’attention des éditeurs.
– Plagiat massif d’articles
Simtexter et Text Compare permettent de comparer son article avec la copie et de mettre en lumière les zones plagiées.
– Plagiat de site de conférence
Vérifier que c’est bien la conférence établie pour laquelle je réponds à l’appel à participation, permet d’éviter le piège.
– Les expressions torturées (tortured phrases)
La paraphrase par synonyme permet de passer sous le radar du plagiat (ex : tumeur de l’esprit pour tumeur du cerveau, bigoterie au glucose pour intolérance au glucose).
Le Problematic Paper Screener est un site web qui permet de recenser les cas problématiques.
Ce problème ne concerne pas les éditeurs prédateurs, mais bien les publications scientifiques classiques, à hauteur de 3 articles sur 10 000.
Certaines revues sont infiltrées et produisent un nombre important de mauvais articles.
– Les revues détournées (hijacked journals)
Cela peut être le cas d’une revue qui a été arrêtée et dont le titre est volé pour publier des articles qui n’ont rien à voir avec le thème.
Pour éviter de se faire leurrer, il faut aller sur le Retraction Watch Hijacked Journal Checker.
– Génération de textes et/ou de maths
Certains auteurs, peu malins, laissent des traces du fait que l’article a été écrit par Chat GPT (en laissant “regenerate article” dans le corps du texte, par exemple, des ruptures de style ou des références hallucinées).
– Vente de position d’auteurs et de citations
– Pratiques commerciales agressives
Multiplier les numéros spéciaux relève de cette pratique.
Le nombre de retractation explose : comment faire pour suivre la chaine ?
En terme de prévention, on peut aller sur PubPeer, et installer une extension, sur un navigateur ou sur Zotero, pour voir les références commentées.
En prévention, le gatekeeping est la clé, via des conseils aux éditeurs avant publication.
Cette conférence permet de réfléchir aux processus d’évaluation de la science.
La partie la plus intéressante concerne les tortured phrases (https://youtu.be/enVQ3Q7p__A?si=Z25QzQc-OusPGmga&t=2137), qui permet de s’interroger sur le plagiat, et l’usage, également, de l’intelligence artificielle dans les pratiques de la mauvaise science.
Comment faire confiance à un article qui se fonde sur une dizaine d’articles rétractés ? De plus, les IA vont apprendre sur ce corpus : quelles conclusions vont-elles tirer ?