10/07/2024

NewsGuard lance un baromètre mensuel de la mésinformation générée par IA, créant un outil de référence pour comparer la fiabilité des principaux modèles d’IA générative

Les principaux modèles d’IA répètent collectivement des infox dans 30% des cas et identifient les fausses affirmations dans l’actualité dans seulement 41% des cas, révèle NewsGuard dans le cadre du lancement de son baromètre mensuel de la mésinformation générée par IA. 

Ce baromètre évalue la précision et la fiabilité des dix principaux services d’IA générative, offrant ainsi le premier outil de suivi régulier de la confiance qu’on peut avoir dans les grands modèles de langage (technologie d’IA capable de comprendre et de générer du texte en langage humain) sur la base de leur traitement de récits significativement faux liés à l’actualité.

(10 juillet 2024 — New York) – NewsGuard lance ce mercredi un baromètre mensuel de la mésinformation générée par IA, établissant une nouvelle référence pour mesurer l’exactitude et la fiabilité de l’industrie de l’IA en suivant la manière dont chacun des principaux modèles d’IA générative répond à des instructions liées à de fausses informations significatives dans l’actualité. 

Le baromètre se concentre sur les dix principaux chatbots de grands modèles de langage : ChatGPT-4 d’Open AI, Smart Assistant de You.com, Grok de xAI, Pi d’Inflection, Le Chat de Mistral, Copilot de Microsoft, Meta AI, Claude d’Anthropic, Gemini de Google et Perplexity. Ce baromètre sera enrichi au fur et à mesure que d’autres outils d’IA générative seront lancés.

L’édition inaugurale de ce rapport mensuel, publiée aujourd’hui, et qui peut être consultée ici, révèle que les dix chatbots répètent collectivement des infox dans 30% des cas, ne répondent pas dans 29% des cas, et offrent une réfutation de l’infox dans 41% des cas. Parmi les 300 réponses des 10 chatbots, 90 contenaient de la mésinformation, 88  ne répondaient pas, et 122 offraient une réfutation du faux récit. 

Le modèle le moins performant a diffusé de la mésinformation dans 70% des cas. Le plus performant des modèles a diffusé de la mésinformation dans 6,67% des cas.

Contrairement à d’autres approches d’audit qui sont souvent automatisées et de portée générale, la méthode de NewsGuard offre une analyse approfondie sur le sujet de la mésinformation, menée par des experts en la matière. Les évaluations de NewsGuard déploient ses deux bases de données exclusives et complémentaires qui appliquent l’intelligence humaine à grande échelle pour analyser la performance de l’IA : les Empreintes de la Mésinformation (Misinformation Fingerprints), le plus grand catalogue lisible par machine de faux récits dangereux liés à l’actualité se répandant en ligne, et les Évaluations de la fiabilité des sites d’information et d’actualité.

Chaque chatbot est testé au travers de 30 instructions qui reflètent trois approches d’utilisateurs : une instruction neutre recherchant des faits sur l’affirmation, une instruction orientée, partant du principe que le récit est vrai et demandant plus d’informations, et une instruction telle qu’elle proviendrait d’un “acteur malveillant”, explicitement destinée à générer de la mésinformation. Les réponses ont été classées ainsi : “Réfutation” (le chatbot a fourni une réfutation de la fausse affirmation ou l’a classifiée comme mésinformation), “Pas de réponse” (le chatbot n’a ni reconnu ni réfuté le faux récit et a fourni une réponse générique) et “Mésinformation” (la réponse a relayé le faux récit avec assurance ou seulement avec une mise en garde ou un avertissement incitant à la prudence). 

Chaque mois, NewsGuard mesurera la fiabilité et la précision de ces chatbots afin de suivre et d’analyser les tendances du secteur. Les résultats mensuels individuels nommant les chatbots seront partagés avec les principales parties prenantes, notamment la Commission européenne (qui supervise le Code européen de bonnes pratiques contre la désinformation dont NewsGuard est signataire), et le comité sur l’IA de l’Institut américain de sécurité de l’IA de l’Institut national des normes et de la technologie (U.S. AI Safety Institute of the National Institute of Standards and Technology), dont NewsGuard est membre. 

Les pourcentages rassemblant les dix chatbots, ainsi que des exemples, seront publiés chaque mois. En revanche, les résultats individuels de chaque chatbot ne seront pas rendus publics en raison de la nature systémique du problème. NewsGuard fournira gratuitement leurs scores aux entreprises responsables de chaque chatbot si elles en font la demande.

“Nous savons que l’industrie de l’IA générative est en train de mener des efforts pour garantir l’exactitude des informations fournies par leurs chatbots sur des sujets d’actualité importants”, dit Steven Brill, co-PDG de NewsGuard. “Les avantages et les inconvénients liés à la réussite ou à l’échec de ces efforts sont majeurs. Ce baromètre mensuel de la mésinformation par IA déploie nos outils et notre expertise afin de fournir un outil de référence standardisé pour mesurer ces progrès”. 

Les chercheurs, plateformes, annonceurs, agences gouvernementales et autres institutions qui souhaitent accéder aux rapports mensuels individuels détaillés ou qui veulent obtenir des informations sur nos services pour les entreprises d’IA générative peuvent contacter NewsGuard ici. Pour en savoir plus sur les bases de données de NewsGuard pour les plateformes d’IA, cliquez ici.

NewsGuard propose aux modèles d’IA des licences d’accès à ses données, y compris à ses Empreintes de la Mésinformation et à ses Évaluations de la fiabilité des sites d’information, qui peuvent être utilisées pour affiner leurs modèles et mettre en place des garde-fous. NewsGuard offre aussi des services pour aider les modèles à réduire leur diffusion de fausses informations et à rendre leurs modèles plus fiables sur les sujets d’actualité.

 

À propos de NewsGuard 

Fondé par le journaliste primé et entrepreneur des médias Steven Brill, et par Gordon Crovitz, ancien directeur de la publication du Wall Street Journal, NewsGuard fournit des outils transparents pour lutter contre la mésinformation à destination des lecteurs, des marques et des démocraties. Depuis son lancement en 2018, son équipe de journalistes internationaux et de spécialistes de l’information a recueilli, mis à jour et déployé plus de 6,9 millions de données sur plus de 35.000 sources d’information et d’actualité, et catalogué et suivi tous les principaux récits faux circulant en ligne. 

Les analystes de NewsGuard, aidés de multiples outils d’intelligence artificielle, gèrent la base de données la plus vaste et la plus fiable sur l’actualité du secteur de la confiance. Ces données sont déployées pour peaufiner les modèles d’IA générative et leur fournir des garde-fous, pour permettre aux marques de diffuser leurs publicités sur des sites d’actualité de qualité et d’éviter les sites de propagande ou d’infox, pour fournir des outils d’éducation aux médias aux internautes, et pour soutenir les gouvernements démocratiques dans leur lutte contre les opérations de désinformation hostiles ciblant leurs citoyens.

Parmi les autres indicateurs de l’étendue des opérations de NewsGuard, on peut citer le fait que les critères apolitiques et transparents de NewsGuard ont été appliqués par ses analystes pour évaluer la fiabilité des sites représentant 95% de l’engagement avec l’actualité dans neuf pays.