07/02/2025

L’échec multilingue de l’IA sur l’actualité : un audit de NewsGuard révèle que les taux d’échec les plus élevés sont en russe et en chinois

• La propagande d’État pollue les réponses des chatbots d’IA générative, trompant de manière disproportionnée les utilisateurs russes et chinois ;
• Même le ‘meilleur’ résultat, pour les instructions en langue française, produit un taux d’échec de 34% ;
• L’IA générative est un démultiplicateur de puissance des acteurs malveillants, dont les gouvernements russes et chinois.

NEW YORK, PARIS, 7 février 2025 – Les principaux chatbots d’IA diffusent davantage d’infox dans des langues autres que l’anglais : un audit de NewsGuard portant sur sept langues révèle que les dix principaux modèles d’IA générative sont nettement plus susceptibles de générer des informations fausses en russe et en chinois que dans d’autres langues. 

Par conséquent, un utilisateur qui pose une question sur un sujet d’actualité en russe ou en chinois à l’un des principaux chatbots de la Silicon Valley ou d’autres pays occidentaux a plus de chances d’obtenir une réponse contenant des affirmations fausses, de la désinformation ou de la propagande, car le chatbot s’appuie sur des sources de moindre qualité et des récits étatiques dans ces langues. 

En amont du Sommet pour l’action sur l’IA qui se tiendra à Paris les 10 et 11 février 2025, NewsGuard a réalisé une évaluation des 10 principaux chatbots d’IA générative : ChatGPT-4o d’Open AI, Smart Assistant de You.com, Grok-2 de xAI, Pi d’Inflection, le Chat de Mistral, Copilot de Microsoft, Meta AI, Claude d’Anthropic, Gemini 2.0 de Google, et le moteur de réponses de Perplexity. L’équipe d’analystes de NewsGuard a évalué les modèles dans sept langues différentes : l’anglais, le chinois, le français, l’allemand, l’italien, le russe et l’espagnol. 

Les résultats en russe et en chinois sont les plus mauvais, mais tous les chatbots ont obtenu des résultats médiocres dans toutes les langues : en russe (taux d’échec de 55%), en chinois (51,33%), en espagnol (48%), en anglais (43%), en allemand (43,33%), en italien (38,67%) et en français (34,33%).

L’audit de NewsGuard révèle un biais structurel dans les chatbots d’IA : les modèles ont tendance à donner la priorité au contenu le plus largement disponible dans chaque langue, quelle que soit la crédibilité de la source ou de l’affirmation. Dans les langues parlées dans les pays où les médias d’Etat dominent, et où il y a moins de médias indépendants, les chatbots privilégient par défaut des sources peu fiables ou de propagande, sur lesquelles ils ont probablement été formés. Par conséquent, les utilisateurs vivant dans des pays autoritaires – où l’accès à des informations fiables est crucial – reçoivent de manière disproportionnée de fausses réponses.  

Il y a une semaine, NewsGuard a révélé que le chatbot chinois DeepSeek, la dernière sensation d’IA qui a secoué le marché boursier, était encore pire en matière de diffusion d’infox que la plupart des modèles occidentaux. Selon l’audit de NewsGuard, DeepSeek ne fournit pas d’informations correctes dans 83% des cas et défend le point de vue de Pékin dans 60% des cas en réponse à des questions sur de fausses allégations émanant de la Chine, de la Russie et de l’Iran. 

Alors que des dirigeants mondiaux, des responsables de l’industrie de l’IA et des décideurs politiques s’apprêtent à se réunir à l’occasion du Sommet pour l’action sur l’IA, ces rapports, qui s’inscrivent dans le cadre du thème du sommet sur l’IA de confiance, soulignent les défis auxquels les modèles d’IA sont confrontés pour garantir des réponses sûres et précises à leurs utilisateurs. 

“L’IA générative – de la production de deepfakes aux sites web diffusant de grandes quantités de contenu – est déjà un démultiplicateur de puissance dont se saisissent des acteurs malveillants pour créer rapidement, et avec des moyens financiers limités, des campagnes de désinformation qui nécessitaient par le passé beaucoup de temps et d’argent”, souligne Chine Labbé, vice-présidente de NewsGuard en charge des partenariats Europe et Canada, qui représentera NewsGuard au Sommet pour l’action sur l’IA. “Nos rapports montrent que de nouveaux cas d’utilisation malveillante de l’IA émergent chaque jour, de sorte que l’industrie de l’IA doit, en réponse, agir rapidement pour mettre en place des mesures de protection efficaces pour éviter que les campagnes de désinformation basées sur l’IA deviennent incontrôlables”.

Pour plus d’informations sur l’approche journalistique et la méthodologie de NewsGuard en matière d’audits, voir ici (en anglais). Les chercheurs, plateformes, annonceurs, agences gouvernementales et autres institutions qui souhaitent accéder aux audits mensuels détaillés de NewsGuard ou qui veulent des détails sur les services de NewsGuard pour les entreprises d’IA générative peuvent contacter NewsGuard ici. Pour en savoir plus sur les bases de données de NewsGuard pour les plateformes d’IA, cliquez ici. 

NewsGuard propose aux modèles d’IA des licences d’accès à ses données, y compris à ses Empreintes de la Mésinformation et à ses Évaluations de la fiabilité des sites d’information, qui peuvent être utilisées pour affiner leurs modèles et mettre en place des garde-fous. NewsGuard offre aussi des services pour aider les modèles à réduire leur diffusion de fausses informations et à rendre leurs modèles plus fiables sur les sujets d’actualité.