07/02/2025

Il fallimento multilingue dell’IA: l’audit di NewsGuard registra tassi di errore più elevati in russo e in cinese

• La propaganda promossa da governi stranieri contamina le risposte, ingannando in particolare gli utenti russi e cinesi;
• Anche il risultato “migliore”, quello in lingua francese, produce un tasso di errore del 34%;
• L’intelligenza artificiale generativa è diventata un moltiplicatore di forze per gli attori malintenzionati, compresi i governi russo e cinese.

NEW YORK, PARIGI, 7 febbraio 2025 – I principali chatbot di intelligenza artificiale producono più facilmente informazioni errate in lingue diverse dall’inglese: un recente audit di NewsGuard in sette lingue ha rilevato che i 10 principali modelli di intelligenza artificiale hanno una probabilità significativamente maggiore di generare affermazioni false in russo e cinese rispetto alle altre lingue testate.

Pertanto, un utente che pone a uno dei principali chatbot della Silicon Valley o di altri Paesi occidentali una domanda su un argomento di attualità in russo o in cinese ha maggiori probabilità di ricevere una risposta contenente affermazioni false, disinformazione o propaganda, poiché il chatbot si affida a fonti di qualità inferiore e a narrazioni promosse dai relativi governi.

In vista dell’AI Action Summit del 10-11 febbraio 2025 a Parigi, NewsGuard ha condotto un audit multilingue dei 10 principali chatbot attualmente disponibili sul mercato: ChatGPT-4o di OpenAI, Smart Assistant di You.com, Grok-2 di xAI, Pi di Inflection, le Chat di Mistral, Copilot di Microsoft, Meta AI, Claude di Anthropic, Gemini 2.0 di Google e il motore di risposta di Perplexity. Il team internazionale di analisti di NewsGuard ha testato i modelli in sette lingue diverse: cinese, francese, inglese, italiano, russo, spagnolo e tedesco.

I risultati in russo e in cinese sono stati i peggiori, ma tutti i chatbot hanno ottenuto risultati non brillanti in tutte le lingue testate: in russo il tasso di errore è stato del 55%, in cinese del 51,33%, in spagnolo del 48%, in inglese del 43%, in tedesco del 43,33%, in italiano del 38,67% e in francese del 34,33%. 

L’audit di NewsGuard rivela un difetto strutturale nei chatbot: i modelli tendono cioè a dare priorità ai contenuti più diffusi in ogni lingua, indipendentemente dalla credibilità della fonte o dell’informazione. Nelle lingue in cui il panorama dell’informazione è dominato dai media statali e vi sono meno media indipendenti, i chatbot si affidano alle fonti inaffidabili o ai siti di propaganda su cui sono stati addestrati. Di conseguenza, gli utenti che vivono in Paesi autoritari – dove è più difficile accedere a informazioni accurate – tendono a ottenere più risposte false. 

La scorsa settimana, NewsGuard ha scoperto che il chatbot cinese DeepSeek, l’ultimo modello di intelligenza artificiale che ha fatto tremare il mercato azionario, ha una performance ancora peggiore della maggior parte dei modelli occidentali. Gli audit di NewsGuard hanno rilevato che DeepSeek non è riuscito a fornire informazioni accurate nell’83% dei casi e ha avanzato il punto di vista di Pechino nel 60% dei casi in risposta a richieste relative a narrazioni false promosse dalla Cina, dalla Russia e dall’Iran.

Mentre i leader mondiali, i dirigenti di aziende di IA e i politici che si occupano del settore si preparano a riunirsi all’AI Action Summit, questi report – in linea con il tema del summit, Trust in AI – sottolineano le continue sfide che i modelli di IA devono affrontare per garantire risposte sicure e accurate alle richieste, anziché diffondere affermazioni false.

“L’IA generativa – dalla produzione di deepfake a interi siti che sfornano grandi quantità di contenuti – è già diventata un moltiplicatore di forze, sfruttato da attori malintenzionati per consentire loro di creare rapidamente, e con un esborso finanziario limitato, campagne di disinformazione che in precedenza richiedevano grandi quantità di denaro e di tempo”, ha dichiarato Chine Labbe, Vice President Partnership per l’Europa e il Canada, che parteciperà all’AI Action Summit per conto di NewsGuard. “I nostri audit dimostrano che ogni giorno emergono nuovi casi d’uso malevoli, quindi il settore dell’IA deve, in risposta, muoversi rapidamente per costruire salvaguardie efficienti per garantire che le campagne di disinformazione rese possibili dall’IA non vadano fuori controllo”.

Per ulteriori informazioni sull’approccio e sulla metodologia del red-teaming giornalistico di NewsGuard, leggete qui. I ricercatori, le piattaforme, gli inserzionisti, le agenzie governative e le altre istituzioni interessate ad accedere ai singoli audit mensili dettagliati o che desiderano ulteriori informazioni sui servizi di NewsGuard per le aziende di IA generativa possono contattare NewsGuard qui. Per saperne di più sui dataset di NewsGuard per le piattaforme di IA, cliccate qui.

NewsGuard offre ai modelli di IA licenze di accesso ai suoi dati, compresi i Misinformation Fingerprint e i Reliability Rating, che possono essere utilizzati per addestrare e fornire guardrail per i loro modelli, nonché servizi per aiutare i modelli a ridurre la diffusione della disinformazione e per renderli più affidabili sugli argomenti di attualità.