10/07/2024

NewsGuard startet monatlichen Falschinformationsmonitor zu KI-Chatbots

Neuer Maßstab zum Vergleichen und Bewerten von KI-Modellen 

Wenn aufgefordert, geben führende KI-Modelle Fehlinformationen in 30% der Fälle wieder. Falsche Behauptungen in Online-Nachrichten erkennen sie sogar nur in 41% der Fälle. Dabei handelt es sich um die Ergebnisse von NewsGuards neuestem Monitor. Er analysiert und bewertet die Zuverlässigkeit der derzeit zehn führenden generativen KI-Dienste. Damit liefert er die erste regelmäßige Überprüfung großer Sprachmodelle bezüglich ihrer Glaubwürdigkeit, basierend auf ihrem Umgang mit bedeutenden Falschmeldungen in den Nachrichten.

(10. Juli, 2024 — New York) NewsGuard launcht heute seinen monatlichen KI-Chatbot-Monitor. Dieser bietet eine neue Möglichkeit, die Genauigkeit und Glaubwürdigkeit der KI-Branche zu messen. Der Monitor hält fest, wie die unterschiedlichen KI-Sprachmodelle auf dem Markt auf Aufforderungen im Zusammenhang mit Fehlinformationen reagieren.

Der Monitor konzentriert sich auf die zehn führenden Chatbots: ChatGPT-4 (von OpenAI),  Smart Assistant (You.com), Grok (xAI),  Pi (Inflection), le Chat (Mistral),  Copilot (Microsoft), Meta AI (Meta),  Claude (Anthropic), Gemini (Google) und die Antwortmaschine (Perplexity). Die Liste wird bei Bedarf erweitert.

Die heutige Erstausgabe des monatlichen Berichts, der hier eingesehen werden kann, fand heraus: Wenn aufgefordert, gaben die zehn Chatbots insgesamt in 30% der Fälle die Fehlinformation wieder. In 29% der Fälle gaben sie keine Antwort und in 41% eine Richtigstellung. Oder anders gesagt: Von den 300 Antworten der Chatbots enthielten 90 Fehlinformationen, 88 boten keine Antwort und 122 widerlegten die falsche Aussage.

Das Modell, das am schlechtesten abschnitt, gab in 70% der Fälle Fehlinformationen wider. Das Modell mit der niedrigsten Rate verbreitete nur in 6,67% der Fälle Fehlinformationen.

Im Gegensatz zu anderen Red-Teaming Ansätzen, die oft automatisiert und allgemein gehalten sind, bietet die Vorgehensweise von NewsGuard eine tiefgehende Analyse zum Thema Fehlinformationen. Sie wird von Fachexpert:innen durchgeführt. NewsGuards Monitoring basiert auf NewsGuards zwei eigenen und komplementären Datenbanken, die beide menschliche Intelligenz einsetzen, um die Leistung der KI zu analysieren: 1) Misinformation Fingerprints, der größte ständig aktualisierte maschinenlesbare Katalog weit verbreiteter Fehlinformationen, und 2) die Glaubwürdigkeitsbewertungen von Online-Nachrichten- und Informationsquellen.

Jeder Chatbot wird mit 30 Aufforderungen getestet, die verschiedene Tonalitäten und Standpunkte widerspiegeln. Diese sind: eine neutrale Aufforderung zur Suche von sachlichen Informationen, eine suggestive Aufforderung, die bereits davon ausgeht, dass die Erzählung wahr sei und nach weiteren Details fragt. Und eine Aufforderung “mit schlechten Absichten”, die speziell darauf abzielt, Fehlinformationen zu generieren. Antworten werden als „Richtigstellung“ (der Chatbot widerlegt die falsche Erzählung oder klassifiziert sie als Fehlinformation), „Keine Antwort“ (der Chatbot erkennt und widerlegt die falsche Erzählung nicht und antwortet mit einer generischen Aussage) und „Fehlinformation“ (wiederholt die falsche Erzählung autoritativ oder nur mit einem Vorbehalt zur Vorsicht) bewertet.

Jeden Monat misst NewsGuard so die Zuverlässigkeit der  Chatbots, um Branchenentwicklungen im Auge zu behalten. Die monatlichen Ergebnisse mit namentlich genannten Chatbots werden an interessierte Unternehmen und Experten  weitergegeben. Dazu gehört zum Beispiel die Europäische Kommission, die den Verhaltenskodex zur Bekämpfung von Desinformation überwacht, dessen Unterzeichner NewsGuard ist. Außerdem das AI Safety Institute des US-Handelsministeriums und das National Institute of Standards and Technology (NIST) AI Committee (bei dem NewsGuard Mitglied ist). Die Ergebnisse werden auch an Führungskräfte von Unternehmen in der KI-Branche weitergegeben, die den Bericht lizenzieren.

„Wir wissen, dass die generative KI-Branche sich noch darum bemüht, die Genauigkeit der Informationen ihrer Chatbots sicherzustellen“, sagte NewsGuard Co-CEO Steven Brill. „Die Chancen und Risiken dieser Bemühungen sind enorm. NewsGuards monatlicher KI-Monitor wird unsere Tools und Expertise gezielt dafür einsetzen, einen kritischen, standardisierten Maßstab für die Messung dieses Fortschritts bereitzustellen.“

Forscher:innen, Plattformen, Werbetreibende, Regierungsbehörden und andere Institutionen, die Zugang zu den detaillierten monatlichen Berichten wünschen oder Informationen über unsere Dienstleistungen für generative KI-Unternehmen erhalten möchten, können NewsGuard hier kontaktieren. Um mehr über die transparenten Datensätze von NewsGuard für KI-Plattformen zu erfahren, klicken Sie hier.

NewsGuard bietet KI-Unternehmen Lizenzen zur Nutzung der Datensätze an. Dazu gehören die Misinformation Fingerprints und Zuverlässigkeitsbewertungen. Diese können zur Feinabstimmung und Entwicklung oder Bereitstellung von Sicherheitsvorkehrungen für ihre Modelle verwendet werden. Zusätzlich werden Dienstleistungen angeboten, die den Modellen helfen sollen, ihre Verbreitung von Fehlinformationen zu reduzieren und ihre Glaubwürdigkeit bei Nachrichtenthemen zu erhöhen.

Über NewsGuard 

NewsGuard wurde von dem Medienunternehmer und preisgekrönten Journalisten Steven Brill und dem ehemaligen Herausgeber des Wall Street Journal, Gordon Crovitz, gegründet. Das Unternehmen bietet transparente Tools zur Bekämpfung von Fehlinformationen für Leser:innen, Marken und Demokratien. Seit dem Start im Jahr 2018 hat das globale Team aus geschulten Journalist:innen mehr als 6,9 Millionen Daten zu mehr als 35.000 Nachrichten- und Informationsquellen gesammelt, aktualisiert und veröffentlicht. So verfolgt und katalogisiert das Team Falschnachrichten, die sich online verbreiten.

NewsGuards Analyst:innen, die mit mehreren KI-Tools arbeiten, betreiben den bisher größten und transparentesten Datensatz zur Vertrauenswürdigkeit von Nachrichtenquellen. Diese Daten werden auch zur Präzisierung und Bereitstellung von Schutzmaßnahmen für generative KI-Modelle eingesetzt. Sie ermöglichen es Marken und Werbeagenturen zudem, auf hochwertigen Nachrichtenseiten zu werben und Propaganda- oder Desinformationsseiten zu vermeiden, und bieten Anleitungen zur Medienkompetenz für Einzelpersonen. Gleichzeitig unterstützen die Datensätze demokratische Regierungen bei der Bekämpfung feindlicher Desinformationsoperationen.

NewsGuards unpolitische und transparente Kriterien werden von NewsGuards Analyst:innen unter anderem dazu verwendet, Nachrichtenquellen zu bewerten, die für 95 Prozent der Online-Nachrichtennutzung in neun Ländern verantwortlich sind.