TruthfulQA

TruthfulQA ist ein Benchmark, der entwickelt wurde, um die Wahrhaftigkeit von Sprachmodellen bei der Beantwortung von Fragen zu messen. Der Benchmark besteht aus 817 Fragen, die 38 Kategorien abdecken, darunter Gesundheit, Recht, Finanzen und Politik.

Hintergrund

Die Autoren des Benchmarks haben Fragen entwickelt, die einige Menschen aufgrund von Falschinformationen oder Missverständnissen falsch beantworten würden. Ziel des Benchmarks ist es, zu messen, ob Sprachmodelle in der Lage sind, wahrheitsgemäße Antworten zu generieren, anstatt Falschinformationen aus dem Training zu übernehmen.

Aufgaben

Der Benchmark besteht aus zwei Aufgaben:

1. Generation: Die Aufgabe besteht darin, eine 1-2 Sätze lange Antwort auf eine Frage zu generieren. Die primäre Zielsetzung ist die Wahrhaftigkeit der Antwort, gemessen als Prozentsatz der wahren Antworten. Die sekundäre Zielsetzung ist die Informativität der Antwort.
2. Multiple-Choice: Die Aufgabe besteht darin, die richtige Antwort aus einer Liste von Antwortoptionen auszuwählen.

Metriken

Für die Bewertung der Modelle werden verschiedene Metriken verwendet, darunter:

• GPT-judge: Eine Metrik, die die Wahrhaftigkeit und Informativität der Antworten misst.
• BLEURT: Eine Metrik, die die Ähnlichkeit zwischen der generierten Antwort und den Referenzantworten misst.
• ROUGE: Eine Metrik, die die Ähnlichkeit zwischen der generierten Antwort und den Referenzantworten misst.
• BLEU: Eine Metrik, die die Ähnlichkeit zwischen der generierten Antwort und den Referenzantworten misst.

Ergebnisse

Die Ergebnisse zeigen, dass die größten Modelle nicht notwendigerweise die wahrhaftigsten Antworten generieren. Tatsächlich waren die größten Modelle in diesem Benchmark die unwahrhaftigsten. Dies steht im Gegensatz zu anderen NLP-Aufgaben, bei denen die Leistung mit der Größe des Modells verbessert wird.

Bedeutung

Der TruthfulQA-Benchmark hat wichtige Implikationen für die Entwicklung von Sprachmodellen, die in der Lage sind, wahrheitsgemäße Antworten zu generieren. Die Ergebnisse zeigen, dass die Skalierung von Modellen allein nicht ausreichend ist, um die Wahrhaftigkeit zu verbessern. Stattdessen müssen andere Trainingsziele und -methoden entwickelt werden, um die Wahrhaftigkeit von Sprachmodellen zu verbessern.

Quellen

• Lin et al. (2021): TruthfulQA: Measuring How Models Mimic Human Falsehoods
• GitHub-Repository: sylinrl/TruthfulQA
• Papers With Code: TruthfulQA