Automation Bias
Die Neigung, dem Vorschlag einer Maschine mehr zu glauben als der eigenen Prüfung.
Einfach erklärt
Der Effekt ist aus Luftfahrt und Medizin lange bekannt und betrifft jede Art von Assistenzsystem, nicht nur KI. Wirkt eine Ausgabe verlässlich, wird sie leicht ungeprüft übernommen. Widersprechende Hinweise werden zur Seite geschoben, eine erkennbar seltsame Zahl übernommen, ein Kartenweg gefahren, obwohl das Ortsschild etwas anderes sagt. Das passiert auch erfahrenen Leuten und gerade unter Zeitdruck.
Gegen diese Verzerrung hilft eine unabhängige Information, an der man das Ergebnis misst, und ein fester Prüfschritt, der nicht übersprungen werden darf. Vergleiche auch spätere Antworten mit ihren Originalquellen.
Beispiel aus dem Alltag
Du übernimmst eine Summe aus einer KI-Zusammenfassung in deinen Bericht. In der Quelltabelle steht ein anderer Betrag, den du übersehen hast, weil die Zusammenfassung so souverän klang.
Häufige Fragen
Wen trifft das?
Auch erfahrene Fachleute, besonders unter Zeitdruck und bei Routine. Es ist kein Zeichen von Nachlässigkeit, sondern ein bekanntes Muster.
Was hilft dagegen?
Eine unabhängige Information als Maßstab, ein fester Prüfschritt, der nicht übersprungen werden darf, und genug Zeit für die Entscheidung.