KI-Sprachmodelle (LLMs) liefern zunehmend Vorschläge, Zusammenfassungen, Recherchen oder Bewertungen, die direkt in Entscheidungen einfließen. Überzeugende Ausgaben, Zeitdruck, fehlende Expertise oder mangelnde Sorgfalt können dazu führen, dass die entsprechenden Ausgaben der LLMs nicht ordnungsgemäß geprüft werden und dadurch Fehler der LLMs in die eigenen Entscheidungen und Arbeiten einfließen. Dieses Phänomen wird in der wissenschaftlichen Literatur insbesondere unter dem Begriff „Automation Bias“ untersucht.

Für Gegenmaßnahmen gibt es verschiedene Ansatzpunkte: Gestaltung der Ausgaben des LLMs (bspw. Quellenangaben oder Erklärungen), „Cognitive Forcing Functions“ (bspw. eigene Einschätzungen vor der Ausgabe des LLMs oder explizite Prüfschritte), nutzerbezogene Maßnahmen (bspw. Schulungen) oder organisatorische Maßnahmen (bspw. Restriktion der Nutzung von LLMs für bestimmte Aufgaben, Dokumentationspflichten oder ein Vier-Augen-Prinzip).

Besondere Relevanz hat die Frage in der öffentlichen Verwaltung: Entscheidungen sind hier rechtlich gebunden und betreffen unmittelbar Bürgerinnen und Bürger, zugleich bestehen hoher Arbeitsdruck und wachsende Erwartungen an den Einsatz von LLMs. Das Ziel der Arbeit ist es, bestehende Gegenmaßnahmen systematisch zu erfassen und in einer Taxonomie für diesen Kontext zu ordnen.  Damit soll z.B. nachvollziehbar werden, welche Maßnahmen für welchen Aufgabentyp, welches Entscheidungsrisiko und welchen rechtlichen Rahmen sinnvoll sind.