Wer entscheidet, wenn die KI entscheidet?

Kaum ein Thema wird im Gesundheitswesen derzeit so intensiv diskutiert wie künstliche Intelligenz – und kaum eines so selten geregelt. In vielen Häusern laufen erste Anwendungen bereits im Alltag: Spracherkennung in der Dokumentation, Priorisierung in der Radiologie, Prognosemodelle in der Belegungsplanung. Was fehlt, ist meist nicht die Technik, sondern die Antwort auf eine unscheinbare Frage: Wer entscheidet eigentlich, ob dieses System eingesetzt werden darf?

Diese Frage klingt bürokratisch. Sie ist es nicht. Sie entscheidet darüber, ob eine Organisation KI verantwortlich einsetzen kann oder ob sie beim ersten Zwischenfall ohne Grundlage dasteht.

Governance ist keine Bremse, sondern eine Voraussetzung

In der Praxis begegnen uns zwei Haltungen. Die eine sieht in jeder Regel ein Innovationshindernis und lässt Projekte gewähren, solange nichts passiert. Die andere verlangt Vollständigkeit, bevor überhaupt etwas beginnt, und blockiert damit jedes Vorhaben. Beide Haltungen führen zum gleichen Ergebnis: Es entsteht kein belastbares Lernen.

Tragfähige KI-Governance ist etwas Drittes. Sie beschreibt, unter welchen Bedingungen ein System erprobt werden darf, wer die Verantwortung trägt, welche Fehler tolerabel sind und woran der Abbruch erkennbar wird. Sie ermöglicht Tempo, weil sie Unsicherheit ordnet.

Vier Ebenen, die geklärt sein müssen

Aus unseren Projekten hat sich eine einfache Ordnung bewährt. Sie ersetzt keine regulatorische Prüfung, sie sortiert aber die Zuständigkeiten – und genau daran scheitern die meisten Vorhaben.

Die vierte Ebene wird am häufigsten übersehen. Wer den Abbruch nicht vorab regelt, wird ihn im Zweifel nicht vollziehen – weil die Verantwortung dann niemandem zuzuordnen ist.

Der Mensch bleibt in der Verantwortung

Viele Diskussionen kreisen um die Frage, wie gut ein Modell ist. Wichtiger ist die Frage, was passiert, wenn es sich irrt. Systeme, die Empfehlungen geben, verschieben Aufmerksamkeit: Wer eine Vorauswahl bestätigt, prüft anders als jemand, der selbst auswählt. Dieser Effekt ist gut belegt und lässt sich nicht durch Schulungen wegargumentieren – er muss im Prozess berücksichtigt werden.

Verantwortung lässt sich nicht an ein Modell delegieren. Sie lässt sich nur organisieren.

Praktisch bedeutet das: Stichproben statt Vollvertrauen, dokumentierte Abweichungen statt stillschweigender Übernahme, und regelmäßige Überprüfung, ob das System unter veränderten Bedingungen noch trägt. Ein Modell, das im Winter gut funktioniert, kann bei anderer Patientenzusammensetzung schlechter abschneiden.

Wie ein tragfähiger Einstieg aussieht

1. Bestandsaufnahme: Welche KI-gestützten Anwendungen sind bereits im Einsatz – auch solche, die nicht als KI-Projekt begonnen wurden?
2. Einordnung nach Risiko: Unterstützt das System eine Verwaltungsaufgabe oder wirkt es auf Diagnose und Therapie ein?
3. Verantwortlichkeiten benennen: Für jede Anwendung eine Person, nicht ein Gremium.
4. Freigabeweg festlegen: Ein knapper, verbindlicher Pfad statt eines umfangreichen Regelwerks.
5. Überprüfung terminieren: Feste Termine, an denen Nutzen und Verlässlichkeit neu bewertet werden.

Dieser Einstieg ist bewusst schmal gehalten. Er lässt sich in wenigen Wochen umsetzen und schafft die Grundlage, auf der weitere Anwendungen geordnet folgen können.

Aus der Praxis: Governance im ersten Streitfall

Ob ein Governance-Rahmen trägt, zeigt sich nicht bei der Verabschiedung, sondern beim ersten Vorfall, in dem eine Empfehlung des Systems und die Einschätzung der behandelnden Person auseinanderfallen. Solche Fälle dokumentieren wir nach einem festen Raster – ohne Klarnamen, aber mit nachvollziehbarem Ablauf.

Entscheidend ist die Zeit zwischen Auffälligkeit und Klärung. Wo diese Spanne unbestimmt bleibt, entsteht die Verantwortungslücke, die wir eingangs beschrieben haben – unabhängig davon, wie ausführlich die Richtlinie formuliert ist.