Wenn ChatGPT die Strategie schreibt, tragen die Geschäftsführer die Verantwortung für die Entscheidung

Die wichtigste Erkenntnis aus der Gerichtsentscheidung im Fall Lanmar Pty Ltd (No 2) im australischen Bundesstaat New South Wales ist, dass das Gericht den Entscheidungsprozess in den Mittelpunkt stellte. Zwei Direktoren der Lanmar Pty Ltd nutzten ChatGPT, um einen Plan zur Entfernung eines Mitdirektors und Mitgesellschafters auszuarbeiten. Sie folgten dem daraus entstandenen Plan zur „Lösung eines HR-Problems“. Das Gericht bewertete ihr Verhalten als missbräuchlich und stellte fest, dass sie ihre Pflichten als Direktoren verletzt hatten. Es bestellte einen Insolvenzverwalter, der den Verkauf der Gesellschaftsanteile auf dem freien Markt organisieren sollte.

Es wäre einfach, den Fall als weiteres Beispiel für die Ungenauigkeit künstlicher Intelligenz einzuordnen. Die wichtigere Lehre betrifft jedoch das Vertrauen in die Ergebnisse. Das Problem bestand nicht nur darin, dass das Modell falsche oder unvollständige Rechtsauskünfte lieferte. Die Direktoren hatten die Frage falsch formuliert und handelten anschließend auf Grundlage der Antwort, ohne zwischen der KI-Ausgabe und der tatsächlichen Entscheidung eine eigenständige menschliche Beurteilung vorzusehen. Der Fall verdeutlicht, warum Direktoren beim Einsatz von KI eigenständig urteilen müssen: Die Verantwortung für eine Entscheidung tragen weiterhin diejenigen, die sie treffen – nicht das Werkzeug, das bei ihrer Vorbereitung geholfen hat.

Die Haftung entsteht durch das unkritische Vertrauen in KI-Ergebnisse

Der Fall betraf ein kleines Unternehmen, an dem drei Parteien über separate, von den beteiligten Personen kontrollierte Gesellschaften jeweils zu gleichen wirtschaftlichen Teilen beteiligt waren. Diese Eigentümerstruktur dürfte vielen mittelständischen Unternehmen vertraut sein: Alle Gesellschafter sind eng in das operative Geschäft eingebunden, externe Rechtsberatung wird häufig unter Kostengesichtspunkten abgewogen, und eine Frage der Unternehmensführung wird schnell als Leistungsproblem dargestellt. Die Mehrheitsdirektoren behandelten ihren Mitdirektor und Mitgesellschafter so, als wäre er lediglich ein Mitarbeiter mit unzureichender Leistung. Das Gericht betrachtete den Streit hingegen als eine Frage der Unternehmensführung und des missbräuchlichen Verhaltens im Sinne des australischen Rechts. ChatGPT ordnete die Situation dagegen als arbeitsrechtliches Problem ein.

Für Unternehmen in Europa oder im Nahen Osten können die konkreten rechtlichen Folgen anders ausfallen. Pflichten von Direktoren, Rechtsbehelfe für Gesellschafter und die rechtliche Wirkung gerichtlicher Entscheidungen unterscheiden sich je nach Rechtsordnung. Die australische Entscheidung ist daher als Warnsignal für die Unternehmensführung zu verstehen, nicht als Präzedenzfall, der automatisch auf jedes Leitungsgremium übertragbar wäre. Was sich auf andere Rechtsordnungen übertragen lässt, ist der vom Gericht untersuchte Entscheidungsprozess. Entscheidend war nicht allein, ob die Antwort des Modells korrekt war. Es ging darum, ob jemand die Art der zu treffenden Entscheidung erkannt, die Auskunft anhand des geltenden Rechtsrahmens überprüft und die Verantwortung für den Schritt zwischen Beratung und Handlung übernommen hatte.

An diesem Punkt wird der Einsatz von KI von einer Frage der Produktivität zu einer Frage der Unternehmensführung. Wenn KI-gestützte Unterlagen dem Leitungsgremium vorgelegt werden, ohne zu dokumentieren, wer sie geprüft, welche Aussagen hinterfragt und welche Änderungen vorgenommen hat, entsteht ein Governance-Risiko. Zum Zeitpunkt der Entscheidung mag die Begründung ausreichend erscheinen. Später kann es dem Unternehmen jedoch schwerfallen, nachvollziehbar darzulegen, wie die Entscheidung zustande kam und wer dafür die Verantwortung übernommen hat.

In den Führungsgremien werden diese Werkzeuge bereits stillschweigend eingesetzt

In einem Unternehmen mit einigen Hundert bis mehreren Tausend Beschäftigten ist das im Fall Lanmar erkennbare Muster möglicherweise näher an der Praxis, als es die unterschiedliche Rechtsordnung vermuten lässt. Viele Unternehmen verfügen über keine eigene Rechtsabteilung. Wer eine Vorlage für das Leitungsgremium zu einem Rechtsstreit, einer Umstrukturierung oder einer Lieferantenforderung vorbereitet, nutzt möglicherweise unauffällig ein KI-Modell, um die Argumentation zu strukturieren. Vielleicht wird das gegenüber dem Gremium nicht erwähnt, weil niemand danach gefragt hat. Häufig kommt die Frage erst auf, wenn bereits etwas schiefgegangen ist.

Das Risiko beschränkt sich nicht auf die Führungsetage. Wenn ein operativer Geschäftsführer ein KI-Modell nutzt, um eine Antwort an einen Lieferanten oder einen Vergleichsvorschlag gegenüber einem Kunden vorzubereiten, geht er ein ähnliches Risiko ein – oft mit noch weniger Kontrolle. Das Problem tritt überall dort auf, wo ein Modell zur Vorbereitung einer Entscheidung mit rechtlichen oder regulatorischen Folgen eingesetzt wird.

Die meisten Richtlinien zur zulässigen KI-Nutzung beantworten die Frage, ob Beschäftigte solche Werkzeuge verwenden dürfen. Sie legen jedoch nicht unbedingt fest, welche Prüfungen erforderlich sind, bevor KI-gestützte Arbeit zur Grundlage einer Entscheidung des Leitungsgremiums wird, wer für diese Prüfung verantwortlich ist und wo sie dokumentiert werden muss. Dadurch entsteht eine Lücke bei der Rechenschaftspflicht. Im Rahmen unserer Beratungsleistungen zu Risiken auf Führungsebene untersuchen wir regelmäßig, wo KI-gestützte Entscheidungsprozesse bereits stattfinden, ohne dass klare Zuständigkeiten und Prüfanforderungen festgelegt wurden.

Wie eine dokumentierte menschliche Prüfung in der Praxis aussieht

Eine dokumentierte Prüfung mag zunächst wie zusätzlicher Compliance-Aufwand wirken. In einem mittelständischen Unternehmen können jedoch bereits drei Sätze in der betreffenden Vorlage für das Leitungsgremium ausreichen: welche Aufgabe der KI gestellt wurde, welches Ergebnis sie lieferte und welche Inhalte die verantwortliche Person nach ihrer Prüfung verworfen oder geändert hat. Entscheidend ist weniger der Umfang der Dokumentation als die eindeutige Benennung einer Person, die die Verantwortung übernimmt.

Bei Entscheidungen mit erheblichen Auswirkungen sollte diese Verantwortung bei einer Person liegen, deren Funktion ohnehin mit dem Ergebnis verbunden ist – beispielsweise beim zuständigen Direktor, beim operativen Geschäftsführer oder beim Leiter des Risikomanagements, nicht lediglich bei der Person, die den ersten Entwurf erstellt hat.

Die prüfende Person sollte außerdem eine andere Frage stellen als diejenige, die die KI beantwortet hat. Im Fall Lanmar stellte das Werkzeug die Situation so dar, als wäre ein Mitdirektor und Mitgesellschafter ein Arbeitnehmer. Eine sachkundige Prüfung hätte hinterfragt, ob der Fall in erster Linie unter dem Gesichtspunkt der Gesellschafterrechte und der Unternehmensführung zu betrachten war und nicht als Problem des Arbeitsverhältnisses. Der Wert der Prüfung liegt weniger darin, jede einzelne Quellenangabe zu kontrollieren, als vielmehr darin, die tatsächliche Art der Entscheidung zu erkennen und die entscheidende Frage zu identifizieren, die das Modell übersehen hat.

Unternehmen, die diesen Prozess in ihre umfassenderen Compliance-Verpflichtungen integrieren möchten, können unsere Leistungen zur Entwicklung von Rahmenwerken nutzen. Ziel ist es, den Prüfprozess in bestehende Berichts- und Governance-Strukturen des Leitungsgremiums einzubetten, anstatt eine separate KI-Richtlinie zu schaffen, die in der Praxis möglicherweise unbeachtet bleibt.

Eine Frage für die nächste Vorlage an das Leitungsgremium

Der Fall Lanmar könnte mancherorts als Besonderheit des australischen Gesellschaftsrechts betrachtet werden, die anderswo nur begrenzte Bedeutung hat. Die nachhaltige Lehre ist jedoch einfach: Leitungsgremien treffen zunehmend Entscheidungen auf Grundlage von Unterlagen, die mit KI erstellt wurden. Diese können überzeugend und selbstsicher formuliert sein und dennoch an der eigentlichen Frage vorbeigehen, mit der sich das Gremium befassen muss.

Wenn die nächste Vorlage für das Leitungsgremium einen Umstrukturierungsplan, eine Stellungnahme zu einem Rechtsstreit oder eine Zusammenfassung rechtlicher Risiken enthält, sollte eine Frage bereits weit vorne stehen: Wurde ein Teil dieser Unterlagen mithilfe künstlicher Intelligenz erstellt oder bearbeitet, und wer hat bestätigt, dass die Inhalte sorgfältig geprüft wurden?

Diese Frage kostet wenig, kann aber die Vorbereitung von Entscheidungen grundlegend verändern. Unternehmen, die darauf keine eindeutige Antwort geben können, müssen ihre Entscheidungsprozesse möglicherweise irgendwann gegenüber einem Gericht, einer Aufsichtsbehörde oder einem Versicherer erklären. Dann wird es nicht ausreichen, darauf hinzuweisen, dass die Entscheidung auf einer von künstlicher Intelligenz erstellten Empfehlung beruhte.