Wer haftet, wenn KI Fehler macht? Stand der Diskussion

Warum die Haftungsfrage bei KI jeden Betrieb betrifft

KI ist in vielen kleinen Betrieben angekommen: Entwürfe für E-Mails und Angebote, Auswertungen von Daten, Chatbots auf der Website, Übersetzungen, Zusammenfassungen von Verträgen. Wo sie heute im Vertrieb Zeit spart, beschreibt KI im Vertrieb. Mit jedem dieser Einsätze stellt sich eine Frage, die im Alltag selten gestellt wird: Was passiert, wenn das Ergebnis falsch ist und jemand dadurch einen Schaden hat?

Ein bekanntes Beispiel stammt aus Kanada. Ein Chatbot der Fluggesellschaft Air Canada hatte einem Kunden 2022 eine Erstattungsregel genannt, die es so nicht gab. Die Fluggesellschaft argumentierte, der Chatbot sei für seine Aussagen selbst verantwortlich. Ein Schiedsgericht in British Columbia wies das 2024 zurück: Das Unternehmen hafte für alle Informationen auf seiner Website, auch für die seines Chatbots.

Im Mittelpunkt steht deshalb eine Frage: Wer haftet, wenn KI in einem Betrieb Fehler macht, und wie kann ein Inhaber Verantwortung so regeln, dass Fehler beherrschbar bleiben? Dafür klären wir Begriffe, ordnen den rechtlichen Rahmen in Deutschland und der EU, stellen das Denkmodell der moralischen Knautschzone vor, werten Befunde aus und wägen zwei Sichtweisen ab.

Begriffe: Haftung, Verschulden, Produkthaftung, Betreiber

• Vertragliche Haftung: Wer einem Kunden eine Leistung schuldet und sie fehlerhaft erbringt, haftet nach dem Vertrag, etwa auf Nachbesserung oder Schadensersatz. Schadensersatz setzt in der Regel ein Verschulden voraus, das bei einer Pflichtverletzung vermutet wird.
• Deliktische Haftung: Wer schuldhaft Leben, Gesundheit, Eigentum oder andere geschützte Güter eines anderen verletzt, haftet auch ohne Vertrag (§ 823 BGB).
• Produkthaftung: Der Hersteller eines fehlerhaften Produkts haftet für bestimmte Schäden ohne Verschulden, also auch dann, wenn ihm kein Vorwurf zu machen ist.
• Anbieter und Betreiber: Nach der KI-Verordnung der EU ist Anbieter, wer ein KI-System entwickelt und auf den Markt bringt. Betreiber ist, wer ein KI-System in eigener Verantwortung beruflich verwendet. Die meisten kleinen und mittleren Betriebe sind Betreiber.

Die KI-Verordnung selbst regelt keine Haftung für Schäden. Sie legt Pflichten fest, etwa Transparenz gegenüber Menschen, die mit einer KI sprechen, und ausreichende KI-Kompetenz der Mitarbeiter. Wer diese Pflichten verletzt, kann sich aber in einem Haftungsstreit schwerer entlasten. Welche Pflichten Betreiber in Vertrieb und Marketing treffen und welche Fristen nach den Änderungen von 2026 gelten, beschreibt EU AI Act: Was die KI-Verordnung bedeutet.

Der rechtliche Rahmen: wer heute wofür haftet

Die wichtigste Änderung betrifft die Produkthaftung. Der Bundestag hat am 8. Oktober 2026 ein Gesetz zur Modernisierung des Produkthaftungsrechts beschlossen, das die EU-Richtlinie 2024/2853 umsetzt und ab dem 9. Dezember 2026 gilt. Software ist dann ausdrücklich ein Produkt, KI-Systeme eingeschlossen. Hersteller haften weiter, wenn sie das Produkt nach dem Inverkehrbringen über Updates kontrollieren. Gerichte können Unternehmen verpflichten, Beweismittel offenzulegen, wenn ein Anspruch plausibel erscheint, und verweigert ein Unternehmen das, wird die Fehlerhaftigkeit vermutet. Die bisherige Selbstbeteiligung von 500 Euro bei Sachschäden und der Höchstbetrag von 85 Millionen Euro entfallen. Für Betriebe, die selbst Software oder KI-gestützte Produkte anbieten, ist das ein deutlich strengerer Rahmen.

Für Betriebe, die KI nur nutzen, ändert sich weniger. Sie haften ihren Kunden ohnehin für die eigene Leistung. Eine eigene EU-Richtlinie, die Beweiserleichterungen speziell für KI-Schäden bringen sollte, wird es vorerst nicht geben: Die Kommission hat den Vorschlag im Februar 2025 zur Rücknahme angekündigt und im Oktober 2025 im Amtsblatt förmlich zurückgezogen.

Das Denkmodell: die moralische Knautschzone

Die Technikforscherin Madeleine Clare Elish hat den Begriff der moralischen Knautschzone geprägt. Gemeint ist: In einem System aus Mensch und Automatik landet die Verantwortung für einen Fehler oft bei dem Menschen, der zuletzt hätte eingreifen können, auch wenn er kaum Kontrolle über das Geschehen hatte. Wie die Knautschzone eines Autos den Aufprall aufnimmt, nimmt dieser Mensch die Schuld auf und schützt damit das technische System und seine Hersteller.

W. David Holford (2022) hat das am Beispiel von Verkehrspiloten untersucht. Rechtlich trägt der verantwortliche Pilot die volle Verantwortung für das Flugzeug, und Gerichte haben diese Zuordnung über Jahrzehnte bestätigt. Tatsächlich steuert die Automatik den größten Teil eines Fluges, und Studien zeigen, dass das Situationsbewusstsein der Piloten mit zunehmender Automatisierung sinkt. Es entsteht ein Widerspruch zwischen zugeschriebener Verantwortung und tatsächlicher Kontrolle. Holford unterscheidet dabei vier Arten von Verantwortung: die ursächliche, die rechtliche, die moralische und die Verantwortung aus einer Rolle.

Für einen kleinen Betrieb ist das eine nützliche Warnung. Der Satz „Ein Mensch prüft alles“ klingt nach Verantwortung. Wenn dieser Mensch aber hundert KI-Entwürfe am Tag freigeben soll, keine Zeit zum Prüfen hat und die Grundlagen nicht kennt, ist er keine Kontrolle, sondern eine Knautschzone. Gute Regeln geben ihm echte Kontrolle oder nehmen ihm die Rolle.

Wer einem Mitarbeiter die Verantwortung für KI-Ergebnisse gibt, muss ihm auch die Zeit und das Wissen geben, sie zu tragen.

Was die Forschung über Kontrolle und Automatisierung zeigt

Die Studien zur Automatisierung im Cockpit, die Holford (2022) zusammenfasst, zeigen ein Muster, das sich auf Büroarbeit übertragen lässt. Die Erwartung war, dass Automatik Menschen von Routine entlastet und für wichtigere Urteile freimacht. In der Luftfahrt hat sich das oft nicht bestätigt: Die Aufmerksamkeit sank, und Fähigkeiten, die selten gebraucht wurden, gingen zurück. Wenn dann etwas Unerwartetes geschah, sollten genau diese Menschen in Sekunden die Kontrolle übernehmen.

Peng Liu (2024) beschreibt das verwandte Konzept der Automatisierungsbequemlichkeit: Menschen, die mit einem meist zuverlässigen System arbeiten, prüfen weniger gründlich. Liu weist darauf hin, dass er dazu dient, Bedienern die Verantwortung zuzuschreiben, obwohl das Verhalten eine vorhersehbare Reaktion auf die Gestaltung des Systems ist. Mourão und Juliasse (2026) schlagen für das Gesundheitswesen vor, Befugnis nur so weit zu übertragen, wie die Zuverlässigkeit belegt ist, und Aufsicht mit Zeit auszustatten.

Die Befunde stammen aus Bereichen mit hohem Risiko. Für einen Betrieb, der KI-Entwürfe für Angebote nutzt, ist der Schaden meist kleiner. Das Muster ist aber dasselbe: Je zuverlässiger ein Werkzeug meistens ist, desto weniger wird es geprüft, und desto überraschender trifft der seltene Fehler. Warum KI gerade bei Aufgaben außerhalb ihrer Fähigkeiten Ergebnisse verschlechtern kann, beschreibt KI-Werkzeuge im Marketing mit der zerklüfteten Grenze nach Dell’Acqua und Kollegen.

Zwei Sichtweisen: Werkzeug wie jedes andere oder neue Art von Risiko?

Die erste Sichtweise hält KI für ein Werkzeug wie jedes andere. Wer mit einer fehlerhaften Tabellenkalkulation falsch rechnet, haftet seinem Kunden auch. Das bestehende Recht reicht aus: Der Betrieb haftet für seine Leistung, der Hersteller für sein Produkt, und künftig ausdrücklich auch für Software. Eine eigene KI-Haftung brauche es nicht, und die Rücknahme der EU-Richtlinie bestätige das.

Die zweite Sichtweise sieht eine neue Art von Risiko. KI-Ergebnisse sind schwer nachvollziehbar, wechseln bei gleicher Eingabe, und Fehler wirken überzeugend. Geschädigte können oft nicht beweisen, wo der Fehler lag. Zwischen Anbieter, Betreiber und Mitarbeiter verschwimmt die Verantwortung, und Nutzungsbedingungen der Anbieter schieben das Risiko fast vollständig auf die Nutzer.

Ich halte die erste Sichtweise rechtlich für weitgehend zutreffend und die zweite organisatorisch für wichtiger. Für den Kunden ändert sich wenig: Er hält sich an den Betrieb, und das ist richtig so. Für den Betrieb ändert sich dagegen viel, denn er trägt ein Risiko, dessen Ursache er schlechter kontrolliert als bei einem herkömmlichen Werkzeug. Die Antwort darauf ist keine Rechtsfrage, sondern eine Frage der Abläufe: Wer gibt was frei, wie gründlich, und wo bleibt KI ganz außen vor.

Verantwortung für KI im Betrieb regeln

1. Einsätze erfassen

   Liste auf, wo im Betrieb KI eingesetzt wird, mit welchem Werkzeug und mit welcher Wirkung nach außen. Diese Liste ist auch nach der KI-Verordnung der sinnvollste erste Schritt.

2. Nach Risiko einteilen

   Trenne Entwürfe für den internen Gebrauch, Ergebnisse, die an Kunden gehen, und Entscheidungen über Menschen oder Geld. Für die letzte Gruppe gelten die strengsten Regeln oder ein Verzicht auf KI.

3. Freigabe mit Kontrolle verbinden

   Lege für jede Gruppe fest, wer freigibt, was geprüft wird und wie viel Zeit dafür vorgesehen ist. Eine Freigabe ohne Zeit zum Prüfen ist keine Kontrolle.

4. Kompetenz sichern

   Schule die Mitarbeiter, die KI-Ergebnisse freigeben, zu typischen Fehlern der Werkzeuge. Die KI-Verordnung verlangt seit Februar 2025 ausreichende KI-Kompetenz.

5. Verträge und Versicherung prüfen

   Prüfe die Nutzungsbedingungen der Anbieter, Haftungsbegrenzungen in eigenen Verträgen und ob deine Berufs- oder Betriebshaftpflicht KI-gestützte Leistungen abdeckt.

Für Chatbots auf der Website gilt das besonders, weil sie ohne menschliche Freigabe direkt mit Kunden sprechen. Welche Form der Anfrage dort sinnvoll ist, vergleicht Chatbot, Rückruf oder Live-Chat. Wie solche Regeln in eine einfache Ordnung der Verantwortung im Betrieb passen, beschreibt Corporate Governance für kleine Betriebe.

Fazit: Wer haftet, wenn KI Fehler macht

Zur Leitfrage: Wenn KI in einem Betrieb Fehler macht, haftet gegenüber Kunden in der Regel der Betrieb, der sie einsetzt, so als hätte er die Leistung selbst erbracht. Hersteller von Software und KI-Systemen haften ab dem 9. Dezember 2026 nach dem neuen Produkthaftungsgesetz ausdrücklich ohne Verschulden für fehlerhafte Produkte. Eine eigene EU-Regel für KI-Haftung wird es vorerst nicht geben. Das Denkmodell der moralischen Knautschzone zeigt, worauf es im Betrieb ankommt: Verantwortung darf nicht bei einem Menschen abgeladen werden, der keine echte Kontrolle hat. Ein Inhaber regelt Verantwortung gut, wenn er Einsätze nach Risiko einteilt, Freigaben mit Zeit und Wissen ausstattet und der KI klare Grenzen setzt. Die Grenzen dieser Einordnung: Die Rechtsprechung zu KI-Fehlern ist jung, und die Forschung zu Automatisierung stammt aus Bereichen mit hohem Risiko.

1. Diese Woche: Liste alle KI-Einsätze im Betrieb auf und markiere die, deren Ergebnisse ohne Prüfung nach außen gehen.
2. Diesen Monat: Lege für jede Gruppe fest, wer freigibt, was geprüft wird und was die KI nicht darf.
3. Bis Jahresende: Prüfe Nutzungsbedingungen, eigene Verträge und Versicherungsschutz, besonders wenn du selbst Software anbietest.

Eine KI kann einen Fehler machen. Haften kann nur, wer sie eingesetzt hat, und deshalb sollte er auch bestimmen, wie.