Grenzen der Automatisierung: KI darf keinen Mitarbeiter entlassen

Künstliche Intelligenz entwickelt sich zu einem festen Bestandteil des Arbeitsalltags – und das in beeindruckender Geschwindigkeit: Während im Jahr 2023 lediglich 12 Prozent der deutschen Unternehmen KI einsetzten, lag der Anteil 2024 bereits bei 27 Prozent. Aktuelle Auswertungen sprechen sogar von über 40 Prozent. Diese Dynamik zeigt: KI ist längst kein Nischenthema mehr und kommt auch bei Versicherungsmaklern zunehmend zum Einsatz.

Doch wer KI im eigenen Unternehmen nutzen möchte, muss die rechtlichen Anforderungen kennen. Sarah Kolß, Rechtsanwältin der Kanzlei Michaelis Rechtsanwälte, ordnet in einem Beitrag ein, was unter einem „KI-System“ zu verstehen ist, und beleuchtet die zentralen rechtlichen Aspekte, die Unternehmen beim Einsatz von KI beachten müssen.

Nach einer Legaldefinition von KI-Systemen nach Art. 3 Nr. 1 der von der EU erlassenen KI-Verordnung zufolge sind für KI-Systeme vor allem drei Merkmale charakteristisch: KI-Systeme werden erstens in unterschiedlichem Grad autonom betrieben. Zweitens können sie aus zuvor erhaltenen Eingaben explizite oder implizite Ziele ableiten und Ausgaben, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, erstellen. Und drittens können sie somit die physische oder virtuelle Umgebung beeinflussen.

Es ergeben sich Einsatzmöglichkeiten für KI in nahezu allen Bereichen des Arbeitsverhältnisses: Bereits für den Bewerbungsprozess gibt es Tools, die die Bewerberauswahl erleichtern. Im Laufe des Arbeitsverhältnisses und auch bei der Beendigung von Arbeitsverhältnissen gibt es KI-gestützte Hilfsmittel. Trotz der erheblichen Relevanz gibt es jedoch bislang kaum spezielle gesetzliche Regelungen, sodass vor allem allgemeine Vorschriften für die rechtliche Bewertung heranzuziehen sind – so etwa das Allgemeine Gleichbehandlungsgesetz (AGG), die Datenschutz-Grundverordnung (DSGVO) und das Betriebsverfassungsgesetz (BetrVG). Dabei gibt es einige Besonderheiten, die Arbeitgeber kennen sollten.

Darüber hinaus ist am 1. August 2024 die KI-Verordnung der EU in Kraft getreten. Im Kern werden darin KI-Systeme in vier Risikokategorien unterteilt. Arbeitgeber, die entsprechende Systeme betreiben, müssen je nach Kategorie entsprechend höhere oder niedrigere Pflichten einhalten. Die wichtigsten Anwendungsfälle werden im Folgenden skizziert.

Kann ich die KI entscheiden lassen, wen ich einstelle oder entlasse? Nach Art. 22 I DSGVO sind automatisierte Einzelfallentscheidungen unzulässig. Dies betrifft insbesondere Personalentscheidungen im Rahmen von Einstellungen oder Kündigungen. Die Eingangsfrage wird also eindeutig mit „nein“ beantwortet. Personalentscheidungen können nicht der KI überlassen werden. Allerdings ist es zulässig, KI dafür zu nutzen, die Personalentscheidungen vorzubereiten.

Lediglich die endgültigen Entscheidungen müssen Arbeitgeber immer noch selbst treffen oder dies der Personalabteilung überlassen. Am Ende jedes Prozesses muss ein Mensch verantwortlich entscheiden.

In jedem Datenverarbeitungsprozess – und KI kann Daten in diesem Sinne verarbeiten – ist § 26 BDSG bzw. Art. 6 I DSGVO zu beachten. Danach ist ein KI-Einsatz im Bereich der Verarbeitung personenbezogener Daten nur zulässig, wenn die Verarbeitung durch KI im Einzelfall erforderlich war. Die Erforderlichkeit bezieht sich dabei immer auf den Einzelfall. Eine nur allgemein-abstrakte und somit gerade nicht auf den Einzelfall bezogenen Feststellung wird diesem Maßstab nicht gerecht.

Darüber hinaus treffen Arbeitgeber Informationspflichten gegenüber ihren Arbeitnehmern nach Art. 13 und Art. 14 DSGVO. Spiegelbildlich dazu hat der Arbeitnehmer ein Recht auf Auskunft, Art. 15 DSGVO, Berichtigung, Art. 16 DSGVO, und Löschung, Art. 17 DSGVO. Die Einhaltung der datenschutzrechtlichen Regelungen bei der Nutzung von KI muss durch den Arbeitgeber nachgewiesen werden können, Art. 5 II DSGVO. Sonst können Bußgelder nach Art. 83 DSGVO drohen. Besondere Schwierigkeiten für die Erfüllung dieser Gewährleistungs- und Nachweispflichten können sich aus mangelnder Transparenz und Einsehbarkeit der Arbeitsweise von KI-Systemen ergeben.

KI wird oft nachgesagt, besonders neutral zu sein. Ihre Funktionsweise beruht jedoch auf dem vorherigen „Erlernen“ mittels Trainings-Daten. Für Arbeitgeber sind diese Daten jedoch nicht transparent. Dadurch kann es passieren, dass sie durch die Verwendung von KI eventuell Arbeitnehmer diskriminieren. Mit Diskriminierung ist die Benachteiligung aus Gründen der Rasse oder wegen der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität gemeint, § 1 I AGG.

Diskriminierung durch KI kann vorliegen, wenn den Daten entweder selbst diskriminierende Muster zugrunde liegen oder dadurch entstehen, dass Aufgabendefinition, Datenauswahl oder Evaluation fehlerhaft durchgeführt wurden. Solche Diskriminierungen verstoßen gegen § 7 I in Verbindung mit § 1 I AGG und verletzen § 75 I BetrVG. Arbeitgeber sind nach § 12 I AGG dazu angehalten, erforderliche Schutzmaßnahmen gegen Diskriminierungen zu ergreifen. Bei der Verwendung von KI kann es also passieren, dass sie gar nicht erkennen, dass sie als Arbeitnehmer diskriminieren oder dass sie eigentlich verpflichtet wären, Schutzmaßnahmen einzurichten. Trotzdem können sie sich schadensersatzpflichtig machen.

Wenn im Unternehmen ein Betriebsrat existiert, gelten noch mal andere Regeln: Wird KI zur Überwachung des Verhaltens oder der Leistung von Arbeitnehmern eingesetzt, ist eine Mitbestimmung des Betriebsrats erforderlich, § 87 I Nr. 6 BetrVG. Dabei gilt zu beachten, dass es keine Geringfügigkeitsschwelle gibt, sodass bereits niedrigschwellige Maßnahmen, wie das Eintragen von Daten in Logfiles, darunterfallen. Auch kommt es nicht auf eine Überwachungsabsicht des Arbeitgebers an.

Von den Änderungen, die durch die KI-Verordnung eingeführt wurden, sind für Arbeitgeber insbesondere diejenigen über den Gebrauch von Hochrisiko-KI-Systemen hervorzuheben. Konkret betroffen ist dabei vor allem das Personalmanagement.

Hilfssysteme für Auswahl- und Einstellungsverfahren sowie für Bedingungen, Ausgestaltung und Beendigung von Arbeitsverhältnissen werden nach der KI-Verordnung als Hochrisiko-Systeme eingestuft. In diesem Bereich gelten nach der Verordnung für Betreiber strengere Anforderungen bezüglich Risiko-Management, Dokumentation und Transparenz. Nach Art. 111 II der Verordnung gelten die Regelungen jedoch grundsätzlich nur für Systeme, die nach dem 2. 8. 2026 in den Verkehr gebracht oder wesentlich verändert werden. Es kann daher für Arbeitgeber sinnvoll sein, entsprechende Systeme noch vorher einzuführen.

Daneben stellt sich aber im Alltag vor allem auch die Frage, ob Arbeitnehmer zur Erledigung ihrer Aufgaben Tools wie ChatGPT nutzen dürfen. Fraglich ist vor allem, ob das mit der Verpflichtung der Arbeitnehmer vereinbar ist, die Arbeitsleistung höchstpersönlich zu erbringen, § 613 S. 1 BGB. Nach der aktuellen Rechtslage ist die Verwendung durch KI durch Arbeitnehmer prinzipiell möglich. Schließlich ist sie ein technisches Hilfsmittel und kommt dabei beiden Arbeitsvertragsparteien zugute.

Arbeitgeber können jedoch verlangen, von ihren Arbeitnehmern über die KI-Nutzung informiert zu werden. Dies gilt vor allem, wenn die Nutzung urheber- oder datenschutzrechtliche Risiken oder Folgen mit sich bringt. Auch ist es die Pflicht des Arbeitgebers sicherzustellen, dass durch die Arbeit des Unternehmens nicht gegen Rechtsvorschriften verstoßen wird.

Deshalb sollten Arbeitgeber sich in jedem Fall darüber Gedanken machen, ob und wie diese in ihrem Unternehmen KI einsetzen möchten und welche Sicherheitsvorkehrungen sie dabei treffen müssen. Arbeitgeber sind dann gegenüber ihrem Arbeitnehmer berechtigt, ihr Direktionsrecht nach §§ 106 GewO, 611a BGB auszuüben und damit die Nutzung von KI-Systemen entweder besonders anzuordnen oder auch zu unterbinden.

Personalentscheidungen, Datenschutz und Urheberrecht sind bislang die Bereiche, in denen der KI-Einsatz im Arbeitsverhältnis wohl am meisten Risiken birgt. Für die Zeit nach dem 2. August 2026 gilt außerdem: Ab dann sind Besonderheiten bei Hochrisikosystemen nach der KI-Verordnung zu beachten. Perspektivisch lässt sich sagen, dass Arbeitgeber hier mit mehr Pflichten konfrontiert sein werden. Da dann aber andererseits auch die Anbieter der KI-Systeme selbst den strengeren Vorgaben entsprechen müssen, kann es für sie auch einfacher werden, Verpflichtungen einzuhalten.

Abschließend bleibt wie immer bei tatsächlichen und rechtlichen Neuerungen abzuwarten, wie sich die Gerichte dazu verhalten werden.