KI-Verordnung betrifft alle Makler – ob sie selbst KI nutzen oder nicht

Mit dem Inkrafttreten der KI VO ist der Einsatz von Künstlicher Intelligenz kein rechtlicher Graubereich mehr, sondern ein klar geregelter Prozess mit konkreten Pflichten. Auch Versicherungsmakler, die auf den ersten Blick keine klassischen KI-Anwendungen betreiben, sind davon betroffen, wenn sie etwa Chatbots, Textgeneratoren oder externe Analysedienste nutzen. Die Herausforderung liegt nicht nur in der technischen Umsetzung, sondern vor allem im organisatorischen Umgang mit KI: Transparenz, Risikobewertung, Schulung und Dokumentation müssen professionell verankert werden, unabhängig von der Unternehmensgröße oder -branche. Während die DSGVO vor allem den Schutz personenbezogener Daten regelt, setzt die KI VO umfassende Standards für die Sicherheit, Transparenz und Kontrolle von KI-Systemen. Dies betrifft insbesondere den Umgang mit hochrisikoreichen Anwendungen, wie sie in der Versicherungsbranche etwa bei der Risikoprüfung oder Schadenregulierung zum Einsatz kommen können.

Die Herausforderung liegt nicht nur in der technischen Umsetzung, sondern vor allem im organisatorischen Umgang mit KI: Transparenz, Risikobewertung, Schulung und Dokumentation müssen professionell verankert werden – und das unabhängig von der Unternehmensgröße oder -branche.

Marlene Spaude, Juristin in der Kanzlei Michaelis Rechtsanwälte fasst in einem Beitrag die wichtigsten Punkte für Versicherungsvermittler in einer praxisorientierten Übersicht zusammen.

Um die Anforderungen der KI-Verordnung richtig zu verstehen, ist es wichtig, einige zentrale Begriffe zu kennen. Ein KI-System ist demnach eine Software, die auf Basis von maschinellem Lernen, Mustererkennung oder ähnlichen Technologien Entscheidungen trifft oder unterstützt. Besonders relevant sind sogenannte Hochrisiko-KI-Systeme. Das sind Anwendungen, die in sensiblen Bereichen eingesetzt werden, beispielsweise bei der Kreditvergabe, der Risikoprüfung im Versicherungswesen oder dem Zugang zu grundlegenden sozialen Leistungen. Daneben gibt es die General Purpose AI (GPAI), wie bekannte Sprachmodelle (beispielsweise GPT-4 oder Gemini), die sehr vielseitig eingesetzt werden können. Ein weiterer wichtiger Begriff ist die transparenzpflichtige KI, zu der beispielsweise Chatbots, Deepfakes oder automatisierte Empfehlungssysteme gehören. Bei deren Einsatz schreibt die Verordnung eine klare Kennzeichnung gegenüber den Nutzern vor. Schließlich umfasst die Verordnung auch den Begriff der betroffenen Personen: Das sind alle Menschen, deren Daten, Rechte oder Entscheidungen durch ein KI-System berührt werden.

Gemäß des Art. 3 Nr. 4 KI VO ist der „Betreiber“ eines KI-Systems eine natürliche oder juristische Person, die ein KI-System im Rahmen ihrer beruflichen Tätigkeit in Betrieb nimmt, also es für eigene Zwecke einsetzt und kontrolliert. Versicherungsmakler übernehmen diese Rolle oft, wenn sie KI gestützte Anwendungen nutzen, um beispielsweise automatisierte Beratungstools, Chatbots oder Entscheidungsunterstützungen in der Schaden- und Risikoanalyse einzusetzen.

Auch wenn die KI-Systeme von externen Anbietern bezogen werden, haftet der Makler als Betreiber dafür, dass diese Systeme den gesetzlichen Anforderungen entsprechen. Dies betrifft insbesondere die Pflicht zur Risikobewertung, zur Einhaltung von Transparenz- und Dokumentationspflichten sowie zur Sicherstellung der Mitarbeiterschulung. Die Verordnung gilt für alle Beschäftigten inkl. Praktikanten, Werkstudenten, Berater, Dienstleister und Zeitarbeitskräfte, sofern sie mit den eingesetzten KI-Systemen in Kontakt kommen.

Die Umsetzung der KI VO erfordert eine klare Strukturierung der Verantwortlichkeiten innerhalb eines Unternehmens. Eine zentrale Rolle nimmt der KI-Compliance Officer ein. Diese Person trägt die Gesamtverantwortung dafür, dass alle Vorschriften eingehalten werden und berichtet regelmäßig an die Geschäftsführung. Die technische Seite liegt vorzugsweise bei der Abteilung für IT-Sicherheit, die die Risikobewertung der KI-Systeme durchführt, technische Kontrollen implementiert und im Falle von Vorfällen das Management übernimmt. Die HR-Abteilung oder spezialisierte Schulungsbeauftragte sind für die Organisation und Durchführung der Mitarbeiterschulungen zuständig und überwachen deren Teilnahme. Die Fachbereiche selbst müssen vor dem Einsatz von KI-Systemen eine sorgfältige Risikoanalyse durchführen, um die möglichen Auswirkungen auf Prozesse und Kunden zu bewerten.

Die KI VO unterscheidet bei der Risikobewertung von KI-Systemen verschiedene Kategorien, die über die Art und den Einsatzbereich entscheiden. Verbotene KI-Systeme sind Anwendungen, deren Einsatz grundsätzlich untersagt ist, wie beispielsweise die Erkennung von Emotionen am Arbeitsplatz oder das sogenannte Social Scoring. Dagegen stehen Hochrisiko-KI-Systeme, die in besonders sensiblen Bereichen eingesetzt werden – etwa bei der Risikoprüfung von Versicherungen oder der Kreditwürdigkeitsbewertung. Für diese Systeme gelten besonders strenge Anforderungen, darunter eine formale Konformitätsbewertung, detaillierte Dokumentation und Meldepflichten gegenüber Aufsichtsbehörden. Eine weitere Kategorie umfasst die transparenzpflichtigen KI-Systeme, zu denen beispielsweise Chatbots oder automatisierte Texterstellung gehören. Hier ist sicherzustellen, dass Nutzer darauf hingewiesen werden, dass eine KI zum Einsatz kommt. Schließlich gibt es KI-Anwendungen mit einem geringeren Risiko, wie etwa KI-gestützte Textvorschläge, für die keine besonderen Pflichten außer der Mitarbeiterschulung gelten.

Wird in einem Unternehmen beispielsweise ein Chatbot auf der Homepage mithilfe von Chat-GPT betrieben oder für automatisierte Antworten auf E-Mails eingesetzt, ist dies grundsätzlich als KI mit begrenztem Risiko zu bewerten. Der Einsatz von Chat-GPT kann jedoch auch in den Hochrisiko-Bereich fallen, wenn die KI beispielsweise zur Kreditwürdigkeitsprüfung genutzt wird.

Es empfiehlt sich, die eingesetzten KI-Systeme nicht für Hochrisiko-Bereiche anzuwenden, also keine Kreditwürdigkeitsprüfungen, keine Einstellungsentscheidungen und ähnliches. Die KI VO sieht für Hochrisiko-Anwendungen deutlich strengere Anforderungen vor. 

Artikel 4 der KI VO, der seit dem 2. Februar 2025 verpflichtend ist, regelt die KI-Kompetenz.  Wer im Rahmen seiner Arbeit KI-Systeme nutzt, muss sie verstehen und sicher bedienen. Beschäftigte müssen technische Grundlagen, rechtliche Rahmenbedingungen sowie ethische Risiken kennen. Der Verordnungstext gibt kein konkretes Schulungsformat vor, sondern fordert ausreichendes Wissen, um KI sicher einzusetzen. Ist entsprechende Kompetenz nicht vorhanden, kann dies schwerwiegende Folgen haben.

Die inkorrekte Anwendung von KI oder unkritische Entscheidungen aufgrund falscher KI-generierter Ergebnisse können zu Schäden führen. Kann ein Unternehmen dann nicht vorweisen, dass die Mitarbeiter ordnungsgemäß geschult wurden, haftet es. So ist jedoch darauf hinzuweisen, dass einzelne Schulungen oft nicht ausreichen. Vielmehr müssen Prozesse etabliert werden, um Kompetenzen langfristig zu sichern. Hierbei sollte das technische Verständnis für die genutzte KI vertieft werden. Beschäftigte sollten in der Lage sein, zumindest im Allgemeinen zu verstehen, wie das KI-System funktioniert, welche Daten es nutzt und wie eventuelle Vorhersagen erstellt werden. Unternehmen sollten die rechtlichen Vorgaben kennen. Hierbei ist vor allem Wissen über Datenschutz- und Transparenzpflichten hervorzuheben. Auch sollte regelt sein, wer die Verantwortung bei Fehlern trägt und möglicherweise eine Ansprechperson für Rückfragen im Arbeitsalltag zu benennen. KI-Systeme verfügen zudem nicht über ein Verständnis für Moral und Ethik. Im Unternehmen sollte daher angesprochen werden, wie man Diskriminierung durch KI vermeidet.

Art. 4 der KI VO gibt keinen fixen Turnus für die Schulungen von Mitarbeiter vor. Es empfiehlt sich jedoch, die Schulungen mindestens einmal jährlich durchzuführen. So wird sichergestellt, dass die Mitarbeiter für die schnell fortschreitende Technologie sensibilisiert werden. Außerdem empfiehlt sich bei einem Systemwechsel oder der Einführung einer neuen KI, eine Schulung durchzuführen. Des Weiteren sollte eine Onboarding-Schulung für neue Mitarbeitende stattfinden.

Bei der Nutzung von transparenzpflichtiger KI, also z.B. Chatbots oder automatisierte Texterstellung, muss dies klar gekennzeichnet sein („Diese Antwort wurde von einem KI-System generiert“). Es muss auf die Möglichkeit des Widerspruchsrecht hingewiesen und der Kontakt zu Menschen angeboten werden. Außerdem muss die Datenschutzerklärung ergänzt werden, falls Daten verarbeitet werden. Eine allgemeine Ergänzung kann beispielsweise wie folgt lauten:

Bei der Ergänzung der Datenschutzerklärung empfehlen wir jedoch, weitere Angaben, beispielsweise die konkrete Benennung der eingesetzten KI-System und den Anwendungsbereich, mitaufzunehmen.

Wir empfehlen die sorgfältige und laufende Dokumentation aller eingesetzten KI-Systeme im Unternehmen. Dieses sogenannte KI-Systemregister sollte stets aktuell gehalten werden und dient als wichtige Grundlage für das Risikomanagement, die Schulungsplanung und die interne sowie externe Nachweisführung. Die Pflege und Verwaltung des KI-Systemregisters liegt idealerweise beim KI-Compliance Officer oder einer vergleichbaren verantwortlichen Person. Für jedes eingesetzte KI-System sollten folgende Informationen dokumentiert und regelmäßig überprüft werden:

Die Kanzlei Michaelis stellt eine KI VO Checkliste zur Verfügung:

KI VO Checkliste