Wenn KI über Menschen entscheidet: Die Gefahren automatisierter Accountsperrungen, Kreditverweigerungen und digitaler Sanktionen
18. Oktober 2026
Ein Onlinekonto wird plötzlich gesperrt. Eine Bank verweigert einen Kredit. Ein Zahlungsdienstleister blockiert eine Auszahlung. Der Kundendienst verweist auf eine automatisierte Sicherheitsprüfung, kann die Entscheidung aber nicht erklären.
Was für die betroffenen Verbraucher wie eine willkürliche Entscheidung erscheint, kann das Ergebnis eines algorithmischen Bewertungssystems sein. Solche Systeme analysieren Nutzungsverhalten, Transaktionen, Bonitätsdaten oder vermeintliche Regelverstöße und lösen teilweise automatisch Sanktionen aus.
Der Einsatz künstlicher Intelligenz verspricht Unternehmen schnellere Abläufe, geringere Kosten und eine effizientere Betrugsbekämpfung. Gleichzeitig entsteht jedoch ein erhebliches rechtliches und gesellschaftliches Problem: Was geschieht, wenn ein automatisiertes System eine falsche Entscheidung trifft und der betroffene Mensch keine Möglichkeit erhält, sich wirksam dagegen zu wehren?
Die europäische Rechtsordnung kennt bereits Schutzmechanismen gegen solche Entscheidungen. Insbesondere die Datenschutz-Grundverordnung (DSGVO), der Digital Services Act (DSA) und die Rechtsprechung des Europäischen Gerichtshofs setzen Grenzen.
1. Digitale Sanktionen: Wenn der Algorithmus zum Richter wird
Automatisierte Kontrollsysteme sind längst Teil des digitalen Alltags.
Soziale Netzwerke prüfen Beiträge auf mögliche Regelverstöße. Online-Marktplätze überwachen Verkäuferkonten. Banken analysieren Transaktionen auf Betrugsrisiken. Zahlungsdienstleister erkennen ungewöhnliche Aktivitäten, während Auskunfteien die Kreditwürdigkeit von Verbrauchern bewerten.
Dabei kommen unterschiedliche Technologien zum Einsatz: einfache Regelwerke, statistische Modelle, maschinelles Lernen und zunehmend KI-gestützte Systeme.
Problematisch wird es, wenn aus einer automatisierten Bewertung unmittelbar eine belastende Maßnahme folgt.
Ein Beispiel: Ein Verbraucher verkauft regelmäßig gebrauchte Gegenstände über eine Onlineplattform. Ein automatisiertes System stuft seine Aktivitäten als verdächtig ein. Daraufhin wird sein Konto gesperrt und ein vorhandenes Guthaben vorübergehend blockiert.
Der Betroffene erhält lediglich die Mitteilung, sein Verhalten verstoße gegen die Nutzungsbedingungen. Welche konkrete Handlung beanstandet wird, bleibt unklar.
In solchen Fällen entsteht eine erhebliche Informations- und Machtasymmetrie. Der Plattformbetreiber kennt die Entscheidungsregeln, während der Nutzer häufig nicht einmal weiß, welche Tatsachen zur Sperrung geführt haben.
Eine automatisierte Entscheidung ist jedoch nicht schon deshalb rechtmäßig, weil sie technisch funktioniert oder in den Allgemeinen Geschäftsbedingungen vorgesehen ist.
2. Die Gefahr falscher Verdächtigungen
KI-Systeme und automatisierte Kontrollprogramme können Fehler machen.
Sie erkennen statistische Auffälligkeiten, bewerten Verhaltensmuster und ordnen Nutzer bestimmten Risikogruppen zu. Daraus können falsche Schlussfolgerungen entstehen.
Ein ungewöhnlicher Zahlungseingang kann als Betrugsversuch erscheinen. Häufige Logins aus unterschiedlichen Ländern können den Verdacht einer Kontoübernahme auslösen. Eine ungeschickte Formulierung in einem Beitrag kann als Verstoß gegen Plattformregeln eingestuft werden.
Besonders gefährlich ist die Verwechslung von Wahrscheinlichkeit und Gewissheit.
Ein System kann beispielsweise berechnen, dass bestimmte Verhaltensweisen mit einer erhöhten Betrugswahrscheinlichkeit verbunden sind. Daraus folgt aber nicht, dass der konkret betroffene Nutzer tatsächlich einen Betrug begangen hat.
Wird eine solche Risikobewertung unmittelbar in eine Sanktion umgesetzt, drohen erhebliche Nachteile.
Dazu gehören der Verlust des Zugangs zu digitalen Dienstleistungen, die Unterbrechung geschäftlicher Tätigkeiten, finanzielle Schäden und unter Umständen auch Reputationsverluste.
Die Fehleranfälligkeit wird zusätzlich problematisch, wenn Betroffene ausschließlich mit automatisierten Kundendienstsystemen kommunizieren können, die vorformulierte Antworten ausgeben und keine tatsächliche Neubewertung vornehmen.
3. Accountsperrungen: Welche Rechte haben Nutzer gegenüber Plattformen?
Eine besonders wichtige europäische Regelung ist der Digital Services Act.
Er enthält unter anderem Vorgaben für die Begründung bestimmter Moderationsentscheidungen durch Anbieter von Vermittlungsdiensten.
Nach Artikel 17 DSA müssen betroffene Nutzer bei erfassten Beschränkungen grundsätzlich eine klare und spezifische Begründung erhalten. Dazu können die Entfernung von Inhalten, die Einschränkung ihrer Sichtbarkeit und die Sperrung oder Beendigung eines Nutzerkontos gehören.
Die Begründung muss insbesondere erkennen lassen, welche tatsächlichen Umstände und welche rechtlichen Vorschriften oder Nutzungsbedingungen für die Entscheidung maßgeblich waren.
Auch der Einsatz automatisierter Mittel bei der Entscheidungsfindung ist nach den gesetzlichen Vorgaben offenzulegen.
Für erfasste Entscheidungen von Onlineplattformen sieht Artikel 20 DSA zudem ein internes Beschwerdemanagementsystem vor.
Nutzer können damit bestimmte Entscheidungen anfechten. Die Bearbeitung darf nicht ausschließlich auf automatisierten Mitteln beruhen, sondern muss unter Aufsicht entsprechend qualifizierten Personals erfolgen.
Das ist ein wesentlicher Unterschied zu einem System, bei dem ein KI-Bot lediglich die ursprüngliche Entscheidung wiederholt.
Allerdings gilt der DSA nicht unterschiedslos für jede Art von Kundenkonto. Welche Pflichten bestehen, hängt vom jeweiligen Dienst und der konkreten Maßnahme ab.
Für Betroffene bedeutet dies: Eine Plattform darf eine erfasste Sperrentscheidung nicht ohne Weiteres hinter einer undurchsichtigen automatisierten Prüfung verstecken.
4. Kreditverweigerung durch Algorithmen: Was sagt die DSGVO?
Noch gravierender können die Folgen automatisierter Entscheidungen bei der Kreditvergabe sein.
Wird einem Verbraucher ein Kredit verweigert, kann dies den Kauf einer Wohnung, die Finanzierung eines Fahrzeugs oder die Bewältigung einer wirtschaftlichen Notlage verhindern.
Dabei spielen Bonitätsscores und automatisierte Risikobewertungen eine wichtige Rolle.
Artikel 22 DSGVO schützt Menschen grundsätzlich davor, einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.
Die automatische Ablehnung eines Onlinekredits gehört zu den klassischen Beispielen.
Die Vorschrift enthält allerdings Ausnahmen, etwa bei bestimmten notwendigen Vertragsentscheidungen, ausdrücklicher Einwilligung oder gesetzlicher Ermächtigung. Diese Ausnahmen sind an Voraussetzungen und Schutzmaßnahmen gebunden.
Insbesondere muss bei bestimmten zulässigen automatisierten Entscheidungen die Möglichkeit bestehen, menschliches Eingreifen zu verlangen, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten.
Ein Unternehmen kann daher nicht allein mit dem Hinweis auf einen Algorithmus jede Verantwortung für seine Entscheidung zurückweisen.
5. EuGH zur SCHUFA: Auch der Score selbst kann eine automatisierte Entscheidung sein
Der Europäische Gerichtshof hat die Bedeutung dieser Schutzvorschriften bereits mit Urteil vom 7. Dezember 2023 (Az. C-634/21) hervorgehoben.
Im sogenannten SCHUFA-Verfahren ging es um die automatisierte Berechnung eines Wahrscheinlichkeitswerts, mit dem die künftige Zahlungsfähigkeit einer Person eingeschätzt wird.
Der Gerichtshof entschied, dass bereits die automatisierte Erstellung eines solchen Bonitätsscores unter Artikel 22 DSGVO fallen kann, wenn ein Dritter – beispielsweise eine Bank – diesen Wert maßgeblich für seine Entscheidung über einen Vertrag verwendet.
Die Entscheidung ist von grundsätzlicher Bedeutung.
Sie verhindert, dass die Schutzvorschriften dadurch umgangen werden, dass ein Unternehmen lediglich einen automatisierten Score erstellt und ein anderes Unternehmen auf dieser Grundlage die endgültige Entscheidung trifft.
Denn für den Verbraucher kann der Unterschied praktisch bedeutungslos sein: Wird sein Kreditantrag wegen eines schlechten Scores abgelehnt, ist die belastende Wirkung dieselbe.
Der EuGH hat damit deutlich gemacht, dass sich die rechtliche Bewertung an der tatsächlichen Bedeutung der automatisierten Bewertung orientieren muss.
6. Verbraucher müssen automatisierte Entscheidungen nachvollziehen können
Ein weiteres zentrales Problem ist die fehlende Transparenz.
Viele Betroffene erhalten nur allgemeine Hinweise wie „Sicherheitsrisiko erkannt“, „interne Prüfung“ oder „Bonitätsanforderungen nicht erfüllt“.
Solche Formulierungen erklären häufig nicht, welche personenbezogenen Daten verwendet wurden und wie die Bewertung zustande gekommen ist.
Hier setzt die DSGVO an.
Nach Artikel 15 DSGVO können betroffene Personen Auskunft über die Verarbeitung ihrer personenbezogenen Daten verlangen. Bei erfassten automatisierten Entscheidungen bestehen zudem besondere Informationsrechte hinsichtlich der involvierten Logik sowie der Tragweite und angestrebten Auswirkungen der Verarbeitung.
Der Europäische Gerichtshof hat diese Rechte mit Urteil vom 27. Februar 2025 (Az. C-203/22) konkretisiert.
Danach müssen Betroffene bei entsprechenden automatisierten Entscheidungen aussagekräftige Informationen über das tatsächlich angewandte Verfahren und die zugrunde liegenden Grundsätze erhalten.
Die Informationen müssen verständlich sein. Eine rein abstrakte Beschreibung der verwendeten Technologie genügt nicht zwangsläufig.
Das bedeutet allerdings nicht, dass Unternehmen in jedem Fall ihren vollständigen Quellcode oder sämtliche Geschäftsgeheimnisse offenlegen müssen.
Vielmehr sind die Informationsrechte der Betroffenen und berechtigte Geheimhaltungsinteressen nach den gesetzlichen Maßstäben miteinander in Einklang zu bringen.
Entscheidend ist, dass Verbraucher eine sie erheblich betreffende Entscheidung nachvollziehen und wirksam überprüfen lassen können.
7. Wenn ein KI-Bot die Beschwerde gegen einen anderen KI-Bot bearbeitet
Besonders kritisch ist eine Entwicklung, bei der nicht nur die ursprüngliche Entscheidung, sondern auch die anschließende Beschwerdebearbeitung automatisiert erfolgt.
Ein Verbraucher legt gegen seine Kontosperrung Einspruch ein. Die Antwort stammt jedoch erneut von einem automatisierten System.
Dieses verweist auf dieselben Nutzungsbedingungen, bestätigt die ursprüngliche Entscheidung und erklärt den Fall für abgeschlossen.
Ob überhaupt eine neue Prüfung stattgefunden hat, bleibt unklar.
Ein solches Verfahren kann den Eindruck einer Beschwerdemöglichkeit erzeugen, ohne tatsächlich wirksamen Rechtsschutz zu gewährleisten.
Wo das Recht eine menschliche Überprüfung verlangt, genügt es nicht, wenn ein Mitarbeiter lediglich die automatisch erzeugte Entscheidung bestätigt, ohne die tatsächlichen Umstände eigenständig beurteilen zu können.
Eine wirksame Überprüfung setzt voraus, dass die verantwortliche Person über ausreichende Informationen verfügt und befugt ist, die Entscheidung zu ändern.
Gerade für Plattformen, Banken und andere Anbieter digitaler Dienstleistungen wird deshalb die Organisation ihrer Beschwerdeverfahren zunehmend zu einer rechtlichen Frage.
8. Diskriminierung durch automatisierte Bewertungssysteme
Ein weiteres Risiko liegt in der möglichen Benachteiligung bestimmter Personengruppen.
Automatisierte Systeme werden häufig anhand historischer Daten entwickelt oder verwenden statistische Zusammenhänge zur Bewertung von Risiken.
Sind diese Daten verzerrt oder spiegeln sie bestehende Ungleichheiten wider, können sich entsprechende Nachteile in automatisierten Entscheidungen fortsetzen.
Denkbar sind beispielsweise Benachteiligungen bei der Kreditvergabe aufgrund indirekter Merkmale, die mit bestimmten Bevölkerungsgruppen korrelieren.
Dabei muss ein System nicht ausdrücklich nach einem geschützten persönlichen Merkmal unterscheiden, um problematische Ergebnisse hervorzubringen.
Auch scheinbar neutrale Kriterien können unter bestimmten Umständen diskriminierende Wirkungen entfalten.
Je nach Sachverhalt können neben der DSGVO auch Vorschriften des Allgemeinen Gleichbehandlungsgesetzes und weitere spezialgesetzliche Regelungen relevant sein.
Die europäische KI-Verordnung stuft bestimmte KI-Systeme zur Bewertung der Kreditwürdigkeit natürlicher Personen als Hochrisiko-KI ein. Damit unterstreicht der europäische Gesetzgeber die besondere Sensibilität solcher Anwendungen.
Welche konkreten Pflichten zu welchem Zeitpunkt gelten, richtet sich nach den jeweiligen Anwendungs- und Übergangsbestimmungen der KI-Verordnung.
9. Wer haftet für eine rechtswidrige Entscheidung?
Für Verbraucher stellt sich schließlich die entscheidende Frage, wer für die Folgen einer fehlerhaften automatisierten Entscheidung verantwortlich ist.
Grundsätzlich kann sich ein Unternehmen seiner rechtlichen Verantwortung nicht allein dadurch entziehen, dass es die Entscheidung einem KI-System überlassen hat.
Je nach Sachverhalt kommen unterschiedliche Anspruchsgrundlagen in Betracht.
Wird ein vertraglich geschuldeter Zugang zu einem Dienst unberechtigt gesperrt, können vertragliche Ansprüche auf Wiederherstellung des Zugangs und gegebenenfalls Schadensersatz bestehen.
Bei rechtswidriger Verarbeitung personenbezogener Daten können Ansprüche nach der DSGVO relevant werden.
Artikel 82 DSGVO sieht unter seinen Voraussetzungen einen Anspruch auf Ersatz materieller und immaterieller Schäden vor.
Auch datenschutzaufsichtsrechtliche Beschwerden oder gerichtliche Schritte können in Betracht kommen.
Allerdings führt nicht jede falsche automatisierte Entscheidung automatisch zu einem Schadensersatzanspruch. Maßgeblich sind die konkrete Rechtsverletzung, ein ersatzfähiger Schaden und die weiteren Voraussetzungen der jeweiligen Anspruchsgrundlage.
10. Was können Verbraucher gegen eine automatisierte Entscheidung unternehmen?
Wer von einer Kontosperrung, Kreditverweigerung oder vergleichbaren automatisierten Maßnahme betroffen ist, sollte die Entscheidung nicht vorschnell als endgültig hinnehmen.
Zunächst empfiehlt es sich, die Mitteilung über die Maßnahme sowie sämtliche relevanten Nachrichten und Nachweise zu sichern.
Anschließend kann gegenüber dem verantwortlichen Unternehmen eine konkrete Begründung verlangt werden.
Besteht der Verdacht, dass eine erhebliche Entscheidung ausschließlich automatisiert getroffen wurde, sollte geprüft werden, ob die Rechte aus Artikel 22 DSGVO einschlägig sind.
Daneben kann ein Auskunftsantrag nach Artikel 15 DSGVO helfen, die verwendeten personenbezogenen Daten und die maßgeblichen Bewertungsverfahren besser zu verstehen.
Bei Plattformentscheidungen sind die Beschwerdemöglichkeiten nach dem DSA zu berücksichtigen.
Wird eine Beschwerde ohne nachvollziehbare Prüfung zurückgewiesen oder bleibt die Entscheidung unbegründet, können weitere rechtliche Schritte sinnvoll sein.
Wichtig ist dabei, die konkrete Rechtsgrundlage zu bestimmen. Nicht jede Kontosperrung ist automatisch eine unzulässige automatisierte Entscheidung im Sinne der DSGVO.
11. Die grundlegende Gefahr: Der Verlust menschlicher Verantwortung
Die rechtliche Problematik automatisierter Entscheidungssysteme reicht über einzelne Kontosperrungen oder Kreditablehnungen hinaus.
Je mehr Entscheidungen über die wirtschaftliche und digitale Teilhabe von Menschen durch Algorithmen vorbereitet oder getroffen werden, desto wichtiger wird die Frage nach der Verantwortlichkeit.
Automatisierte Systeme können große Datenmengen auswerten und Entscheidungen beschleunigen. Sie sind aber nicht frei von Fehlern, Verzerrungen oder falschen Annahmen.
Besonders bedenklich ist eine Situation, in der Verbraucher zwar von automatisierten Entscheidungen betroffen sind, aber keinen tatsächlichen Ansprechpartner mehr erreichen können.
Dann droht ein strukturelles Ungleichgewicht: Unternehmen verfügen über die Technologie und die Entscheidungsdaten, während Betroffene die Grundlagen der Entscheidung nicht kennen und ihre Rechte nur schwer durchsetzen können.
Rechtsstaatliche Grundsätze verlangen jedoch, dass belastende Entscheidungen überprüfbar bleiben und Verantwortlichkeiten nicht im technischen System verschwinden.
Die zentrale Frage lautet deshalb nicht nur, ob künstliche Intelligenz Entscheidungen treffen kann, sondern auch, wer für diese Entscheidungen einsteht und wie sich der einzelne Mensch gegen Fehler wehren kann.
Fazit: Automatisierte Entscheidungen brauchen wirksame Kontrolle
Automatisierte Entscheidungssysteme werden für Verbraucher immer bedeutsamer. Sie beeinflussen den Zugang zu digitalen Plattformen, Finanzdienstleistungen und anderen wichtigen Angeboten.
Die damit verbundenen Risiken liegen insbesondere in fehlerhaften Bewertungen, unzureichenden Begründungen, diskriminierenden Ergebnissen und fehlenden Möglichkeiten zur wirksamen Überprüfung.
Mit der DSGVO und dem Digital Services Act bestehen bereits rechtliche Instrumente, um solchen Entwicklungen Grenzen zu setzen.
Die Rechtsprechung des Europäischen Gerichtshofs zeigt zudem, dass automatisierte Bewertungen nicht dadurch der rechtlichen Kontrolle entzogen werden können, dass Unternehmen sie als bloße technische Vorstufe einer Entscheidung bezeichnen.
Künstliche Intelligenz darf die Entscheidungsfindung unterstützen. Sie darf aber nicht dazu führen, dass Verbraucher belastenden Maßnahmen ohne nachvollziehbare Begründung und wirksame Rechtsschutzmöglichkeiten ausgeliefert sind.
Rechtliche Beratung bei automatisierten Entscheidungen
Wurde Ihr Nutzerkonto gesperrt, ein Kredit aufgrund einer automatisierten Bewertung verweigert oder eine andere erhebliche Entscheidung durch ein algorithmisches System getroffen?
Rechtsanwalt Fabian Fritsch unterstützt bei der rechtlichen Einordnung automatisierter Entscheidungen und der Prüfung möglicher Ansprüche gegenüber Plattformbetreibern und anderen Unternehmen.
Dabei können insbesondere Auskunftsansprüche nach der DSGVO, Beschwerderechte nach dem Digital Services Act und vertragliche Ansprüche von Bedeutung sein.
Rechtliche Quellen und Rechtsprechung
Die wesentlichen rechtlichen Aussagen des Artikels stützen sich auf folgende Quellen:
EuGH, Urteil vom 7. Dezember 2023 – C-634/21 (SCHUFA): Ein automatisiert erstellter Bonitätsscore kann bereits selbst eine automatisierte Entscheidung nach Artikel 22 DSGVO darstellen, wenn er für die spätere Vertragsentscheidung maßgeblich ist.
EUR-Lex
EuGH, Urteil vom 27. Februar 2025 – C-203/22: Betroffene haben bei erfassten automatisierten Entscheidungen Anspruch auf verständliche Informationen über die tatsächlich angewandten Bewertungsverfahren.
Europäische Kommission: Erläuterungen zu den Rechten bei automatisierten Entscheidungen, insbesondere Kreditverweigerungen und menschlicher Überprüfung.
European Commission
Bundesnetzagentur: Informationen zu Begründungspflichten und Beschwerderechten bei Accountsperrungen nach dem Digital Services Act.
Nutzerrechte
Zugegegen: Es gibt die Fachanwaltschaft für künstliche Intelligenz noch nicht, daher ist der Versuch, die Begrifflichkeit "KI-Anwalt" mit Leben zu füllen, von Visionen, eigenem Interesse und dem Aufbau eigener Erfahrungen geprägt. Fabian Fritsch gründete die Kanzlei Hafencity im Bedürfnis, Unternehmern und Verbrauchern im "Bankrecht 2.0" ein zuverlässiger Begleiter zu sein. gerade im Bank- und Kapitalmarktrecht steigt die Bedeutung von künstlicher Intelligenz rasant. So fügten sich nach erfolgreicher Kanzleigründ sehr schnell Berührungspunkte zum Recht der Künstlichen Intelligenz ein. Fritsch vertritt aktuell Opfer von KI-Einsätzen im Bereich von Accountsperrungen, bei Problemen mit Paypal und anderen Zahlungsdienstleistern und im Konflikt mit NEO-Brokern wie Trade Republik oder im Themengebiet Bitcoin-Handel. Breiten Raum nimmt auch die Vertretung geschädigter Mandanten durch Cyberkriminalität und Identitätsmissbrauch ein, insbesonder bei Auseinandersetzungen mit Banken nach Phishing und anschließendem Kreditkarten-/Onlinebetrug. Zur Mandantschaft gehören neben geschädigten Verbrauchern auch mittelständische Unternehmer und selbständig Tätige, die KI intensiv in ihre Abläufe einbinden und dabei auf rechtskonforme Lösungen angewiesen sind.KI-Anwalt Fabian Fritsch
