Endstation Pädo-Deepfakes? Die Grok-Krise und ihre Folgen

Florian Bodoky

14.1.2026

Nachdem Grok auf Verlangen anzügliche Deepfake-Bilder erstellt hat – teils von Kindern –, will das Vereinigte Königreich neue Gesetze erlassen. Trotz Musks Zensur-Vorwürfen gehen sie entschlossen vor. Und die Schweiz?

Update vom 15. Januar 2026

Der Tech-Konzern X und die zugehörige KI-Firma xAI haben neue technische Beschränkungen für ihren KI-Chatbot Grok angekündigt. Diese sollen die Erstellung und Bearbeitung sexualisierter Bilder echter Personen verhindern. Anfragen zur digitalen Darstellung von Personen in Bikinis, Dessous oder anderen freizügigen Outfits werden damitblockiert, also auch für zahlende Nutzerinnen und Nutzer. Zudem hat X die Bild- und Fotoverarbeitungsfunktionen von Grok so angepasst, dass nur noch zahlende Nutzer darauf zugreifen können – auch dieser Schritt dient laut Unternehmen der besseren Kontrolle der Inhalte. Damit reagiert X auf Kritik, die vor allem die nicht einvernehmliche Erzeugung anzüglicher Deepfakes betrifft.

Die neuerlichen Massnahmen folgten als direkte Reaktion auf die Untersuchung der Generalstaatsanwalt des US-Staats Kalifornien, Rob Bonta gegen xAI. Gouverneur Gavin Newsom forderte eine zügige Aufklärung und mögliche Konsequenzen für das Unternehmen. Auf Bundesebene hat der US-Senat den sogenannten Defiance Act verabschiedet, der Betroffenen nicht einvernehmlicher KI-Deepfakes das Recht gibt, zivilrechtlich gegen Produzenten solcher Inhalte vorzugehen. Der Gesetzentwurf soll nun im Repräsentantenhaus behandelt werden.

Daran, dass diese Massnahmen funktionieren werden, bestehen aber starke Zweifel. So hat beispielsweise das Portal The Verge bemerkt, dass sich die Massnahmen wie das Blockieren bestimmter Prompts oder das Limitieren der Bildbearbeitung auf zahlende Nutzer und Nutzerinnen leicht umgehen lassen. Über die Grok-Website, die Grok-App sowie die X-App lassen sich diese Abbildungen weiter anfertigen. Auch die Altersabfragen, die gelegentlich aufpoppen, lassen sich ohne Nachweis und mit einer Eingabe eines entsprechenden Geburtsdatums umgehen. Zudem kritisiert das Portal xAI-Besitzer Elon Musk dafür, dass er die komplette Verantwortung für die Vorkommnisse auf die Nutzerschaft abwälze.

Originaltext

Das Vereinigte Königreich reagiert auf die Deepfake-Bilder, darunter auch von Minderjährigen, die mit der KI Grok entstanden sind. Also der Künstlichen Intelligenz, die Teil von Elon Musks Firma xAI ist. Die britische Regierung lässt in einer Medienmitteilung verlauten, dass sie die «unkontrollierte Erzeugung und Verbreitung solcher Inhalte als ernste Rechtsverletzung» betrachtet und «die zuständigen Behörden angewiesen hat, alle vorhandenen rechtlichen Instrumente auszuschöpfen, um diese Praxis zu unterbinden».

Liz Kendall, Staatssekretärin für Wissenschaft, Innovation und Technologie, erklärte, dass die Regierung plant, die Erzeugung nicht einvernehmlicher Deepfakes von Personen in knapper oder ohne Bekleidung als gesonderten Straftatbestand einzuführen. Die Medienaufsichtsbehörde Ofcom hat zudem eine Untersuchung eröffnet, um zu prüfen, ob die Plattform X ihre Pflichten unter dem Online Safety Act erfüllt hat.

Eine zentrale Frage der Untersuchung dürfte sein, ob X und dessen Betreiber proaktiv und ausreichend gegen den Missbrauch vorgehen. Dass X die Bildgenerierung auf zahlende Nutzer beschränkt, reicht den britischen Behörden nicht und auch die reaktiven Massnahmen seien ungenügend. Hierzu äusserte sich Premierminister Keir Starmer sehr deutlich: «Wenn X Grok nicht kontrollieren kann, werden wir das tun». Er hat Ofcom dazu aufgefordert, «alle Optionen zu prüfen» – und schliesst damit auch eine Grok-Sperrung im Vereinigten Königreich nicht aus.

Grok, X und Elon: Was ist eigentlich passiert?

2025 spendierte xAI dem Chatbot ein Bild- und Videogenerierungs-Feature. Über Prompts können Nutzer und Nutzerinnen auch Bilder editieren. Binnen weniger Tage verbreiteten sich sexualisierte Darstellungen von realen Personen auf der Plattform, hauptsächlich Frauen. Darunter auch Fälle von minderjährigen Personen. Die üblichen Schutzmechanismen funktionierten nicht immer: Anfragen, die eindeutig gegen ethische und rechtliche Grenzen verstiessen, wurden trotzdem ausgeführt. Trotz wiederholter Beschwerden und Berichte blieb die Funktion zeitweise aktiv. Auf die Kritik und die Pläne der britischen Regierung reagierte Besitzer Elon Musk zunächst in gewohnter Weise: Er kritisierte diese öffentlich, nannte die Interventionen «Zensur».

Kürzlich limitierte X die bildbasierte Grok-Funktion auf zahlende Abonnenten, um eine Rückverfolgbarkeit zu ermöglichen. X betont, dass illegale Inhalte gelöscht und verantwortliche Accounts gesperrt würden. Auch Grok selbst generierte eine Entschuldigung. Kritiker weisen jedoch darauf hin, dass technische Sperren weiterhin umgangen werden können, etwa über externe Grok-Seiten.

Was passiert in der EU und der Schweiz?

Die Europäische Union hat in Reaktion auf die Grok-Vorfälle bereits im Vorjahr Regulierungsrahmen wie den Digital Services Act (DSA) und den AI Act entwickelt, um die Verbreitung von schädlichen KI-Inhalten einzudämmen. Die Behörde hat X aufgefordert, alle internen Grok-bezogenen Daten und Dokumente zu sichern und prüft die Einhaltung der europäischen Anforderungen. Die EU liess verlauten, dass sie «sexualisierte Deepfake-Bilder, insbesondere von Minderjährigen, als rechtswidrig betrachte» und «ihre Entfernung und Vermeidung aktiv verfolge». In der Schweiz gibt es kein dediziertes Gesetz speziell für Deepfake-Technologien. Der Nationalrat hat im Mai 2025 eine Motion der Grünen, die eine spezifische Regulierung für Deepfakes forderte, mit klarer Mehrheit abgelehnt. Der Bundesrat argumentierte, dass die bestehenden, «technologieneutral ausgelegten» Gesetze ausreichend seien. Dabei erwähnte die Schweizer Exekutive die Bestimmung gegen Identitätsmissbrauch StGB Art. 179 ff..

Zudem wurde das Eidgenössische Justiz- und Polizeidepartement (EJPD) nach der Unterzeichnung der «Europaratskonvention zu KI» mit der Ausarbeitung einer entsprechenden Vernehmlassungsvorlage beauftragt, die bis Ende 2026 vorliegen soll. Der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte (EDÖB) verwies zudem auf das 2023 revidierte Datenschutzgesetz DSG, welches «direkt auf KI anwendbar ist».

Das die Schweiz aber auch gegen KI-Generierte Inhalte per se vorgeht, zeigte ein kürzlicher Fall: Das Schweizer Bundesgericht entschied kürzlich, dass pornografische Inhalte mit digital verjüngten Erwachsenen, die wie Minderjährige aussehen, als illegal gelten. Dies stützt sich auf Bestimmungen zum Schutz vor «nicht realer» Kinderpornografie im Strafgesetzbuch. Komplett zahnlos wäre die Schweizer Rechtsprechung tatsächlich nicht.

Florian Bodoky

Editor

Florian.Bodoky@digitecgalaxus.ch

Seit ich herausgefunden habe, wie man bei der ISDN-Card beide Telefonkanäle für eine grössere Bandbreite aktivieren kann, bastle ich an digitalen Netzwerken herum. Seit ich sprechen kann, an analogen. Wahl-Winterthurer mit rotblauem Herzen.

Folgen

---

Security

Folge Themen und erhalte Updates zu deinen Interessen

Thema folgen

---

Hintergrund

Interessantes aus der Welt der Produkte, Blicke hinter die Kulissen von Herstellern und Portraits von interessanten Menschen.

Alle anzeigen

Diese Beiträge könnten dich auch interessieren