Project Lily: Hunderte Vertragskräfte lesen echte ChatGPT-Gespräche
Eine Recherche von 404 Media zeigt, dass OpenAI ganze Chatverläufe von Menschen bewerten lässt. Der Hinweis darauf steht in einer FAQ. Für Unternehmen hängt alles am Tarif und an einem Schalter.
Das US-Magazin 404 Media hat am 14. September 2026 eine Recherche von Joseph Cox veröffentlicht, die auf internen Dokumenten und Gesprächen mit Beteiligten beruht. Kern des Berichts: OpenAI beschäftigt Hunderte externer Vertragskräfte, die echte ChatGPT-Eingaben lesen und die Antworten des Systems bewerten. Was die Prüfer zu sehen bekommen, sind nicht nur einzelne Fragen, sondern teilweise ganze Gesprächsverläufe zwischen Nutzern und dem Chatbot.
ChatGPT hat nach den im Bericht genannten Zahlen mehr als 900 Millionen Nutzer. Die wenigsten dürften damit rechnen, dass ein Mensch mitliest. Ein Beteiligter sagt dazu im Bericht auf die Frage, ob die Nutzer davon wüssten, schlicht:
Nein. Ich glaube nicht, dass sie sich vorstellen würden, dass irgendein Vertragsarbeiter die Gespräche auswertet.
Für Unternehmen ist das weniger eine Enthüllung als eine Erinnerung: Wer ein Werkzeug ohne Vorgaben freigibt, gibt auch die Daten frei, die dort hineinlaufen.
Was die Prüfer tun
Das interne Vorhaben läuft dem Bericht zufolge unter dem Namen „Project Lily". Die Vertragskräfte bewerten die Antworten des Modells auf einer Skala von 1 bis 7 und kommentieren sie. Inhaltlich geht es darum, dem System zwei Eigenschaften abzutrainieren: sich menschenähnlich zu geben und den Nutzern nach dem Mund zu reden. Letzteres, die sogenannte Sycophancy, spielt in mehreren laufenden Klagen gegen OpenAI eine Rolle.
Angeworben werden die Prüfer laut Recherche über den Dienstleister Crossing Hurdles, bezahlt werden sie über die KI-Trainingsplattform Mercor; eine der befragten Personen nennt einen Stundensatz von über 50 US-Dollar. Nutzernamen sehen die Prüfer nicht. OpenAI erklärt, personenbezogene Angaben vor der Weitergabe zu entfernen — räumt aber ein, dass sensible Details durchrutschen können.
Neu ist das Verfahren als solches nicht. Anthropic hat gegenüber 404 Media bestätigt, ebenfalls mit menschlicher Prüfung zu arbeiten; bei Google ist es ähnlich. Menschliches Bewerten von Modellantworten ist der übliche Weg, ein Sprachmodell nachzuschärfen.
Der Hinweis existiert — man muss ihn suchen
Bemerkenswert ist die Art der Offenlegung. Ein Hinweis auf menschliche Überprüfung steht seit mindestens 2023 in einer FAQ zur Datennutzung in den Verbraucherdiensten, allgemein formuliert und an einer Stelle, die im Alltag niemand aufschlägt. Als 404 Media das Unternehmen bat, die Stelle zu benennen, an der Nutzer über das Mitlesen informiert werden, blieb eine Antwort aus.
Genau hier liegt der datenschutzrechtliche Kern. Die DSGVO verlangt in den Artikeln 13 und 14, dass Betroffene vor der Verarbeitung verständlich erfahren, was mit ihren Daten geschieht und wer sie erhält. Ein technisch zutreffender Satz in einer Hilfeseite erfüllt diese Anforderung nicht zwangsläufig. Dass europäische Aufsichtsbehörden bei OpenAI genau hinsehen, ist bekannt: Die italienische Garante verhängte im Dezember 2024 ein Bußgeld von 15 Millionen Euro, unter anderem wegen unzureichender Information der Nutzer.
Der Unterschied liegt im Tarif
Für die Praxis ist die wichtigste Unterscheidung nicht „ChatGPT ja oder nein", sondern welche Variante im Haus benutzt wird:
- In den Verbrauchertarifen (Free, Plus, Pro) ist die Einstellung „Das Modell für alle verbessern" standardmäßig eingeschaltet. Inhalte aus diesen Konten können also zum Training verwendet und dabei auch von Menschen gelesen werden.
- In ChatGPT Business, Enterprise und Edu ist dieser Schalter standardmäßig aus; für Geschäftskunden wirbt OpenAI zusätzlich mit kurzen oder abschaltbaren Speicherfristen. Für die API gilt ebenfalls, dass Inhalte nicht ohne ausdrückliche Zustimmung ins Training fließen.
- Das Abschalten wirkt nur für neue Gespräche. Was vorher geschrieben wurde, holt man damit nicht zurück.
- Der temporäre Chat („Temporary Chat") ist die schnelle Notlösung für einen einzelnen sensiblen Vorgang, kein Ersatz für eine Regelung.
Der praktische Fallstrick ist damit ziemlich genau benannt: Ein Unternehmen kann einen sauberen Business-Vertrag haben — und trotzdem laufen Mandats- oder Kundendaten über die privaten Plus-Konten der Mitarbeiter, weil das im Alltag schneller geht und niemand etwas anderes gesagt hat.
Was Kanzleien und mittelständische Betriebe jetzt klären sollten
- Welcher Tarif wird tatsächlich benutzt? Nicht, welcher eingekauft wurde. Ein Blick in die Abrechnung und eine ehrliche Frage in die Runde bringen hier meist mehr zutage als eine Richtlinie.
- Den Schalter prüfen und dokumentieren. In den Verbrauchertarifen gehört „Das Modell für alle verbessern" ausgeschaltet — mit Datum, damit im Zweifel belegbar ist, ab wann.
- Auftragsverarbeitungsvertrag und Verarbeitungsverzeichnis. Wer berufsbezogene Daten verarbeitet, braucht die vertragliche Grundlage mit dem Anbieter und einen Eintrag im Verzeichnis. Beides existiert für die Geschäftstarife, für ein privates Konto nicht.
- Eine kurze Regel, welche Daten hineindürfen. Zwei Sätze, die jeder versteht, wirken besser als ein zehnseitiges Konzept: keine Klarnamen von Mandanten oder Patienten, keine vollständigen Verträge, keine Personalakten — und wo doch, nur im freigegebenen Tarif.
- Berufsgeheimnisträger gesondert betrachten. Für Kanzleien, Steuerberatung und Heilberufe steht neben der DSGVO § 203 StGB. Die Frage lautet dort nicht, ob Daten ins Training fließen, sondern schon, wer sie überhaupt zu sehen bekommt.
- Schatten-IT ernst nehmen. Ein Verbot ohne brauchbare Alternative erzeugt genau die privaten Konten, die man vermeiden wollte. Der freigegebene Zugang muss der bequemste sein.
Einordnung für die Praxis
Die Recherche beschreibt kein Datenleck und keinen Rechtsbruch, der schon festgestellt wäre. Sie macht sichtbar, was ohnehin gilt: Große Sprachmodelle werden von Menschen nachjustiert, und das Material dafür stammt aus echten Gesprächen. Skandalös ist daran weniger das Verfahren als der Abstand zwischen dieser Realität und dem, was Nutzer annehmen — und dass der Hinweis dort steht, wo er niemandem auffällt.
Für Unternehmen folgt daraus eine sehr nüchterne Aufgabe. Nicht die Technik muss bewertet werden, sondern die eigene Freigabe: welcher Zugang benutzt wird, welche Daten hineindürfen und wer das einmal aufgeschrieben hat. Das ist an einem Vormittag erledigt und erspart die unangenehmere Variante, die Frage erst dann zu stellen, wenn ein Mandant sie stellt.
Wenn Sie KI-Werkzeuge im Haus im Einsatz haben und nicht sicher sind, welche Daten dabei wohin fließen, sehen wir uns das gern mit Ihnen an.
Quellen
- 404 Media vom 14. September 2026, Joseph Cox: Inside 'Project Lily': The Humans Reading Your ChatGPT Chats (frei zugänglich ist der erste Teil, der Rest hinter einer Bezahlschranke)
- THE DECODER vom 15. September 2026: OpenAI has hundreds of contract workers reading your ChatGPT conversations
- The Next Web vom 14. September 2026: Einordnung zu Tarifunterschieden und DSGVO-Transparenzpflichten
