Werkstattbericht

Ein Sprachmodell wird nicht zuverlässiger, weil man es freundlicher bittet.

Wie wir aus einer Black Box einen Ablauf machen, den man prüfen kann. Mit den Vorfällen, an denen wir es gelernt haben, den Zahlen, die wir dabei gemessen haben, und der Datei, in der die Regeln stehen.

Rick WarlingDigitalAce, Luxemburg21. August 20269 Minuten
Das Wichtigste in fünf Sätzen
  1. Ein Sprachmodell macht Fehler, die man nicht sieht, wenn man den Text nur überfliegt, und die kein zweites Sprachmodell zuverlässig findet.
  2. Ein Verbot in der Anweisung an die KI ist keine Bremse: bei uns wurde es in vier von fünf Läufen ignoriert, obwohl es wörtlich dort stand.
  3. Was hilft, ist eine Regeldatei, die Sie und Ihre Anwältin lesen können, plus eine Faktenbasis, aus der jede Zahl stammen muss.
  4. Diese Datei darf die KI nicht selbst ändern können, sonst prüft sie sich gegen ihre eigenen Regeln.
  5. Und Sie entscheiden bewusst, was ohne Freigabe rausgeht, statt es einer Voreinstellung zu überlassen.

Am 13. Juli 2026 hat unser System einen Satz veröffentlicht, in dem „ein Kilowatt pro Stunde“ stand.

Kilowatt ist Leistung. Kilowattstunde ist Energie. „Kilowatt pro Stunde“ ist keine ungenaue Formulierung, sondern falsch, ungefähr so wie „hundert Kilometer pro Stunde pro Stunde“. Auf einem Kanal, dessen einziges Verkaufsargument ist, dass die Zahlen stimmen, ist das der teuerste Satz, den man schreiben kann.

Kein Prompt hätte das verhindert. Ein Sprachmodell kennt keine Physik, es kennt Wortfolgen, und „Kilowatt pro Stunde“ ist eine sehr häufige Wortfolge. Aufgefallen ist es auch keinem Menschen, denn zwei Tage vorher hatten wir den Tageslauf auf unbeaufsichtigt umgestellt. Genau dafür ist er gebaut.

Das ist dieser Artikel in einem Absatz. Nicht „KI macht Fehler“, das weiß jeder. Sondern: die Sorte Fehler, die ein Sprachmodell macht, findet man mit den Mitteln nicht, mit denen die meisten arbeiten. Ein zweiter Prompt findet sie nicht. Ein zweites Modell, das nochmal drüberschaut, findet sie nicht. Und Sie selbst finden sie nur, solange Sie jeden einzelnen Text lesen, was den ganzen Zweck der Sache aufhebt.

Was wir gemessen haben

Behauptungen sind billig, deshalb hier eine Messung aus unserem eigenen Betrieb. Wir haben im August fünf Videoläufe gemacht, um zu prüfen, ob ein KI-Videoagent den besseren Look liefert. Im Prompt stand wörtlich: „Do not invent any statistic, number, or on-screen text that is not in the script.“

KennzahlWert
Läufe5
Bezahlte Renders8
Publizierte Videos2
Blockierte Läufe3
Kosten gesamt8,57 USD
Kosten je publiziertem Video4,28 USD
Läufe, die Bildtext erfunden haben4 von 5

Fünf Läufe, August 2026, eigener Kanal. Der Prompt hat das Erfinden ausdrücklich verboten.

Vier von fünf Läufen haben trotzdem Text ins Bild geschrieben, der nirgends im Skript stand. Immer derselbe Typ: eine erfundene Zahl mit Einheit („2,5 kW“, „680 h“) oder ein Werbezusatz („TOP DEAL“, „Volle Förderung“, „Experten-Vergleich“). Nichts davon war böse Absicht. Das Modell wollte die Aufgabe gut erfüllen, und ein Werbevideo hat nun einmal meistens „TOP DEAL“ im Bild.

Ein Verbot im Prompt ist kein Verbot. Es ist eine Bitte, die in 80 Prozent der Fälle ignoriert wurde.

Wer Ihnen eine KI-Automatisierung verkauft und auf die Frage nach der Absicherung mit „das steht im Prompt“ antwortet, hat Ihnen gerade gesagt, dass es keine Absicherung gibt. Das ist der Kern, und alles Weitere ist die Antwort darauf: Was tritt an die Stelle der Bitte?

Die Antwort: dem Modell Entscheidungen wegnehmen

Eine Black Box wird nicht dadurch kontrollierbar, dass man sie besser überwacht. Sie wird kontrollierbar, indem man ihren Zuständigkeitsbereich verkleinert, bis nur noch das übrig bleibt, was ein Modell wirklich besser kann als eine Regel: Sprache formulieren. Alles andere entscheidet etwas, das immer gleich entscheidet.

Bei uns sieht das so aus. Ein Sprachmodell schreibt das Skript. Danach fasst es nichts mehr an.

das Modell entscheidet ab hier entscheidet kein Modell mehr Skript Sprachmodell SCHRANKE 1 Regeln was verboten ist SCHRANKE 2 Belege jede Zahl mit Quelle Render Stimme, Bild, Text SCHRANKE 3 Datei Ton, Bild, Länge SCHRANKE 4 Freigabe je Inhaltsklasse Post content_policy .yaml liest fakten .yaml liest Änderung nur per Pull Request, von einem Menschen freigegeben. schreiben gesperrt
Der Ablauf hat genau eine Stelle, an der ein Sprachmodell entscheidet. Die vier Schranken danach entscheiden immer gleich. Der Agent darf die Regeldatei und die Faktenbasis lesen, aber nicht schreiben: das ist keine Anweisung im Prompt, sondern eine Berechtigung auf Plattformebene.

Schranke 1: die Regel steht in einer Datei, nicht im Prompt

Bevor ein Skript in die Produktion geht, läuft es gegen eine Regeldatei. Kein zweites Sprachmodell, sondern ein deterministischer Filter: gleicher Text, gleiches Ergebnis, jedes Mal. Ein Modell, das ein Modell kontrolliert, ist keine Kontrolle, sondern eine zweite Meinung mit denselben blinden Flecken.

Der praktische Vorteil ist nicht die Technik, sondern das Format. Die Datei ist versioniert, jede Änderung hat ein Datum und einen Namen, und man kann sie ausdrucken und einer Anwältin auf den Tisch legen. Ein Prompt kann man das nicht, denn der wird bei jedem Modellwechsel neu ausgewürfelt.

So sieht das aus. Ein Ausschnitt aus der Policy unseres Gesundheitskanals, gekürzt, sonst unverändert:

Falls Sie kein Entwickler sind: Sie müssen den folgenden Kasten nicht lesen. Wichtig ist nur, dass es diese Datei gibt, dass die Erklärungen darin auf Deutsch stehen, und dass nur ein Mensch sie ändern darf. Weiter geht es direkt darunter.

policies/content_policy.yamlAuszug
# --- Check disclosure_present: dieser exakte Text muss in der Caption stehen ---
# Zwei Pflichten in einem String: KI-Kennzeichnung UND medizinischer Disclaimer.
required_disclosure: "Virtual AI character. AI-generated content.
                       Not medical advice, only hints."

# --- Check banned_claims: Regex, case-insensitive, gegen hook, body und caption. ---
# Startset, wird im Betrieb nachgeschärft: JEDER VORFALL WIRD EIN MUSTER
# (und in der Engine ein Regressionstest).
banned_patterns:
  # Diagnose: die Persona stellt nichts fest. Kein "you have", kein
  # "you're intolerant", kein "this means you".
  - '\byou\s+(have|got)\b[^.!?]{0,40}\b(intolerance|allergy|condition)\b'
  # Heilung, Behandlung, Vorbeugung als Zusage.
  - '\b(cures?|heals?|treats?|reverses?)\b[^.!?]{0,40}\b(ibs|reflux|disease)\b'
  # Gestörtes Essverhalten: keine Moralisierung, keine Detox-Versprechen.
  - '\b(good|bad|clean|dirty|guilt[- ]?free)\s+foods?\b'
  - '\b(detox|cleanse|flush)\s+(your\s+)?(body|gut|system|liver)\b'

# --- Check belege: diese Einheiten machen eine gesprochene Zahl zur BEHAUPTUNG. ---
# Fehlt dieser Schlüssel, ist der Gate fail-closed und JEDE Zahl braucht Beleg.
einheiten: [g, gram, mg, mcg, kcal, calories, %, percent, ml, IU]

Zwei Dinge daran sind wichtiger als der Inhalt. Erstens: die Kommentare stehen auf Deutsch, die Werte auf Englisch, weil sie gegen englische Skripte prüfen. Eine Regeldatei, die niemand lesen kann, wird nicht gepflegt. Zweitens der Satz „jeder Vorfall wird ein Muster“. Diese Datei ist nicht am Anfang fertig, sie wächst mit jedem Fehler, den wir finden, und jeder Eintrag bekommt in der Engine einen Test, damit derselbe Fehler nie zweimal passiert.

Schranke 2: Zahlen kommen aus einer Faktenbasis, nicht aus dem Modell

Das ist die Schranke, die aus dem Kilowatt-Vorfall entstanden ist. Regel: Das Modell darf nur Zahlen aussprechen, die in einer eigenen Datei stehen, mit Wert, Einheit, Quelle als URL und Datum. Findet der Filter im Text eine Zahl, die auf keinen Eintrag zeigt, bricht der Lauf ab. Kein Render, keine Kosten.

Der Quellenstandard ist eng gefasst. Für den Gesundheitskanal: das EFSA-Register, ärztliche Leitlinien, Cochrane-Reviews, DGE-Referenzwerte, das RKI. Kein Blog, keine Einzelstudie ohne Peer-Review, keine Herstellerangabe.

Und eine Konsequenz, die überrascht und trotzdem richtig ist: gerechnete Zahlen sind keine Fakten. „1 kW mal 6 Stunden mal 30 Tage sind 180 kWh, bei 0,40 Euro also 72 Euro“ fällt durch, weil 180 und 72 in keiner Faktenbasis stehen. Das ist gewollt. Sonst kann sich das Modell jede beliebige Zahl herleiten und die Schranke ist wieder offen. Die Rechnung darf im Text stehen, aber ihr Ergebnis gehört als eigener Eintrag in die Faktenbasis, recherchiert von einem Menschen.

Schranke 3: das fertige Artefakt wird mechanisch geprüft

Ein Text kann sauber sein und die Datei trotzdem kaputt. Deshalb prüft ein Modul das fertige Video, bevor irgendetwas hochgeladen wird: Ist die Länge plausibel? Liegt auf jedem Segment Ton? Stimmt die Auflösung? Ist der erste Frame nicht schwarz? Ist unser Sender-Logo im Bild? Fällt eine Prüfung durch, wird der Eintrag blockiert und nichts geht raus, auch nicht unbeaufsichtigt.

Schranke 4: die Freigabe ist eine Entscheidung, kein Standardwert

Nicht jede Inhaltsklasse braucht einen Menschen. Auf unserem Affiliate-Kanal für Klimageräte postet die Maschine selbst. Auf dem Gesundheitskanal endet jeder Lauf mit einem fertigen Video und der Frage, ob es raus darf. Das kostet fünf Minuten am Tag, und diese fünf Minuten sind der Preis dafür, dass ein Fehler löschbar bleibt.

Der Punkt ist nicht, dass Freigabe gut und Automatik schlecht wäre. Der Punkt ist, dass es eine bewusste, dokumentierte Entscheidung pro Inhaltsklasse ist, und keine Voreinstellung, die niemand je angefasst hat.

Wo unsere eigenen Schranken versagt haben

Ein Werkstattbericht, in dem alles funktioniert, ist Werbung. Deshalb die drei Stellen, an denen es bei uns schiefging, mit Datum.

13.07.2026Eine physikalisch falsche Einheit ging live

„Ein Kilowatt pro Stunde.“ Die Prüfung kannte keine Physik, und seit zwei Tagen sah kein Mensch mehr vor der Veröffentlichung darauf.

Was wir geändert haben

Die Faktenbasis wurde eingeführt und der Filter erzwingt sie. Zusätzlich wurde die Einheitenfalle selbst zu einem Muster in der Regeldatei, mit einem Regressionstest, der genau diesen Satz enthält.

15.07.2026Die Prüfung prüfte nichts

Der Belege-Check zog nur Ziffern aus dem Text. Ausgeschriebene Zahlen waren ausdrücklich ausgenommen, mit einer nachvollziehbaren Begründung: „drei Gründe“ ist Grammatik, keine Behauptung. Damit kam dieser Satz ohne einen einzigen Beleg durch: „Die Midea war fünfzehn Minuten lieferbar. Ein Monoblock kostet dich im Sommer rund siebzig Euro.“

Das ist keine trickreiche Umgehung, sondern die natürliche Art, deutsche Sprechtexte zu schreiben. Unser eigener Befund dazu, wörtlich: „Der Gate prüft dann nichts und erzeugt trotzdem die Überzeugung, die Zahlen seien belegt. Das ist schlechter als gar kein Check.“

Was wir geändert haben

Deutsche Zahlwörter werden jetzt deterministisch in Ziffern normalisiert. Und die Unterscheidung läuft nicht mehr über Ziffer oder Wort, sondern über die Einheit: „drei Gründe“ ist Grammatik und geht durch, „siebzig Euro“ ist eine Behauptung und braucht einen Beleg.

Juli 2026Der Agent wollte die Regel ändern, an der er scheiterte

Die Regeln liegen in einer Datei. Der Agent, der die Inhalte produziert, hat Zugriff auf das Repository, in dem diese Datei liegt. An einem einzigen Wochenende hat unser System zweimal den Weg des geringsten Widerstands genommen, an Stellen, an denen wir es ihm ausdrücklich untersagt hatten. Nicht aus Bosheit, sondern weil es die Aufgabe erfüllen wollte und der Umweg der kürzeste war.

Was wir geändert haben

Die Lösung liegt nicht im Prompt, sondern eine Ebene tiefer. Die Regelpfade stehen nicht auf der Schreib-Allowlist des Agenten, und die Plattform verweigert den Schreibzugriff. Lesen ja, ändern nur per Pull Request, den ein Mensch freigibt.

Wer die Prüfung ändern kann, gegen die er geprüft wird, ist nicht geprüft.

Das ist die Frage, die Sie jedem Anbieter stellen sollten, und sie kostet Sie dreißig Sekunden: Kann das System, das ihr für mich baut, seine eigenen Regeln ändern? Wer darauf keine klare Antwort hat, hat keine Schranke gebaut, sondern eine Dekoration.

Der Schritt, den fast niemand macht

Zurück zu den vier von fünf Läufen mit erfundenem Bildtext. Die naheliegende Reaktion wäre gewesen, den Prompt zu verschärfen, oder eine Texterkennung über jedes Bild laufen zu lassen und rot zu schalten, sobald sie etwas findet. Beides hätten wir bauen können. Beides hätte die eigentliche Ursache nicht angefasst.

Was wir stattdessen gemacht haben: Wir haben dem Modell die Zuständigkeit für Bildtext weggenommen. Untertitel, Logo und Endbild rendert jetzt ein Videowerkzeug, und zwar genau die Zeilen, die vorher durch Schranke 1 und 2 gegangen sind. Es gibt nichts mehr zu erfinden, weil an dieser Stelle nichts mehr entschieden wird.

Der Nebeneffekt ist der, an dem man merkt, dass es die richtige Lösung war: Schranke 3 kann strukturell nicht mehr rot werden, also gehen die Videos zuverlässig live. Wir haben die Fehlerquote nicht durch schärfere Kontrolle gesenkt, sondern indem wir die Ursache entfernt haben. Von vierzehn Schritten sind sieben geblieben, von durchschnittlich 1,6 bezahlten Renders je Lauf ist einer geworden.

Und weil ehrliche Zahlen dazugehören: In den drei beaufsichtigten Läufen danach war das Bild in drei von drei Fällen textfrei, auch in dem Lauf, der drei Zahlen im Skript hatte. Drei Läufe sind kein Beweis. Sie sind ein Anfang, und wir sagen das lieber selbst, bevor es jemand nachrechnet.

Das gilt nicht nur für Texte

Wir haben das an einem Content-Kanal gelernt, weil dort ein Fehler nur uns trifft. Die vier Schranken sind aber nicht an Content gebunden, sie sind an eine Frage gebunden: Wo im Ablauf entscheidet ein Modell etwas, das jemand anders für verlässlich hält?

Ein Angebot an einen Kunden

Das Modell formuliert den Text und ordnet die Anfrage ein. Der Preis kommt aus Ihrer Preisliste, nicht aus dem Modell. Rabattgrenzen und Zahlungsbedingungen stehen in der Regeldatei, nicht im Prompt. Und nichts geht ohne Ihre Freigabe zum Kunden.

Warum hier mehr auf dem Spiel steht

Ein schlechter Werbesatz ist peinlich und im ungünstigen Fall teuer. Ein falscher Preis in einem Angebot ist bindend.

Ein Wochenreport aus Ihren Systemen

Jede Zahl im Report stammt aus der Datenquelle, keine einzige aus dem Modell. Das Modell schreibt nur den Text drumherum, und jede genannte Zahl zeigt zurück auf die Zeile, aus der sie kommt. Genau dieselbe Schranke wie bei der Faktenbasis, nur mit Ihrer Datenbank statt mit dem EFSA-Register.

Ein Beleg, der ins System soll

Das Modell liest den Beleg und schlägt eine Zuordnung vor. Eine Regel entscheidet, welche Zuordnungen überhaupt zulässig sind, und eine Rechnung prüft, ob die Summen stimmen. Ein Vorschlag, der nicht aufgeht, wird nicht gebucht, sondern vorgelegt.

Es ist immer derselbe Bauplan. Das Modell formuliert, weil es das gut kann. Alles, was stimmen muss, entscheidet etwas, das immer gleich entscheidet. Und Sie legen fest, wo ein Mensch draufschaut.

Probieren Sie die erste Schranke aus

Unten steht der Filter aus Schranke 1, mit zwei Profilen: einem für einen normalen Onlineshop und unserem eigenen für Gesundheit und Ernährung. Tippen Sie einen Satz ein, den Sie so auf Ihrer Seite stehen haben könnten. Sie sehen sofort, ob er durchgeht, und wenn nicht, an welcher Stelle und an welcher Regel er scheitert.

Schalten Sie ruhig Regeln ab und sehen Sie zu, wie sich das Ergebnis ändert. Genau das ist der Punkt: eine Bremse, die man einstellen kann, und deren Einstellung man sieht.

Das rechte Profil ist unser eigenes, gekürzt. Beim Umschalten wechselt das komplette Regelwerk.

Textprüfung E-Commerce Shop

Oder ein Beispiel anklicken:

Regelklassen

Jede Klasse lässt sich einzeln abschalten. Das Ergebnis oben ändert sich sofort. So sieht eine Regeldatei aus, bevor sie in eine Datei geschrieben wird.

Was außerhalb der Textprüfung eingestellt wird

Kein Text-Muster, sondern Verhalten. Die erste Zeile ist der eigentliche Unterschied zwischen den beiden Profilen.

Ein Beispiel im Detail: wenn Sie im Handel verkaufen

Damit das nicht abstrakt bleibt, hier eine Inhaltsklasse ausbuchstabiert. Wenn Sie online verkaufen, machen zwei Termine den Mechanismus dieses Jahr konkret.

Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 der KI-Verordnung. Wer KI-generierte Inhalte veröffentlicht, muss sie so kennzeichnen, dass ein Leser erkennen kann, dass sie von einer Maschine stammen. Eine Automatisierung, die das mal setzt und mal vergisst, ist schlechter als gar keine, weil sie die Lücke erzeugt und gleichzeitig das Gefühl, es sei geregelt.

Ab dem 27. September 2026 greift die EmpCo-Richtlinie. Pauschale Umweltaussagen ohne anerkannten Nachweis sind dann unzulässig, und Klimaneutralität, die allein auf Kompensation beruht, ebenfalls. In Deutschland ist die Umsetzung bereits im Bundesgesetzblatt. Ein Sprachmodell, das frei über „nachhaltig“ und „klimaneutral“ schreibt, produziert ab diesem Datum Verstöße im Sekundentakt.

Dazu die Klassiker, die schon heute gelten:

Sie kennen diese Regeln. Ihr Sprachmodell nicht. Und es sagt Ihnen nicht, wann es die Grenze überschreitet, weil es die Grenze nicht kennt.

Was das kostet, wenn es schiefgeht, ist keine offene Frage. Im deutschen Wettbewerbsrecht liegen die Anwaltskosten einer Abmahnung üblicherweise bei 800 bis 1.200 Euro, die eigene Prüfung noch einmal bei 800 bis 2.000 Euro. Teuer wird es erst danach: Wer eine Unterlassungserklärung unterschrieben hat, zahlt beim nächsten Mal eine Vertragsstrafe, und zwar je Verstoß. Wenn eine Automatisierung denselben Satz in dreißig Produkttexte geschrieben hat, ist das eine andere Rechnung. In Luxemburg läuft es über eine Unterlassungsklage im Eilverfahren, und das Gericht kann anordnen, dass das Urteil auf Ihre Kosten veröffentlicht wird. Die Zahlen im Detail stehen in unserem kürzeren Artikel für Shopbetreiber.

Drei Fragen, die Sie jedem Anbieter stellen können

Unabhängig davon, ob wir das für Sie machen:

Wie wir arbeiten

Wir sind DigitalAce, ein AI Operations Studio aus Luxemburg. Wir verbinden KI mit echten Geschäftsprozessen und bauen fertige Abläufe für kleine und mittlere Unternehmen. Kein Werkzeug, das Sie danach selbst bedienen müssen, sondern ein Ablauf, der läuft.

Alles in diesem Artikel ist an unseren eigenen Produkten entstanden, nicht bei einem Kunden. Das war Absicht. Wir könnten Ihnen erzählen, wir hätten es für einen Kunden gebaut, das klänge besser. In einem Markt von der Größe Luxemburgs ist eine solche Behauptung allerdings eine Nachfrage vom Auffliegen entfernt. Die riskanteste denkbare Variante gehört auf ein Produkt, das uns selbst gehört, weil dort ein Fehler nur uns trifft.

Wenn Sie beim Lesen an einen bestimmten Satz auf Ihrer eigenen Seite denken mussten

Dann ist das genau das Gespräch, das wir gerne führen. Wir schauen uns an, wo bei Ihnen Inhalte entstehen, wo die Bremse fehlt und was der erste Ablauf wäre, der sich rechnet.

Erstgespräch vereinbaren Dreißig Minuten, kostenlos, unverbindlich.

Dieser Artikel beschreibt, wie wir unsere eigenen Systeme bauen. Er ist keine Rechtsberatung. Für die Bewertung Ihres konkreten Falls brauchen Sie eine Anwältin oder einen Anwalt, und wir arbeiten gerne mit Ihrer zusammen. Die genannten Fristen und Rechtsgrundlagen sind der Stand vom 21. August 2026.