Woran erkennt man KI-Texte? Funktionsweise, Zuverlässigkeit und typische Merkmale

Zwei Grundideen tauchen in der Fachliteratur zur KI-Erkennung immer wieder auf. Eine 2023 veröffentlichte Untersuchung zählt sie zu sechs vorgeschlagenen Erkennungsverfahren. Die erste ist die Perplexität: Sie misst, wie vorhersagbar eine Wortfolge für ein Sprachmodell ist. Auf „Zusammenfassend lässt sich“ folgt zum Beispiel sehr wahrscheinlich „festhalten“ oder „sagen“. Sprachmodelle wählen bevorzugt solche wahrscheinlichen, glatten Formulierungen. Menschlicher Text schwankt stärker zwischen gewöhnlichen und ungewöhnlichen Wortfolgen. Die zweite Idee heißt „Burstiness“ und beschreibt, wie gleichmäßig oder abwechslungsreich der Wortschatz über einen Text verteilt ist. Hinter beiden Signalen steckt dieselbe Annahme: KI-Text ist im Schnitt gleichförmiger.

Diese Annahme trägt immer weniger. Dieselbe Untersuchung hat geprüft, wie zuverlässig Perplexität und Burstiness als Erkennungssignal sind. Mit wachsender Modellgröße nähert sich die Statistik von KI-Text der von menschlichem Text so stark an, dass beide Signale laut der Studie nicht mehr als zuverlässig gelten können. Daneben gibt es trainierte Klassifikatoren. Das sind neuronale Netze, die an bekannten Beispielen von Mensch- und KI-Text feine statistische Unterschiede lernen. Andere Verfahren prüfen per Retrieval, ob ein Text einer bekannten KI-Ausgabe ähnelt.

Am Ende steht eine Zahl für den eingereichten Text. Was sie angibt, unterscheidet sich von Werkzeug zu Werkzeug. Manche Berichte markieren zusätzlich einzelne Sätze, die besonders zu dieser Einschätzung beigetragen haben.

Eine unabhängige Vergleichsstudie haben Weber-Wulff und Kolleg:innen (2023) vorgelegt. Sie haben zwölf öffentlich zugängliche und zwei kommerzielle Detektionswerkzeuge am selben Textkorpus geprüft. Ihr Fazit: Die Werkzeuge seien „weder genau noch zuverlässig“ und stuften einen Text im Zweifel eher als menschlich geschrieben ein. Waren Texte maschinell übersetzt oder inhaltlich verschleiert, sank die Trefferquote noch einmal deutlich.

Das liegt an einer grundsätzlichen Grenze. Sadasivan und Kolleg:innen (2023) zeigen rechnerisch, dass die erreichbare Trennschärfe eines Detektors davon abhängt, wie verschieden KI-Text und menschlicher Text statistisch tatsächlich verteilt sind. Je ähnlicher sich beide Verteilungen werden, desto enger wird der Spielraum zwischen Fehlalarmen und übersehenen KI-Texten. Diesen Kompromiss löst kein Verfahren vollständig auf.

Für die eigene KI-Analyse veröffentlicht Certentis deshalb bewusst keine Genauigkeitsquote. Es gibt derzeit keinen geeigneten, gelabelten Referenzkorpus, an dem sich eine solche Zahl seriös belegen ließe. Warum das so ist und was Certentis stattdessen dokumentiert, steht unter Methodik und Benchmarks.

Was ein Wert wie „70 % KI“ bedeutet

Das hängt vom Werkzeug ab. Manche geben eine Wahrscheinlichkeit dafür an, dass das ganze Dokument zur Klasse „KI-generiert“ gehört. Dann ist der Wert kein Anteil am Text. „70 % KI“ heißt dort nicht, dass 70 % der Sätze aus einem Sprachmodell stammen und der Rest von dir. Andere Werkzeuge geben den Anteil des Textes an, den ihr Modell als KI-generiert einstuft. Lies deshalb zuerst nach, wie das Werkzeug seine Zahl erklärt.

Ein selbst geschriebener Text kann einen hohen Wert bekommen, ein Text mit KI-Passagen einen niedrigen. Wie oft ein Detektor bei einem bestimmten Wert danebenliegt, lässt sich an der Zahl selbst nicht ablesen. Markierte Sätze sind Signale dafür, wo sich ein genauerer Blick lohnt. Dass gerade dieser Satz von einer KI stammt, beweisen sie nicht.

Die folgenden Muster machen einen KI-Ursprung wahrscheinlicher, beweisen ihn aber nicht. Ein einzelnes Merkmal sagt wenig. Treffen mehrere zusammen, steigt die Plausibilität, mehr nicht.

• Sätze, die über den ganzen Text hinweg ähnlich lang und ähnlich gebaut sind
• Immer wieder sehr ähnliche Übergänge zwischen Absätzen, etwa ein „Darüber hinaus“ nach dem anderen
• Auffällig ausgewogene Pro-und-Contra-Aufzählungen ohne konkrete Beispiele oder Quellen
• Ein allgemeiner Schlusssatz, der fast jeden Absatz noch einmal zusammenfasst

Für einzelne Wörter gibt es sogar Zahlen. Eine 2024 vorgestellte Untersuchung zu Wortfrequenzen hat 26,7 Millionen wissenschaftliche Kurzfassungen aus PubMed ausgewertet und darin die Worthäufigkeiten der Jahre 2020 und 2024 verglichen. Dabei fanden die Forschenden 21 „Fokuswörter“, deren Häufigkeit nach der Verbreitung von Sprachmodellen sprunghaft anstieg.

Ob ein Text mit ChatGPT oder einem anderen Sprachmodell entstanden ist, verraten einzelne Wörter kaum. Listen typischer Wendungen findest du im Artikel zu typischen KI-Formulierungen. Die folgenden Prüfungen setzen am Inhalt an. Ob der stimmt, prüft ein Detektor nicht.

• Quellen: Gibt es jede zitierte Quelle, und steht dort, was der Text behauptet? In einer Studie von Walters und Wilder (2023) schrieb ChatGPT kurze Literaturübersichten zu 42 Themen. Von den Literaturangaben aus GPT-3.5 waren 55 % erfunden, von denen aus GPT-4 18 %. Ob es eine Quelle gibt, lässt sich über den Bibliothekskatalog oder die DOI prüfen. Ob sie die Aussage trägt, zeigt nur die Quelle selbst.
• Fakten und Daten: Stimmen Jahreszahlen und Statistiken, und lässt sich ihre Herkunft nachvollziehen? Achte auch auf veraltete Angaben, die als aktueller Stand auftreten.
• Passung zur Aufgabe: Beantwortet der Text die konkrete Aufgabenstellung oder Forschungsfrage, oder nur das allgemeine Thema?
• Tiefe: Stehen hinter den Aussagen konkrete Beispiele, Daten oder Seitenangaben? Allgemeine Aussagen ohne solche Belege passen auf fast jedes Thema.
• Vergleich mit früheren Texten: Weicht der Stil deutlich von früheren Arbeiten derselben Person ab? Die Universität Gießen nennt „deutliche stilistische Inkonsistenzen zwischen einzelnen Textpassagen oder verschiedenen Arbeiten des Prüflings“ als möglichen Anhaltspunkt für unerlaubten KI-Einsatz. Zum Beweis eines Täuschungsversuchs reicht ein solcher Anhaltspunkt laut der Universität nicht aus. Er kann aber Zweifel daran wecken, dass die Prüfungsbedingungen eingehalten wurden.

Keiner dieser Punkte beweist für sich genommen KI-Einsatz. Sie zeigen, wo sich Nachfragen lohnt.

Dass Detektoren menschliche Texte als KI einstufen, ist eine gut dokumentierte Grenze. Liang und Kolleg:innen (2023) testeten sieben verbreitete Detektoren an 91 TOEFL-Aufsätzen von Menschen, deren Muttersprache nicht Englisch ist, und an 88 Aufsätzen von Achtklässler:innen aus den USA. Im Mittel stuften die Detektoren 61,22 % der TOEFL-Aufsätze fälschlich als KI-generiert ein, bei den US-Aufsätzen waren es 5,19 %. Als Ursache vermuten die Forschenden eine einfachere, vorhersagbarere Wortwahl. Sie senkt die Perplexität, und genau dieses Signal werten Detektoren als KI-typisch. Ließen sie die Wortwahl der US-Aufsätze vereinfachen, stieg die Fehlerquote von 5,19 % auf 56,65 %.

Die Studie untersuchte englischsprachige Texte. Eine vergleichbare Untersuchung für deutsche Texte ist uns nicht bekannt. Der vermutete Mechanismus ist aber nicht ans Englische gebunden. Grundsätzlich kann er auch formelle oder intensiv überarbeitete deutsche Texte treffen, etwa eine Abschlussarbeit nach mehreren Korrekturrunden.

Certentis fasst diese Grenze für die eigene Auswertung in einem Satz zusammen: „Ein KI-Score beweist keine Autorenschaft.“ Das gilt für jeden Detektor. Eine Markierung ist ein Hinweis, den jemand einordnen muss, kein Urteil. Wenn dein Text betroffen ist, helfen drei Dinge:

• Bewahre Zwischenstände, Rechercheverlauf oder die Versionsgeschichte deines Dokuments auf. Sie belegen, wie dein Text entstanden ist.
• Sprich das Ergebnis offen mit der Person an, die deine Arbeit betreut, statt es zu ignorieren.
• Frag nach, welches Werkzeug genutzt wurde und was der Score konkret bedeutet. Ohne diesen Kontext taugt ein Score nicht als Grundlage für eine Entscheidung.

Hast du tatsächlich mit KI gearbeitet, mach das von Anfang an transparent. Auch erlaubte KI-Nutzung ist nicht automatisch kennzeichnungsfrei. Die Grundschulpädagogik der Universität Bamberg etwa hält in ihren Hinweisen zur Zulassungsarbeit fest: Wer KI bei bewerteten Aufgaben unterstützend nutzt, muss das angeben.

Wie die Angabe aussieht, regelt jede Hochschule selbst. Manche verlangen eine eigene Erklärung vor der Selbstständigkeitserklärung, andere einen Eintrag in der Liste der verwendeten Hilfsmittel. Eine Möglichkeit ist eine Angabe pro genutztem Werkzeug, etwa so:

Analyse, Argumentation und Schlussfolgerungen schreibst du selbst. Das Werkzeug gibst du als Hilfsmittel an. Arbeitest du KI-Vorschläge in eigenen Worten ein, statt sie wörtlich zu übernehmen, paraphrasierst du. Die Angabe des Werkzeugs entfällt dadurch nicht. Was Paraphrasieren genau heißt, erklärt der Artikel zum Paraphrasieren. Übernimmst du KI-Ausgaben dagegen wörtlich und ohne Kennzeichnung, stellen sich dieselben Fragen wie bei anderen Formen eines Plagiats. Wie du Formulierungen korrekt mit Quellenangabe kennzeichnest, steht im Artikel zum richtigen Zitieren. Wann du ChatGPT als Quelle zitierst und wann du es als Hilfsmittel angibst, erklärt der Artikel ChatGPT zitieren.