Fehlerreport: 55 Abschlussarbeiten maschinell geprüft
Von 1.932 Meldungen sind vier Prozent echte Fehler
Für diesen Fehlerreport werteten wir 55 veröffentlichte Abschlussarbeiten mit einer automatischen Rechtschreibprüfung aus. Sie meldete 1.932 Stellen, also rund 34 auf je 1.000 Wörter. Anschließend zogen wir 120 Meldungen zufällig und sahen sie einzeln nach. Vier davon bewerteten wir als echte Rechtschreibfehler.
Kostenlos herunterladen
Word-Formatvorlage für die Abschlussarbeit
Der Fehlerreport im Kopf, das Dokument fertig auf dem Schirm: Überschriften als echte Formatvorlagen, ein Inhaltsverzeichnis, das sich selbst füllt, Seitenzahlen in zwei Nummernkreisen, römisch für die Verzeichnisse und arabisch ab der Einleitung, dazu Deckblatt, Verzeichnisse, Kapitelgerüst und eidesstattliche Erklärung fertig eingerichtet. Das Gerüst steht, der Text bleibt deiner. Keine Anmeldung.
Die Frage hinter der Untersuchung
Wer eine fertige Abschlussarbeit in ein Prüfprogramm lädt, kann eine dreistellige Zahl an Hinweisen erhalten. Zunächst erschrickt man über diese Masse. Dann folgt die entscheidende Frage: Sind das überhaupt Fehler?
Ob ein einzelner Hinweis zutrifft, lässt sich nur am Text prüfen. Für den Fehlerreport haben wir deshalb nicht nur gezählt, was gemeldet wird, sondern eine Zufallsstichprobe der Meldungen von Hand geprüft und jeden Fall einer Kategorie zugeordnet.
Der Korpus
Analysiert wurden 55 frei zugängliche Abschlussarbeiten aus den Publikationsservern der Hochschule Mittweida und der Technischen Hochschule Wildau, veröffentlicht zwischen 2007 und 2020. Die Auswahl enthält 37 Masterarbeiten und 17 Bachelorarbeiten aus den Bereichen Technik, Wirtschaft, Medien und Informatik; die Art der verbleibenden Arbeit wird hier nicht näher ausgewiesen.
Aus jeder Arbeit wurde eine Textpassage aus der Mitte des Fließtextes ausgewählt, durchschnittlich rund 1.045 Wörter, insgesamt 57.513 Wörter. Ausgenommen waren Titelseiten, Inhaltsverzeichnisse, Quellenlisten und Anhänge sowie Bildtexte, Gleichungen und Tabellen. Erfasst wird der argumentierende Teil, nicht das Beiwerk.
Wichtig für die Einordnung: Alle untersuchten Dokumente wurden bereits eingereicht, bewertet und veröffentlicht. Aus einer bestandenen Bewertung lässt sich nicht ableiten, dass eine Arbeit frei von Rechtschreibfehlern ist.
Was die Prüfung gemeldet hat
Insgesamt ergaben sich 1.932 Rechtschreibmeldungen, also rund 34 Meldungen je 1.000 Wörter. Bei gleicher Meldungsrate entspräche das für eine Bachelorarbeit mit 12.000 Wörtern gut 400 Meldungen.
Die Zahl der Meldungen allein beantwortet noch nicht, wie viele davon tatsächlich Fehler sind.
Handprüfung: 120 Meldungen einzeln angesehen
Aus dem Gesamtpool von 1.932 Meldungen zogen wir 120 zufällig und beurteilten jede einzeln: Steht dort wirklich ein Rechtschreibfehler, oder hat das Programm etwas angestrichen, das korrekt ist?
| Was die Meldung tatsächlich war | Fälle | Anteil |
|---|---|---|
| Fachbegriff oder Abkürzung des Fachgebiets | 47 | 39,2 % |
| Personen-, Firmen- oder Produktname | 25 | 20,8 % |
| Artefakt der PDF-Auswertung | 23 | 19,2 % |
| englisches oder anderssprachiges Wort | 17 | 14,2 % |
| nicht eindeutig zuzuordnen | 4 | 3,3 % |
| echter Rechtschreibfehler | 4 | 3,3 % |
Damit beläuft sich der Anteil in der Stichprobe auf 3,3 Prozent. Die Zahlen 0 und 6,5 Prozent werden nicht als statistisches Intervall ausgewiesen. Einfach erklärt: Etwa jede dreißigste Meldung in dieser Stichprobe war ein echter Rechtschreibfehler.
Die größte Gruppe sind Fachbegriffe. Sie können in allgemeinen Wörterbüchern fehlen und im jeweiligen Fach dennoch korrekt sein. Dazu kommen Eigennamen, englische Fachausdrücke sowie Meldungen, die durch die PDF-Auswertung entstehen können. Solche Auslesefehler können einzelne Zeichen verändern; deshalb ist der Originaltext zu prüfen.
Die vier echten Fehler
Nach unserer Handprüfung waren diese vier Meldungen berechtigt:
- förderaler statt föderaler Bundesstaat
- Kamerawelche, hier fehlt bloß ein Abstand zwischen Kamera und welche
- Übergangskommessar statt Übergangskommissar
- Länden statt Ländern
Die vier Beispiele zeigen Fehler in gewöhnlichen Ausdrücken, die beim Lesen leicht übersehen werden können. Mehrere eigene Korrekturdurchgänge schließen solche Fehler nicht sicher aus.
Was daraus für deine Arbeit folgt
Überträgt man den Anteil der Stichprobe rechnerisch auf alle Meldungen, entsprächen das etwa 64 Rechtschreibfehler in 57.513 Wörtern, also gut ein Fehler je 1.000 Wörter. Bei gleicher Quote wären es in einer Bachelorarbeit mit 12.000 Wörtern rund 13 Rechtschreibfehler. Diese Hochrechnung ist wegen der begrenzten Stichprobe nur eine Orientierung.
Ein Blindtest der Korrekturprogramme mit 18 eingebauten Rechtschreibfehlern zeigt, dass das verwendete Werkzeug diese Testfälle erkannte. Daraus lässt sich keine allgemeine Trefferquote ableiten.
In der Umsetzung bedeutet dies zwei Dinge:
- Erschrick nicht vor der Zahl. 400 Meldungen bedeuten nicht 400 Fehler. In unserer Stichprobe entfiel die größte Gruppe auf Fachbegriffe und fachliche Abkürzungen.
- Bearbeite die Auflistung dennoch. Echte Irrtümer können zwischen zahlreichen Fehlmeldungen stehen.
Einfach geht es so: Nimm die Fachbegriffe deiner Arbeit ins Benutzerwörterbuch auf, bevor du prüfst. Das kann die Liste verkürzen und ihre gezielte Prüfung erleichtern.
Was wir bewusst nicht ausgewertet haben
Die Prüfung meldete zusätzlich 449 Fälle zur Groß- und Kleinschreibung, 249 zur Zeichensetzung, 113 zur Grammatik und 88 zur Getrennt- und Zusammenschreibung. Diese Zahlen nennen wir hier bewusst als Meldungen und nicht als Fehler, denn sie sind nicht ohne eine Handprüfung belastbar, weil die Textaufbereitung künstliche Satzgrenzen erzeugen kann.
Der Grund liegt bei uns. Um Fußnoten, Belegzeilen und Tabellenreste aus dem Text zu entfernen, streicht unsere Aufbereitung einzelne Sätze heraus. Dadurch können Sätze aneinanderstoßen, die im Original nicht benachbart waren. An diesen Nahtstellen meldet die Prüfung mitunter fehlende Kommas oder falsche Großschreibung. Solche Meldungen sind nicht automatisch Fehler der Arbeiten.
Die Auswertung beschränkt sich deshalb auf Rechtschreibung. Auch dort können Auslesefehler vorkommen; sie wurden in der Handprüfung gesondert erfasst. Für die übrigen Fehlerarten ist mit der jetzigen Aufbereitung keine belastbare Auswertung möglich.
Methodik
Die Randbedingungen vollständig:
- Auswahl: Abschlussarbeiten aus den OAI-Schnittstellen der Hochschulserver, gefiltert auf deutschsprachige Bachelor- und Masterarbeiten, ohne Dissertationen
- Textprobe: je Arbeit 8.000 Zeichen aus der Mitte des Fließtextes, nach Entfernen von Kopfzeilen, Seitenzahlen, Fußnotenziffern und Belegzeilen
- Gütekontrolle: Arbeiten, deren Text beim Auslesen zerfiel, wurden verworfen und nicht gewertet
- Prüfung: ein Durchlauf je Textprobe mit einer frei zugänglichen Rechtschreibprüfung, Stilhinweise zählen nicht mit
- Handprüfung: 120 zufällig gezogene Meldungen, feste Zufallssaat, Zuordnung zu sechs Kategorien
Die Grenzen: Zwei Hochschulen sind keine repräsentative Auswahl für den deutschen Hochschulbetrieb, und die Fächer sind technisch geprägt, was den Anteil an Fachbegriffen erhöhen kann. Veröffentlichte Arbeiten sind außerdem nicht dasselbe wie eingereichte Fassungen. In dieser Stichprobe war die große Mehrheit der Rechtschreibmeldungen kein Fehler.
Mehr zum Thema: der Blindtest der Korrekturprogramme, Rechtschreibprüfungen im Vergleich, Lektorat der Bachelorarbeit und Lektorat oder Korrektorat.