Methodenkapitel Data-Science-Abschlussarbeit: CRISP-DM, Datensplit und Reproduzierbarkeit (2026)

Ein Data-Science-Methodenkapitel scheitert selten am Modell. Es scheitert daran, dass niemand außer dir nachvollziehen kann, wie du von den Rohdaten zu der Zahl gekommen bist, die im Ergebnisteil steht. Genau das prüfen Gutachterinnen und Gutachter in diesem Fach zuerst: nicht „Ist das Modell gut genug?“, sondern „Kann ich Schritt für Schritt reproduzieren, was hier passiert ist?“

Dieser Leitfaden führt dich durch das Methodenkapitel einer Data-Science-Bachelor- oder Masterarbeit — von der Wahl des Vorgehensmodells über den Datensplit bis zur technischen Absicherung der Reproduzierbarkeit. Jeder Abschnitt ist so geschrieben, dass du ihn direkt in dein Kapitel übernehmen und mit deinen eigenen Zahlen füllen kannst.

Warum ein generisches Methodenkapitel hier nicht funktioniert

Ein BWL-Methodenkapitel dreht sich um Stichprobe und Signifikanz, ein Psychologie-Methodenkapitel um Versuchsaufbau und Manipulation Check. In der Data Science sind die kritischen Punkte andere: Woher kommen die Daten, und darfst du sie überhaupt verwenden? Wie hast du verhindert, dass Informationen aus der Zukunft oder aus dem Testset in dein Training sickern? Und kann eine dritte Person mit deinem Repository dasselbe Ergebnis reproduzieren? Ein Kapitel, das nur „Wir haben ein Random-Forest-Modell trainiert und 94 % Genauigkeit erreicht“ berichtet, beantwortet keine dieser Fragen — und genau daran werden die meisten Arbeiten in diesem Fach gemessen.

Das betrifft nicht nur die Bewertung durch die Betreuung. In der Data Science ist Reproduzierbarkeit zunehmend selbst Forschungsgegenstand: Mehrere große Konferenzen im Bereich maschinelles Lernen verlangen inzwischen standardmäßig eine „Reproducibility Checklist“ als Teil der Einreichung. Eine Abschlussarbeit, die dieselben Standards freiwillig anlegt, bewegt sich damit nicht nur methodisch sauber, sondern auf der Höhe dessen, was das Fach aktuell von sich selbst verlangt.

Schritt 1: Das Vorgehensmodell festlegen

Nenne im ersten Absatz des Kapitels explizit, nach welchem Prozessmodell du gearbeitet hast. Der De-facto-Standard in Wissenschaft und Industrie ist CRISP-DM (Cross-Industry Standard Process for Data Mining), ursprünglich 1999 von einem Firmenkonsortium um SPSS, Daimler-Benz und NCR entwickelt und bis heute in Umfragen unter Data-Science-Praktikern das meistgenutzte Modell. Es gliedert ein Projekt in sechs Phasen: Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation und Deployment — mit expliziten Rücksprüngen zwischen den Phasen, weil reale Projekte selten linear verlaufen.

Alternativen wie KDD (Knowledge Discovery in Databases) oder SEMMA (Sample, Explore, Modify, Model, Assess) sind akademisch anerkannt, aber deutlich seltener referenziert. Für eine Abschlussarbeit reicht es, CRISP-DM zu nennen, seine sechs Phasen kurz zu skizzieren und dann jeden folgenden Abschnitt deines Kapitels explizit einer Phase zuzuordnen — das allein macht das Kapitel für Gutachterinnen und Gutachter deutlich leichter navigierbar.

Schritt 2: Datenherkunft, Lizenz und Datenschutz dokumentieren

Bevor irgendein Modell trainiert wird, dokumentierst du die Datenquelle vollständig: Herkunft, Erhebungszeitraum, Lizenz (Open Data, CC-BY, proprietär mit Nutzungsvereinbarung), und — sobald personenbezogene Daten im Spiel sind — die datenschutzrechtliche Grundlage nach DSGVO. Ein wissenschaftlich anerkanntes Format dafür sind Datasheets for Datasets (Gebru et al. 2018, mittlerweile in Communications of the ACM veröffentlicht): ein strukturierter Fragenkatalog zu Motivation, Zusammensetzung, Erhebungsprozess, Vorverarbeitung und empfohlener Nutzung eines Datensatzes. Ein knappes Datasheet für deinen zentralen Datensatz — auch wenn er von Kaggle oder einem öffentlichen Repositorium stammt — signalisiert methodische Reife, die die meisten Abschlussarbeiten in diesem Fach nicht zeigen.

Wenn deine Daten aus einem Unternehmen stammen, gehört zusätzlich eine kurze Passage zur Anonymisierung oder Pseudonymisierung ins Kapitel: Welche Merkmale wurden entfernt oder aggregiert, und wer im Betrieb hat der Nutzung für die Abschlussarbeit zugestimmt?

Schritt 3: Aufteilen ohne Leckage

Der Klassiker unter den vermeidbaren Fehlern ist Data Leakage — Informationen, die zur Vorhersagezeit nicht verfügbar wären, sickern trotzdem ins Training. Drei Varianten tauchen in Abschlussarbeiten regelmäßig auf:

• Temporale Leckage: Bei Zeitreihen- oder Prognoseaufgaben landen zukünftige Beobachtungen im Trainingsset. Die Lösung ist ein zeitbasierter Split (Training auf die Vergangenheit, Test auf die Zukunft), niemals eine zufällige Aufteilung.
• Gruppen-Leckage: Beobachtungen derselben Person, desselben Patienten oder derselben Firma verteilen sich über Trainings- und Testset. Die Lösung ist ein gruppierter Split (Group K-Fold), der alle Beobachtungen einer Einheit derselben Seite zuweist.
• Ziel-Leckage: Ein Feature enthält indirekt die Zielvariable — etwa eine Spalte „Rückerstattung erhalten“, wenn du „Kündigung“ vorhersagen willst und Rückerstattungen fast nur bei Kündigungen ausgezahlt werden.

Berichte im Kapitel explizit, wie du deinen Datensatz aufgeteilt hast (üblich: 60/20/20 oder 70/15/15 für Training/Validierung/Test bei ausreichender Datenmenge) und mit welcher Strategie du Leckage in deinem konkreten Fall ausgeschlossen hast. Ein Satz wie „Da mehrere Beobachtungen pro Kundin vorliegen, wurde ein GroupKFold-Split auf Kundenebene verwendet, um Leckage zwischen Trainings- und Testset zu vermeiden“ ist genau die Art von Detail, die ein Kapitel von durchschnittlich zu überdurchschnittlich hebt.

Schritt 4: Baseline vor Modell

Trainiere und berichte immer zuerst ein einfaches Referenzmodell, bevor du zu komplexeren Verfahren übergehst — bei Klassifikationsaufgaben etwa die Mehrheitsklassen-Vorhersage oder eine logistische Regression, bei Regressionsaufgaben den Mittelwert oder eine lineare Regression. Ohne diese Baseline lässt sich der Mehrwert eines komplexeren Modells — etwa eines Gradient-Boosting-Ensembles oder eines neuronalen Netzes — nicht beziffern. „Unser Modell erreicht einen F1-Score von 0,81 gegenüber 0,52 der Baseline“ ist eine überprüfbare Aussage; „unser Modell erreicht 0,81“ ist es nicht.

Schritt 5: Die passende Metrik wählen

Welche Metrik aussagekräftig ist, hängt von der Aufgabe ab — und von der Verteilung deiner Zielvariable. Bei unausgeglichenen Klassen (etwa 95 % „kein Betrug“, 5 % „Betrug“) ist Accuracy fast wertlos, weil ein Modell, das immer „kein Betrug“ vorhersagt, bereits 95 % Accuracy erreicht.

Begründe deine Metrikwahl im Kapitel in zwei bis drei Sätzen — Gutachterinnen und Gutachter mit Statistik-Hintergrund reagieren empfindlich auf Accuracy als einzige berichtete Zahl bei erkennbar unbalancierten Klassen.

Schritt 6: Cross-Validation und Tuning sauber trennen

Ein zweiter häufiger Leckage-Punkt entsteht beim Hyperparameter-Tuning: Wer Hyperparameter auf dem Testset optimiert, hat das Testset faktisch fürs Training benutzt — das Ergebnis ist zu optimistisch und nicht mehr aussagekräftig. Der korrekte Ablauf ist nested Cross-Validation: eine äußere Schleife bewertet die generalisierte Leistung, eine innere Schleife sucht innerhalb jedes äußeren Trainingsfolds die besten Hyperparameter. Für eine Abschlussarbeit reicht es meist, k-fache Cross-Validation (üblich: k = 5 oder k = 10) auf dem Trainingsset für das Tuning zu nutzen und das Testset ausschließlich für die finale, einmalige Bewertung aufzuheben.

Schritt 7: Reproduzierbarkeit technisch absichern

Reproduzierbarkeit ist in der Data Science kein Nice-to-have, sondern ein Bewertungskriterium. Vier Punkte gehören in jedes Methodenkapitel:

1. Random Seeds fixieren für Datensplit, Initialisierung und jedes stochastische Verfahren — und die konkreten Seed-Werte im Kapitel oder Anhang nennen.
2. Umgebung dokumentieren über eine requirements.txt, ein environment.yml oder ein Dockerfile mit exakten Versionsnummern der verwendeten Bibliotheken.
3. Code versionieren mit Git, idealerweise mit einem öffentlichen oder mit der Betreuung geteilten Repository, dessen finaler Commit-Hash im Anhang steht.
4. Experimente protokollieren, etwa mit einem einfachen Tracking-Tool wie MLflow oder einer strukturierten Tabelle, die jeden Lauf mit Konfiguration und Ergebnis festhält — das erspart dir außerdem im Ergebnisteil das mühsame Rekonstruieren, welcher Lauf welche Zahl erzeugt hat.

Für die allgemeinen Prinzipien guter Datenpraxis über die Data Science hinaus lohnt sich ein Blick in den Leitfaden zu Datenmanagementplan und FAIR-Prinzipien, dessen Struktur sich direkt auf ein Data-Science-Projekt übertragen lässt.

Schritt 8: Wenn das Modell allein nicht reicht — Evaluationsverfahren wählen

Manche Data-Science-Arbeiten bauen nicht nur ein Modell, sondern ein System — ein Dashboard, eine Empfehlungs-Pipeline, ein Tool mit Nutzeroberfläche. In diesem Fall reicht eine Metrik allein nicht als Nachweis, dass die Arbeit ihr Ziel erreicht. Die Entscheidung zwischen Benchmark, Nutzerstudie, Fallstudie und Ablationsstudie ist dann eine eigene methodische Weichenstellung, die ausführlich im Leitfaden zum Evaluationsverfahren für die Informatik-Abschlussarbeit behandelt wird. Für reine Modellierungsarbeiten ist die Ablationsstudie davon am relevantesten: Du entfernst systematisch einzelne Komponenten — ein Feature, eine Vorverarbeitungsstufe, eine Modellschicht — und misst, wie stark die Leistung dadurch sinkt. Das beantwortet die Frage, die in der Verteidigung mit hoher Wahrscheinlichkeit kommt: „Welcher Teil Ihres Modells trägt eigentlich zur Leistung bei?“

Schritt 9: Limitationen und ethische Grenzen benennen

Ein starkes Methodenkapitel schließt mit einem ehrlichen Abschnitt zu Grenzen: Wie repräsentativ ist dein Datensatz für die Population, auf die du deine Ergebnisse verallgemeinerst? Enthält er systematische Verzerrungen — etwa eine Überrepräsentation bestimmter Nutzergruppen oder Zeiträume? Wurde geprüft, ob das Modell für Untergruppen unterschiedlich gut funktioniert (Fairness-Metriken wie Demographic Parity oder Equalized Odds)? Diese Fragen sind in vielen Data-Science-Studiengängen inzwischen explizit Teil der Bewertungskriterien, gerade wenn die Anwendung Personen betrifft.

Ein realistischer Zeitplan

• Woche 1–2: Vorgehensmodell festlegen, Datenquelle sichern, Datasheet erstellen.
• Woche 3–4: Explorative Datenanalyse, Split-Strategie festlegen, Baseline trainieren.
• Woche 5–7: Modellierung, Cross-Validation, Hyperparameter-Tuning mit protokollierten Experimenten.
• Woche 8: Finale Testset-Bewertung — genau einmal, nicht iterativ.
• Woche 9: Ablationsstudie oder zusätzliche Evaluation, Limitationen ausformulieren.

Häufige Fragen zum Methodenkapitel in der Data Science

Muss ich CRISP-DM wörtlich verwenden, wenn meine Hochschule ein anderes Modell lehrt?

Nein. Wenn dein Fachbereich KDD oder ein eigenes Prozessmodell vorgibt, nutze das und referenziere es korrekt. Entscheidend ist nicht das Etikett, sondern dass du ein benanntes, nachvollziehbares Vorgehensmodell explizit machst statt implizit vorzugehen.

Reicht ein einziger Trainings-Test-Split, wenn mein Datensatz klein ist?

Bei kleinen Datensätzen ist k-fache Cross-Validation einem einzelnen Split fast immer vorzuziehen, weil ein einzelner Split bei wenigen Beobachtungen stark vom Zufall abhängt. Bei sehr kleinen Datensätzen (unter etwa 100 Beobachtungen) ist Leave-One-Out Cross-Validation eine gängige Alternative.

Wie viele Nachkommastellen sollte ich bei Metriken berichten?

Zwei bis drei Nachkommastellen sind Standard (z. B. F1 = 0,812). Berichte zusätzlich, wenn möglich, ein Konfidenzintervall oder eine Standardabweichung über mehrere Cross-Validation-Folds — eine einzelne Punktschätzung ohne Streuungsmaß wirkt in diesem Fach unvollständig.

Was, wenn mein Modell schlechter als die Baseline abschneidet?

Das ist ein valides, publizierbares Ergebnis, kein Scheitern. Dokumentiere es ehrlich und diskutiere mögliche Gründe — zu wenige Daten, ein ungeeignetes Modellparadigma, verrauschte Labels. Eine Abschlussarbeit wird nicht an der absoluten Modellgüte bewertet, sondern an der Qualität der methodischen Auseinandersetzung.

Brauche ich für eine Data-Science-Abschlussarbeit ein Ethikvotum?

Sobald personenbezogene oder sensible Daten verarbeitet werden, verlangen viele Fachbereiche zumindest eine kurze ethische Selbstauskunft oder ein Votum. Bei vollständig anonymisierten oder öffentlich lizenzierten Datensätzen ist das seltener der Fall — kläre das früh mit deiner Betreuung; die Grundlagen zu Einwilligung und Ethikantrag stehen im Leitfaden zur Forschungsethik und Ethikkommission.

Wie unterscheidet sich das hier von einem klassischen Informatik-Methodenkapitel?

Ein allgemeines Informatik-Methodenkapitel dreht sich oft um Systemarchitektur und Implementierung. In der Data Science verschiebt sich der Schwerpunkt auf den Umgang mit Daten selbst — Herkunft, Split, Leckage, Metrikwahl und Reproduzierbarkeit stehen im Zentrum, unabhängig davon, welches konkrete Modell am Ende verwendet wird.

Muss ich meinen Code komplett offenlegen?

Das hängt von deiner Prüfungsordnung und eventuellen Geheimhaltungsvereinbarungen ab. Wo möglich, ist ein öffentliches oder zumindest mit der Betreuung geteiltes Repository die bessere Praxis — es erlaubt eine direkte Nachvollziehbarkeit, die reiner Prosa-Beschreibung fehlt.

Zählt ein vortrainiertes Modell (Transfer Learning) als eigene methodische Leistung?

Ja, wenn du die Wahl des vortrainierten Modells begründest, die Anpassung (Fine-Tuning) sauber beschreibst und gegen eine sinnvolle Baseline vergleichst. Die methodische Leistung liegt hier nicht im Training von Grund auf, sondern in der begründeten Auswahl, Anpassung und Evaluation.

Wie gehe ich mit fehlenden Werten in meinem Datensatz methodisch sauber um?

Dokumentiere zunächst, wie viele Werte pro Merkmal fehlen und ob das Fehlen zufällig ist oder einem Muster folgt (etwa: bestimmte Sensoren fallen systematisch zu bestimmten Tageszeiten aus). Danach begründest du deine Strategie — Löschen unvollständiger Zeilen, einfache Imputation über Mittelwert oder Median, oder modellbasierte Imputation — und führst sie ausschließlich auf dem Trainingsset durch, bevor du dieselbe, dort gelernte Regel auf Validierungs- und Testset anwendest. Eine Imputation über den gesamten Datensatz vor dem Split ist eine weitere häufige Leckage-Quelle. Die Unterscheidung zwischen MCAR, MAR und MNAR sowie die dazu passenden Imputationsverfahren erklärt der Leitfaden zu fehlenden Werten in der Abschlussarbeit ausführlich.

Kurz zusammengefasst

Ein überzeugendes Methodenkapitel in der Data Science macht neun Dinge sichtbar: ein benanntes Vorgehensmodell, dokumentierte Datenherkunft, einen leckagefreien Split, eine Baseline, eine zur Aufgabe passende Metrik, sauber getrenntes Tuning, technisch abgesicherte Reproduzierbarkeit, ein passendes Evaluationsverfahren jenseits der reinen Modellgüte und ehrlich benannte Grenzen. Wer diese neun Punkte im Kapitel belegt, liefert nicht nur ein funktionierendes Modell, sondern eine Arbeit, die dem Anspruch des Fachs an Nachvollziehbarkeit gerecht wird.