Inter-Rater-Reliabilität & Cohens Kappa 2026: Kodierübereinstimmung in der qualitativen Auswertung berechnen

Zwei Forschende lesen denselben Interviewausschnitt und wählen unterschiedliche Kategorien — ein klassisches Problem in der empirischen Forschung. Die Inter-Rater-Reliabilität (Kodierer-Übereinstimmung, kurz IRR) ist das entscheidende Gütekriterium, das sicherstellt, ob Kodierentscheidungen in einer Inhaltsanalyse intersubjektiv nachvollziehbar und replizierbar sind oder ob sie von der Person des Kodierers abhängen. Cohens Kappa ist dabei das statistisch robusteste und am weitesten verbreitete Maß für zwei unabhängige Kodierer, weil es — anders als die reine prozentuale Übereinstimmung — die zufällig erwartete Übereinstimmung herausrechnet und damit ein konservatives, methodisch belastbares Ergebnis liefert.

Dieser Beitrag erklärt die Berechnung von Cohens Kappa und Fleiss‘ Kappa (für drei und mehr Kodierer) mit einer vollständigen Schritt-für-Schritt-Beispielrechnung, erläutert die Interpretationsstufen nach Landis und Koch (1977) und zeigt, wie das Maß in SPSS und R umgesetzt wird. Zentral ist außerdem die methodische Abgrenzung zu Cronbachs Alpha, die in Abschlussarbeiten und Methodenkapiteln häufig verwechselt oder gleichgesetzt wird.

Was ist Inter-Rater-Reliabilität?

Reliabilität bezeichnet in der empirischen Forschung die Zuverlässigkeit einer Messung: Würde dieselbe Messung unter identischen Bedingungen wiederholt, käme dasselbe Ergebnis heraus? Bei der Kodierung von Texten, Transkripten oder Bildern entsteht eine besondere Form von Messfehler, der durch die urteilende Person selbst bedingt ist (Rater-Bias). Die Inter-Rater-Reliabilität quantifiziert, in welchem Ausmaß zwei oder mehr unabhängige Beurteiler bei der Vergabe von Kategorien übereinstimmen.

Die bloße prozentuale Übereinstimmung (Percent Agreement) — also der Anteil der Fälle, in denen sich die Rater einig sind — reicht methodisch nicht aus, weil selbst bei zufälliger Kategorievergabe eine nennenswerte Übereinstimmung zu erwarten ist. Bei nur zwei Kategorien liegt dieser Zufallsanteil bereits bei etwa 50 %. Cohens Kappa korrigiert genau diesen Zufallsanteil und liefert damit ein konservativeres und methodisch validierteres Maß.

Von der Reliabilität zu unterscheiden ist die Validität: Ein Kategoriensystem kann hochreliabel (konsistent kodiert) und dennoch invalide sein, wenn die Kategorien das interessierende Konstrukt nicht abbilden. Zum Verhältnis beider Gütekriterien bei quantitativen Erhebungsinstrumenten sei auf den Artikel Reliabilität und Validität von Fragebögen prüfen: Methoden 2026 verwiesen.

Cohens Kappa berechnen: Formel und Beispielrechnung

Jacob Cohen (1960) schlug das nach ihm benannte Maß κ (Kappa) als Korrektur der prozentualen Übereinstimmung vor. Die Grundformel:

κ = (P_o − P_e) / (1 − P_e)

P_o steht für die beobachtete Übereinstimmungsrate (Observed Agreement), P_e für die zufällig erwartete Übereinstimmungsrate (Expected Agreement by Chance).

Schritt-für-Schritt-Beispielrechnung

Zwei Kodiererinnen (Rater A und Rater B) bearbeiten unabhängig voneinander 50 Texteinheiten aus einem Leitfadeninterview. Jede Einheit wird einer von zwei Kategorien zugeordnet: Kategorie I (persönliche Ressourcen) und Kategorie II (externe Ressourcen). Die Ergebnisse der Pilotkodierung in der Kontingenztabelle:

Schritt 1 — P_o berechnen (beobachtete Übereinstimmung):
Einige Einheiten, bei denen beide Kodiererinnen dieselbe Kategorie wählten: 20 (beide Kat. I) + 15 (beide Kat. II) = 35
P_o = 35 / 50 = 0,70

Schritt 2 — P_e berechnen (zufällig erwartete Übereinstimmung):
Erwartete Häufigkeit für Kat. I: (30 × 25) / 50 = 15
Erwartete Häufigkeit für Kat. II: (20 × 25) / 50 = 10
P_e = (15 + 10) / 50 = 0,50

Schritt 3 — κ berechnen:
κ = (0,70 − 0,50) / (1 − 0,50) = 0,20 / 0,50 = κ = 0,40

Ein κ von 0,40 entspricht nach Landis und Koch einer schwachen Übereinstimmung (Fair). In diesem Fall wäre eine Überarbeitung des Kodierleitfadens und eine erneute Kalibriersitzung mit Diskussion der Diskrepanzfälle empfehlenswert, bevor mit der Hauptkodierung begonnen wird.

Interpretation nach Landis & Koch

Landis und Koch (1977) veröffentlichten eine Interpretationsskala für Kappa-Werte, die sich in der Sozial- und Gesundheitswissenschaft als Referenzrahmen etabliert hat. Die Skala ist deskriptiver Natur und wurde nicht aus theoretischen Grundsätzen abgeleitet; sie sollte daher stets im Kontext der Forschungsfrage, der Kategorienzahl und der Disziplin interpretiert werden.

Kappa-Werte können negativ sein (Nicht-Übereinstimmung systematisch schlechter als Zufall) und theoretisch maximal 1,00 betragen (perfekte Übereinstimmung). Ein κ von 0,00 bedeutet, dass die beobachtete Übereinstimmung exakt dem Zufall entspricht — nicht, dass keine Übereinstimmung vorliegt.

In der qualitativen Sozialforschung wird häufig ein Mindestwert von κ ≥ 0,70 gefordert, bevor die Hauptkodierung beginnt. Dieser Schwellenwert findet sich unter anderem in der Methodenliteratur zur Inhaltsanalyse (vgl. Krippendorff, 2004) und wird von zahlreichen Fachzeitschriften der Kommunikations- und Erziehungswissenschaft als Richtlinie angegeben.

Fleiss‘ Kappa: Drei und mehr Kodierer

Cohens Kappa ist strikt für zwei Kodierer konzipiert. Werden mehr als zwei Rater eingesetzt — etwa in einem Drittmittelprojekt mit mehreren studentischen Hilfskräften oder bei einem besonders umfangreichen Textkorpus, der auf mehrere Kodierer aufgeteilt wird —, kommt Fleiss‘ Kappa (Fleiss, 1971) zum Einsatz.

Das Prinzip ist analog zu Cohen: Fleiss‘ Kappa mittelt zunächst die Übereinstimmungsraten über alle Rater und bereinigt anschließend um den Zufallsanteil. Die kompaktere Formelnotation:

κ_F = (P̄ − P̄_e) / (1 − P̄_e)

P̄ ist die mittlere beobachtete Übereinstimmung über alle Einheiten und Rater, P̄_e die mittlere zufällig erwartete Übereinstimmung, errechnet aus den Häufigkeitsverteilungen der einzelnen Kategorien über alle Rater. Die Berechnung von Hand ist bei drei und mehr Ratern aufwändig; in der Praxis empfiehlt sich R (Paket irr, Funktion kappam.fleiss()) oder SPSS.

Eine wichtige Einschränkung: Fleiss‘ Kappa setzt voraus, dass jede Texteinheit von exakt derselben Anzahl an Ratern kodiert wird. Fehlen einzelne Urteile (missing ratings), muss auf Krippendorffs Alpha ausgewichen werden, das mit unbalancierten Daten unterschiedlicher Skalenniveaus umgehen kann und von Krippendorff (2004) ausführlich beschrieben wird.

Abgrenzung zu Cronbachs Alpha

In Methodenkapiteln von Abschlussarbeiten taucht die folgende Verwechslung regelmäßig auf: Cronbachs Alpha wird als Beleg für die Intercoderreliabilität einer Inhaltsanalyse angeführt. Das ist methodisch falsch — die beiden Maße messen grundlegend Verschiedenes.

Kurzformel für das Methodenkapitel: Cronbachs Alpha misst, ob mehrere Items eines Fragebogens ein gemeinsames latentes Konstrukt messen. Cohens Kappa misst, ob zwei Personen zu denselben Kategorisierungen gelangen, wenn sie dasselbe Textmaterial unabhängig kodieren. Ein α von 0,85 auf einer Einstellungsskala sagt nichts darüber aus, ob zwei Rater die zugehörigen Items gleich interpretieren würden.

Anwendung in der qualitativen Inhaltsanalyse nach Mayring

Die qualitative Inhaltsanalyse nach Mayring ist in der deutschsprachigen Sozial- und Erziehungswissenschaft das meistgenutzte systematische Auswertungsverfahren für Textmaterial. Ein zentrales Gütekriterium des Verfahrens ist die Intercoderreliabilität: Nachdem das Kategoriensystem entwickelt und der Kodierleitfaden formuliert wurde, prüfen zwei unabhängige Kodierer — in Abschlussarbeiten oft der Verfasser und eine zweite Person, z. B. ein Kommilitone — an einem Pilotdatensatz, ob die Kategoriedefinitionen eindeutig genug sind, um replizierbare Kodierentscheidungen zu ermöglichen.

Zur Methode selbst, zum Ablaufmodell und zur Konstruktion des Kategoriensystems verweisen wir auf den detaillierten Überblicksartikel Qualitative Inhaltsanalyse nach Mayring: Methode Schritt für Schritt (2026). Hier liegt der Fokus auf dem Schritt der Reliabilitätsprüfung, der typischerweise nach der Pilotphase stattfindet und vor der eigentlichen Hauptkodierung abzuschließen ist.

Der empfohlene Ablauf der Intercoderreliabilitätsprüfung:

1. Kodierleitfaden finalisieren: Jede Kategorie erhält eine präzise Definition, ein oder mehrere Ankerbeispiele aus dem Material sowie Abgrenzungsregeln gegenüber benachbarten Kategorien.
2. Pilotkodierung (unabhängig): Beide Kodierer arbeiten unabhängig denselben repräsentativen Teilkorpus durch (Richtwert: 10–20 % des Gesamtmaterials, mindestens jedoch 20 Einheiten).
3. Kappa berechnen: Pro Kategorie oder aggregiert über alle Kategorien — je nach Forschungsdesign.
4. Diskrepanzdiskussion: Uneinige Fälle werden systematisch besprochen. Ursachen liegen entweder in Doppeldeutigkeiten im Material oder in Unklarheiten im Leitfaden.
5. Leitfaden überarbeiten und ggf. erneute Pilotkodierung an neuen Einheiten, bis κ ≥ 0,70 erreicht ist.
6. Hauptkodierung durch den Primärkodierer (oder beide, je nach verfügbaren Ressourcen und methodischen Anforderungen).

Zur übergeordneten Qualitätsdiskussion in der qualitativen Forschung — insbesondere zu den Gütekriterien nach Steinke, die in bestimmten Forschungsparadigmen an die Stelle klassischer Reliabilitätsprüfungen treten — sei auf den Artikel Gütekriterien nach Steinke: Die 7 Kernkriterien qualitativer Forschung (2026) verwiesen.

Für eine komplementäre Perspektive auf Ablauf und Kategoriensystematik bietet der Artikel Qualitative Inhaltsanalyse nach Mayring 2026: Ablauf, Kategoriensystem und Beispiel auf de.tesify.pro einen ausführlichen methodologischen Überblick mit konkreten Beispielen aus der Forschungspraxis.

Berechnung mit SPSS und R

SPSS: Cohens Kappa über Kreuztabellen

In SPSS lässt sich Cohens Kappa über die Kreuztabellen-Funktion berechnen. Voraussetzung: Die Urteile beider Rater liegen als zwei separate Variablen (z. B. Rater_A und Rater_B) mit denselben Kategoriewerten vor.

1. Menü: Analysieren → Deskriptive Statistiken → Kreuztabellen
2. Variable Rater_A in die Zeilen, Rater_B in die Spalten ziehen.
3. Schaltfläche Statistiken öffnen → Häkchen bei Kappa setzen.
4. Weiter und OK klicken.

Der Output enthält den κ-Wert, den asymptotischen Standardfehler sowie einen Signifikanztest. Zu beachten: Bei großen Stichproben wird der Test fast immer signifikant, was über die praktische Bedeutsamkeit des κ-Werts wenig aussagt. Entscheidend ist der κ-Wert selbst im Kontext der Landis-Koch-Skala. Für einen Überblick über Stärken und Grenzen von SPSS im Vergleich zu alternativen Statistikprogrammen bei gemischten Analysedesigns sei auf den Artikel SPSS vs. R vs. JASP vs. jamovi 2026 verwiesen.

R: Paket irr

Das R-Paket irr (Inter-Rater Reliability) stellt spezialisierte Funktionen für sämtliche gängigen IRR-Maße bereit. Die Verwendung für Cohens und Fleiss‘ Kappa:

# Paket installieren und laden
install.packages("irr")
library(irr)

# Beispieldaten: Spalten = Rater, Zeilen = kodierte Einheiten
ratings <- data.frame(
  RaterA = c(1, 1, 1, 2, 1, 2, 2, 1, 2, 2),
  RaterB = c(1, 1, 2, 2, 1, 2, 1, 1, 2, 2)
)

# Cohens Kappa (genau 2 Rater)
kappa2(ratings)

# Gewichtetes Kappa fuer geordnete Kategorien
kappa2(ratings, weight = "linear")

# Fleiss' Kappa (3 oder mehr Rater)
# kappam.fleiss(ratings_3rater)

Der Output von kappa2() gibt neben κ auch den Standardfehler sowie einen z-Wert mit p-Wert aus. Für das Argument weight steht neben "linear" auch "squared" zur Verfügung, das größere Abweichungen zwischen den Kategorien stärker gewichtet. Das Paket psych bietet mit der Funktion cohen.kappa() eine weitere, häufig zitierte Alternative mit leicht unterschiedlichem Output-Format.

MAXQDA (ab Version 2020) und ATLAS.ti bieten darüber hinaus integrierte Kappa-Berechnungen direkt im Team-Coding-Workflow, was den Export und Reimport von Rohdaten in SPSS oder R überflüssig macht — ein praktischer Vorteil in kollaborativen Forschungsprojekten.

Häufig gestellte Fragen