Wer für eine Abschlussarbeit Studien einschließt, muss früher oder später sagen, wie gut diese Studien eigentlich sind. Genau dafür gibt es Critical-Appraisal-Instrumente — Checklisten, mit denen du die methodische Qualität fremder Studien systematisch bewertest. Das Problem: Es gibt mehrere etablierte Instrumente, sie sehen auf den ersten Blick ähnlich aus, und die Wahl des falschen fällt in der Methodikbewertung sofort auf. Dieser Vergleich zeigt, welches Instrument zu welchem Studientyp gehört — und wo die Grenzen jeder Checkliste liegen.
Die Vergleichstabelle: welches Instrument wofür
| Instrument | Bewertet | Umfang | Ergebnisform |
|---|---|---|---|
| CASP-Checklisten | Einzelstudien vieler Designs (RCT, Kohorte, Fall-Kontroll, Querschnitt, qualitative Studien u. a.) | je Checkliste ca. 10–12 Leitfragen | strukturierte Einschätzung, kein Punktwert |
| AMSTAR 2 | systematische Reviews von Gesundheitsinterventionen | 16 Items | Vertrauensurteil (hoch bis kritisch niedrig), ausdrücklich kein Summenscore |
| PEDro-Skala | randomisierte kontrollierte Studien (v. a. Physiotherapie und Interventionen) | 11 Kriterien | Punktzahl 0–10 (Kriterium 1 zählt nicht) |
Die wichtigste Unterscheidung vorweg: Ein Critical-Appraisal-Instrument bewertet fremde Studien, die du gelesen hast. Eine Berichtsrichtlinie wie STROBE oder COREQ strukturiert dagegen, was du über deine eigene Untersuchung berichtest. Beides wird ständig verwechselt. Welche Berichtsrichtlinie zu deinem eigenen Studiendesign gehört, klärt der Beitrag zu den Berichtsrichtlinien jenseits von PRISMA — hier geht es um die andere Seite: die Bewertung dessen, was andere geschrieben haben.
CASP: der flexible Standard für Einzelstudien
Das Critical Appraisal Skills Programme (CASP) stellt auf seiner Website eine Familie frei herunterladbarer Checklisten bereit — unter anderem für randomisierte kontrollierte Studien, systematische Reviews, qualitative Studien, Kohortenstudien, Fall-Kontroll-Studien, Querschnittstudien, Diagnosestudien und ökonomische Evaluationen. Damit ist CASP das breiteste der drei Instrumente: Für fast jedes Design, das dir in einer Literaturarbeit begegnet, existiert eine passende Variante.
CASP arbeitet mit Leitfragen statt mit Punkten. Du beantwortest der Reihe nach Fragen zur Klarheit der Fragestellung, zur Angemessenheit des Designs, zur Rekrutierung, zur Messung und zur Übertragbarkeit — und hältst je Frage fest, ob die Studie das Kriterium erfüllt, nicht erfüllt oder ob es unklar bleibt. Das Ergebnis ist eine begründete Gesamteinschätzung, kein Zahlenwert.
Für Abschlussarbeiten ist genau das ein Vorteil: Du kannst die beantworteten Leitfragen direkt in deinen Fließtext übersetzen. Ein Satz wie „Zwei der fünf eingeschlossenen Studien berichten die Ausfälle nicht, was die Belastbarkeit ihrer Ergebnisse einschränkt“ ist wörtlich das, was eine CASP-Bewertung produziert — und deutlich stärker als eine unkommentierte Punktetabelle.
AMSTAR 2: wenn du Reviews bewertest, nicht Einzelstudien
AMSTAR 2 ist das Instrument für einen anderen Fall: Du hast keine Primärstudien vor dir, sondern systematische Reviews — etwa in einem Umbrella Review oder wenn du den Forschungsstand über vorhandene Übersichtsarbeiten aufbaust. Nach den Angaben der AMSTAR-Entwickler wurde das Instrument gezielt weiterentwickelt, um systematische Reviews zu bewerten, die neben randomisierten auch nicht-randomisierte Studien zu Gesundheitsinterventionen einschließen.
Drei Eigenschaften musst du kennen, bevor du AMSTAR 2 einsetzt:
- Es umfasst 16 Items — das ursprüngliche AMSTAR hatte 11.
- Es ist ausdrücklich nicht dafür gedacht, einen Gesamtscore zu bilden. Die Entwickler schreiben das selbst: Das Gesamturteil beruht auf Schwächen in kritischen Domänen, nicht auf einer Summe.
- Das Ergebnis ist ein Vertrauensurteil in vier Stufen — von „hoch“ (keine oder eine unkritische Schwäche) bis „kritisch niedrig“. Ein Review mit hoher Einstufung liefert nach dieser Logik eine genaue und umfassende Zusammenfassung der verfügbaren Studien; bei kritischen Schwächen darfst du dem Gesamtbild nicht mehr vertrauen.
Der häufigste Fehler in Abschlussarbeiten ist, AMSTAR 2 trotzdem als Punktesystem zu verwenden („Review X erreicht 12 von 16 Punkten“). Das widerspricht der Anleitung des Instruments und ist im Kolloquium leicht angreifbar. Ob ein Umbrella Review für deine Arbeit überhaupt der richtige Zuschnitt ist, klärt der Vergleich der Review-Typen für Abschlussarbeiten.
PEDro: die Punkteskala für randomisierte Studien
Die PEDro-Skala stammt aus der Physiotherapie-Evidenzdatenbank PEDro und bewertet randomisierte kontrollierte Studien. Sie existiert in einer offiziellen deutschen Übersetzung, die von Stefan Hegenscheidt, Angela Harth und Erwin Scherfer erstellt, im April 2008 fertiggestellt und im Februar 2010 zuletzt geändert wurde — für deutschsprachige Arbeiten im Gesundheitsbereich ist das ein praktischer Vorteil, weil du die Kriterien nicht selbst übersetzen musst.
Die Skala umfasst elf Kriterien: von der Spezifikation der Ein- und Ausschlusskriterien über randomisierte und verborgene Gruppenzuordnung, Vergleichbarkeit der Gruppen zu Beginn, Verblindung von Probanden, Therapeuten und Untersuchern bis zu Nachverfolgung, Intention-to-treat-Analyse und statistischer Berichterstattung. Die Skala geht auf die Delphi-Liste von Verhagen und Kollegen (1998) zurück.
Zwei Eigenheiten sind prüfungsrelevant. Erstens: Kriterium 1 (externe Validität) zählt nicht zur Punktzahl — die dokumentierte PEDro-Punktzahl berechnet sich aus den übrigen zehn Kriterien, das Maximum ist also 10, nicht 11. Zweitens warnen die Autoren der Skala selbst davor, sie als Maß für die Gültigkeit der Schlussfolgerungen einer Studie zu verwenden: Eine hohe Punktzahl belegt methodische Sorgfalt der Durchführung, nicht die klinische Bedeutsamkeit des Effekts. Wenn du PEDro-Werte berichtest, gehört diese Einordnung in deinen Methodenteil.
Wie du dich entscheidest
- Was bewertest du — Einzelstudien oder Reviews? Reviews → AMSTAR 2. Einzelstudien → weiter zu Schritt 2.
- Welches Design haben die Studien? Randomisierte Interventionsstudien im Gesundheitsbereich → PEDro (mit deutscher Skala) oder die CASP-RCT-Checkliste. Kohorten-, Fall-Kontroll- oder Querschnittstudien → die designspezifische CASP-Checkliste. Qualitative Studien → CASP Qualitative.
- Gemischter Studienpool? Dann brauchst du mehrere Instrumente — eines je Design. Das ist normal und kein Mangel; wichtig ist nur, dass du im Methodenteil sagst, welches Instrument für welche Studiengruppe galt.
Halte die Wahl schriftlich fest, bevor du mit der Bewertung beginnst — genauso wie deine Ein- und Ausschlusskriterien. Ein nachträglich gewähltes Instrument wirkt ergebnisgesteuert. Wie das Gesamtverfahren eines Literaturreviews aufgebaut ist, zeigt der Leitfaden zum systematischen Literaturreview nach PRISMA 2020.
Wie tief muss die Bewertung in einer Abschlussarbeit sein?
Für eine Bachelorarbeit ist eine vollständige Bewertung jeder eingeschlossenen Studie mit einem etablierten Instrument bereits überdurchschnittlich. Wenn dein Studienpool klein ist (etwa fünf bis fünfzehn Arbeiten), ist der Aufwand realistisch: Pro Studie brauchst du mit einer CASP-Checkliste ungefähr eine halbe bis eine Stunde, wenn du die Studie bereits gelesen hast.
Präsentiere das Ergebnis zweistufig: eine kompakte Übersichtstabelle (Studie × Kriteriengruppen) im Text oder Anhang, und eine narrative Zusammenfassung der Muster im Fließtext — welche Schwächen häufen sich, welche Studien tragen die Hauptlast deiner Argumentation, und wie sicher ist das Fundament dadurch. In Pflege- und Gesundheitsstudiengängen wird diese Qualitätsbewertung häufig ausdrücklich erwartet; die fachlichen Konventionen dazu beschreibt der Beitrag zur Bachelorarbeit in der Pflegewissenschaft.
Was keines dieser Instrumente leistet
Alle drei Instrumente bewerten die methodische Qualität der Durchführung und Berichterstattung — nicht die Relevanz der Studie für deine Fragestellung und nicht die Vertrauenswürdigkeit der Quelle selbst. Ob eine Zeitschrift seriös arbeitet, ob eine Studie zurückgezogen wurde und wie du fragwürdige Publikationen erkennst, ist eine vorgelagerte Prüfung — dafür gibt es eigene Kriterien, die der Beitrag zum Bewerten wissenschaftlicher Quellen beschreibt. Erst wenn eine Quelle diese Grundprüfung besteht, lohnt sich die detaillierte Qualitätsbewertung mit CASP, AMSTAR 2 oder PEDro.
Ein durchgerechnetes Beispiel: CASP an einer Kohortenstudie
Angenommen, deine Literaturarbeit zur Wirkung von Schichtarbeit auf Schlafqualität schließt eine Kohortenstudie ein. Mit der CASP-Checkliste für Kohortenstudien gehst du sie Frage für Frage durch: War die Fragestellung klar fokussiert? Wurde die Kohorte auf akzeptable Weise rekrutiert? Wurde die Exposition (Schichtarbeit) präzise gemessen — oder nur einmalig selbstberichtet? Wurden bekannte Störgrößen wie Alter, Koffeinkonsum und Vorerkrankungen erhoben und in der Analyse berücksichtigt? War die Nachverfolgung lang genug und vollständig genug?
Nach zwanzig Minuten hast du ein Profil: Die Studie misst die Exposition sauber, verliert aber ein Drittel der Teilnehmenden über die Laufzeit und berichtet nicht, ob die Ausgeschiedenen sich systematisch unterscheiden. Genau dieser Satz wandert in deine Synthese — als begründete Einschränkung, nicht als Bauchgefühl. Multipliziere das mit jeder eingeschlossenen Studie, und dein Diskussionskapitel schreibt sich zur Hälfte von selbst: Du weißt jetzt, welche Befunde auf stabilem Fundament stehen und welche auf Sand.
Der Unterschied zu einer Bewertung „nach Gefühl“ liegt nicht im Ergebnis, sondern in der Verteidigbarkeit. Im Kolloquium ist „Ich habe alle Studien mit der designspezifischen CASP-Checkliste bewertet, die Profile liegen im Anhang“ eine Antwort, gegen die es keine Rückfrage gibt. „Die Studie wirkte solide“ ist keine.
Der pragmatische Mittelweg: die vereinfachte Bewertung
Nicht jede Abschlussarbeit braucht das volle Programm. Für kleinere Literaturarbeiten ist auch eine vereinfachte Einstufung der Studien in hohes, mittleres oder niedriges Verzerrungsrisiko nach vorab definierten Kriterien vertretbar — entscheidend ist, dass die Kriterien vor der Bewertung feststehen und einheitlich angewendet werden. Die etablierten Instrumente liefern dir dafür die Kriterienbasis, auch wenn du sie nicht vollständig abarbeitest: Wer seine drei Einstufungskriterien aus CASP ableitet und das dokumentiert, arbeitet immer noch systematischer als die große Mehrheit studentischer Arbeiten.
Wichtig ist nur die Ehrlichkeit in der Beschreibung: Eine vereinfachte Bewertung heißt im Methodenteil „vereinfachte Bewertung nach den Kriterien X, Y, Z in Anlehnung an CASP“ — nicht „kritische Bewertung mit CASP“. Dieselbe Deklarationslogik, die bei der Wahl des Review-Typs gilt, gilt auch hier: Verkürzen ist erlaubt, Verschweigen nicht.
Häufige Fragen
Kann ich CASP und AMSTAR 2 in derselben Arbeit verwenden?
Ja — wenn dein Studienpool sowohl Einzelstudien als auch systematische Reviews enthält, ist das sogar der korrekte Weg. Dokumentiere im Methodenteil, welches Instrument für welche Publikationsart galt.
Muss ich die ausgefüllten Checklisten abgeben?
Verlangt wird das selten, aber eine Übersichtstabelle im Anhang stärkt die Nachvollziehbarkeit erheblich. Kläre mit deiner Betreuung, ob der Anhang dafür der richtige Ort ist.
Gibt es die Instrumente auf Deutsch?
Die PEDro-Skala existiert in einer offiziellen deutschen Übersetzung. CASP und AMSTAR 2 liegen im Original auf Englisch vor; wenn du auf Deutsch schreibst, übersetzt du die Kriterien sinngemäß selbst und zitierst das englische Original.
Was mache ich mit Studien, die schlecht abschneiden?
Nicht automatisch ausschließen. Eine schwache Studie kann trotzdem berichtenswert sein — dann mit entsprechender Gewichtung in deiner Synthese. Ausschluss wegen Qualität ist nur sauber, wenn du die Schwelle vorab definiert hast.
Ersetzt die Bewertung die eigene Argumentation?
Nein. Die Checkliste liefert dir strukturierte Beobachtungen; die Interpretation — was die Schwächen für deine Forschungsfrage bedeuten — bleibt deine Aufgabe und ist der Teil, der bewertet wird.
Fazit
Die Wahl folgt dem Bewertungsgegenstand: CASP für Einzelstudien fast aller Designs, AMSTAR 2 für systematische Reviews (ohne Summenscore!), PEDro für randomisierte Interventionsstudien mit dem Komfort einer offiziellen deutschen Skala und einer klaren 10-Punkte-Logik. Wer das Instrument vor der Bewertung festlegt, je Design konsequent bleibt und die Grenzen des Instruments benennt, hat den Teil der Literaturarbeit im Griff, an dem die meisten Arbeiten nur eine Behauptung stehen haben.
Wenn die Bewertung steht und du die Synthese schreibst, hilft dir der Tesify-Editor, Studien, Bewertungen und Kapitel an einem Ort zu halten: Starte deine Abschlussarbeit mit Tesify — geschrieben wird sie zu 100 % von dir.