Interrater-Reliabilität berechnen, interpretieren und berichten

Die Interrater-Reliabilität zeigt, wie zuverlässig mehrere Personen dieselben Fälle unabhängig voneinander beurteilen oder codieren. Welcher Kennwert dafür geeignet ist, hängt jedoch nicht von einer allgemeinen Empfehlung ab, sondern vom Skalenniveau der Daten, der Anzahl der Rater und dem Aufbau des Untersuchungsdesigns. Für nominale Kategorien eignen sich andere Verfahren als für ordinale Bewertungen oder metrische Messwerte. Ebenso spielt eine Rolle, ob alle Beurteilenden dieselben Fälle bewerten und ob fehlende Bewertungen berücksichtigt werden müssen.

Diese Anleitung zeigt, wie Sie das passende Reliabilitätsmaß auswählen, eine Entscheidungstabelle sinnvoll nutzen und Cohen’s Kappa anhand eines vollständigen Beispiels berechnen. Außerdem erfahren Sie, wie Kappa, Krippendorffs Alpha und ICC interpretiert werden, welche Software dafür geeignet ist und wie sich Ergebnisse nachvollziehbar in Methodik und Ergebnisteil einer wissenschaftlichen Arbeit berichten lassen.

Interrater-Reliabilität bezeichnet die Verlässlichkeit von Daten, die entstehen, wenn zwei oder mehr Beurteilende dieselben Untersuchungseinheiten unabhängig nach denselben Regeln bewerten. Voraussetzung dafür ist, dass alle Rater identische Bewertungskriterien anwenden und ihre Entscheidungen unabhängig voneinander treffen. Nur dann lässt sich beurteilen, wie konsistent ein Mess- oder Kodiersystem tatsächlich funktioniert.

Zu einer Reliabilitätsprüfung gehören immer vier Bestandteile: der Untersuchungsgegenstand, die Beurteilenden, ein klar definiertes Bewertungs- oder Kodierschema sowie die unabhängige Durchführung der Bewertung. Fehlt einer dieser Bausteine oder ändern sich die Regeln während der Auswertung, lässt sich die Übereinstimmung später kaum sinnvoll interpretieren.

Ein typisches Beispiel stammt aus der qualitativen Forschung. Zwei Codierende analysieren unabhängig voneinander 100 Interviewsegmente und ordnen jedes Segment anhand eines gemeinsamen Codebuchs einer Kategorie zu. Ein solcher Ablauf findet sich beispielsweise häufig bei der Auswertung eines leitfadengestützten Interviews. Anschließend wird geprüft, in welchem Umfang beide Personen dieselben Kategorien vergeben haben und welcher Reliabilitätskoeffizient für dieses Design geeignet ist.

Eine hohe Interrater-Reliabilität unterstützt die Auswertungsobjektivität, weil das Ergebnis weniger von der einzelnen beurteilenden Person abhängt. Daraus folgt jedoch nicht automatisch, dass die erhobenen Daten gültig oder wissenschaftlich angemessen sind. Ein unpräzises Kategoriensystem kann auch dann konsistente Ergebnisse liefern, wenn es den Untersuchungsgegenstand nicht ausreichend beschreibt.

Hinweis: Hohe Übereinstimmung ist notwendig, aber kein Beweis für Validität.

Der Begriff Interrater-Reliabilität wird in vielen Disziplinen verwendet. Dazu gehören unter anderem Psychologie, Bildungsforschung, Medizin, qualitative Inhaltsanalyse sowie moderne Annotation Studies, bei denen mehrere Personen Texte, Bilder oder andere Daten nach gemeinsamen Regeln klassifizieren.

Interrater-Reliabilität vergleicht verschiedene Beurteilende, Intrarater-Reliabilität dieselbe Person zu mehreren Zeitpunkten und Intercoder-Reliabilität speziell die Codierung von Inhalten. Obwohl diese Begriffe häufig gemeinsam verwendet werden, beschreiben sie unterschiedliche methodische Fragestellungen und sollten im Methodenteil klar voneinander abgegrenzt werden.

Interrater-Reliabilität steht im Mittelpunkt, wenn mehrere Personen dieselben Untersuchungseinheiten unabhängig bewerten. Ziel ist es zu prüfen, ob das Ergebnis von der beurteilenden Person möglichst wenig beeinflusst wird.

Intercoder-Reliabilität beschreibt denselben Grundgedanken, wird jedoch überwiegend in der qualitativen Inhaltsanalyse verwendet. Im Vordergrund steht hier die Frage, ob mehrere Codierende ein gemeinsames Codebuch nachvollziehbar und konsistent anwenden.

Die Intrarater-Reliabilität untersucht dagegen die Stabilität einer einzelnen Person. Bewertet dieselbe Person identisches Material nach einigen Wochen erneut, sollte das Ergebnis weitgehend übereinstimmen. Diese Form der Reliabilität beantwortet also eine andere Forschungsfrage als der Vergleich mehrerer Beurteilender.

Ebenso wichtig ist die Unterscheidung zwischen agreement und reliability. Agreement beschreibt die tatsächliche Nähe oder Identität mehrerer Bewertungen. Reliability betrachtet dagegen, wie zuverlässig sich Untersuchungsobjekte trotz Messfehlern voneinander unterscheiden lassen. Beide Konzepte hängen zusammen, verfolgen statistisch jedoch unterschiedliche Ziele. Deshalb sollte im Methodenteil immer angegeben werden, welcher Aspekt untersucht wird und warum der gewählte Kennwert dazu passt.

In wissenschaftlichen Veröffentlichungen werden Agreement und Reliability teilweise synonym verwendet. Für die statistische Auswertung genügt diese Vereinfachung jedoch nicht. Ein Reliabilitätskoeffizient beantwortet eine andere Frage als die reine prozentuale Übereinstimmung, weshalb beide Kennwerte je nach Forschungsdesign unterschiedliche Aussagen liefern können.

Das passende Reliabilitätsmaß hängt vor allem vom Skalenniveau, der Anzahl der Rater, der Zuordnung der Rater zu den Fällen und fehlenden Bewertungen ab. Es gibt deshalb keinen einzelnen Kennwert, der für jede Forschungsfrage gleichermaßen geeignet ist.

Die Tabelle zeigt, dass die Wahl des Kennwerts immer aus dem Untersuchungsdesign folgt. Ein Verfahren ist nicht deshalb geeignet, weil es häufig verwendet wird, sondern weil seine Voraussetzungen zu den erhobenen Daten passen.

Zur Orientierung können Sie vier Fragen nacheinander beantworten:

1. Welches Skalenniveau besitzen Ihre Daten?
2. Wie viele Rater oder Codierende bewerten dieselben Untersuchungseinheiten?
3. Bewerten alle Personen dieselben Fälle oder unterscheiden sich die Zuordnungen?
4. Gibt es fehlende Bewertungen oder unterschiedlich viele Codierungen pro Fall?

Erst wenn diese Fragen beantwortet sind, lässt sich ein geeigneter Koeffizient auswählen. Statistiksoftware übernimmt diese Entscheidung nicht automatisch. Programme können einen Kennwert berechnen, wissen aber nicht, ob das gewählte Modell zu Ihrem Forschungsdesign passt.

An dieser Stelle lohnt sich auch die Abgrenzung zu Cronbachs Alpha. Dieser Kennwert beschreibt in der Regel die interne Konsistenz einer Skala und beantwortet damit eine andere Fragestellung als die Interrater-Reliabilität. Dass beide Kennwerte unter den Begriff Reliabilität fallen, bedeutet nicht, dass sie austauschbar sind.

Eine belastbare Reliabilitätsprüfung beginnt mit einem klaren Codebuch und endet erst mit der transparenten Dokumentation von Ergebnis und Konsensverfahren. Die Berechnung eines Koeffizienten ist lediglich der letzte Teil eines methodischen Prozesses. Eine sorgfältige Vorbereitung entscheidet darüber, ob das spätere Ergebnis überhaupt sinnvoll interpretiert werden kann.

Im Rahmen empirischer Methoden gehört die Planung der Reliabilitätsprüfung deshalb bereits zum Forschungsdesign und nicht erst zur statistischen Auswertung.

1. Untersuchungseinheiten, Kategorien und Skala festlegen

Definieren Sie zunächst eindeutig, welche Einheiten bewertet werden und nach welchen Regeln dies geschieht. Formulieren Sie Kategorien möglichst trennscharf und dokumentieren Sie Grenzfälle bereits im Codebuch.

2. Rater auswählen und schulen

Alle Beurteilenden sollten dieselben Bewertungsregeln verstehen und anhand gemeinsamer Beispiele einüben. Ziel des Trainings ist ein einheitliches Verständnis des Codebuchs, nicht die Angleichung späterer Einzelentscheidungen.

3. Pilotmaterial codieren

Testen Sie das Kategoriensystem zunächst an einer geeigneten Pilotstichprobe. Dabei geht es darum, unklare Definitionen oder widersprüchliche Kategorien frühzeitig zu erkennen.

4. Regeln überarbeiten und einfrieren

Ergeben sich aus der Pilotphase Änderungen, sollten diese vollständig dokumentiert werden. Erst wenn das Codebuch abgeschlossen ist, beginnt die eigentliche Reliabilitätsprüfung. Wird das Kategoriensystem später erneut verändert, muss die Reliabilität auf unabhängig codiertem Material nochmals überprüft werden.

5. Untersuchungsmaterial unabhängig bewerten

Lassen Sie die ausgewählten Untersuchungseinheiten unabhängig voneinander bewerten. Die Codierenden dürfen die Entscheidungen der jeweils anderen Personen bis zum Abschluss der Reliabilitätsanalyse nicht kennen.

Für den Umfang der Doppelkodierung existiert keine allgemein gültige Prozentvorgabe. Stattdessen sollte nachvollziehbar begründet werden, warum die ausgewählte Stichprobe die Vielfalt des Untersuchungsmaterials ausreichend repräsentiert. Hinweise zur Planung eines solchen Designs finden Sie auch im Themenbereich Forschung planen.

6. Koeffizient berechnen und transparent berichten

Erst nach Abschluss der unabhängigen Bewertungen werden der gewählte Kennwert und – soweit möglich – ein Konfidenzintervall berechnet. Anschließend dokumentieren Sie den Ablauf der Reliabilitätsanalyse sowie den späteren Umgang mit verbleibenden Meinungsverschiedenheiten.

Eine Konsensrunde dient der Erstellung des endgültigen Datensatzes. Sie darf jedoch nicht vor der Berechnung der Interrater-Reliabilität stattfinden, weil gemeinsame Entscheidungen die tatsächliche Übereinstimmung künstlich erhöhen würden.

Die prozentuale Übereinstimmung ist der Anteil identischer Bewertungen, berücksichtigt aber nicht, wie viele Übereinstimmungen allein durch die Kategorienverteilung zu erwarten wären. Sie gehört zu den einfachsten Kennzahlen der Reliabilitätsanalyse und bietet einen schnellen Überblick darüber, wie häufig mehrere Beurteilende zum gleichen Ergebnis gelangen.

Die Berechnung erfolgt mit einer einfachen Formel:

Prozentuale Übereinstimmung = (Anzahl identischer Urteile / Anzahl gemeinsam bewerteter Einheiten) × 100

Bewerten beispielsweise zwei Rater dieselben 100 Untersuchungseinheiten und stimmen sie bei 86 Fällen überein, beträgt die prozentuale Übereinstimmung 86 %. Dieser Wert lässt sich leicht nachvollziehen und ist deshalb eine sinnvolle Ergänzung jeder Reliabilitätsanalyse.

Allein reicht diese Kennzahl jedoch häufig nicht aus. Sie unterscheidet nicht zwischen einer Übereinstimmung, die tatsächlich auf einer konsistenten Anwendung des Kategoriensystems beruht, und einer Übereinstimmung, die bereits aufgrund der Verteilung der Kategorien zu erwarten wäre. Wenn etwa fast alle Untersuchungseinheiten derselben Kategorie angehören, können zwei Rater auch ohne besonders präzises Codebuch eine hohe rohe Übereinstimmung erzielen.

Deshalb wird die prozentuale Übereinstimmung häufig gemeinsam mit einem chance-korrigierten Kennwert wie Cohen’s Kappa oder Krippendorffs Alpha berichtet. Beide Kennzahlen berücksichtigen zusätzlich, welcher Anteil der Übereinstimmung zufällig entstehen könnte.

Das bedeutet jedoch nicht, dass Prozentwerte grundsätzlich ungeeignet wären. Im Gegenteil: Als transparenter deskriptiver Kennwert erleichtern sie die Einordnung der Daten und machen die tatsächliche Anzahl gleicher Bewertungen unmittelbar nachvollziehbar. Problematisch wird ihre Verwendung erst dann, wenn sie als einziges Maß für die Qualität einer Reliabilitätsanalyse herangezogen werden.

Cohen’s Kappa misst die über den Zufall hinausgehende Übereinstimmung zweier Rater bei kategorialen Daten. Im Unterschied zur prozentualen Übereinstimmung berücksichtigt der Koeffizient, dass ein Teil gleicher Bewertungen allein aufgrund der Kategorienverteilung entstehen kann. Dadurch eignet sich Cohen’s Kappa besonders für nominale Daten, die von genau zwei unabhängig arbeitenden Beurteilenden bewertet werden.

Der Koeffizient wird mit folgender Formel berechnet:

κ = (Pₒ − Pₑ) / (1 − Pₑ)

Dabei bedeutet:

• κ = Cohen’s Kappa;
• Pₒ = beobachtete Übereinstimmung (observed agreement);
• Pₑ = erwartete Übereinstimmung aufgrund zufälliger Kategorienverteilung (expected agreement).

Zur Veranschaulichung dient das folgende Beispiel. Zwei Codierende klassifizieren unabhängig voneinander 100 Textsegmente entweder als „relevant“ oder „nicht relevant“.

Im ersten Schritt wird die beobachtete Übereinstimmung berechnet. Beide Codierenden stimmen in den Feldern 42 und 44 überein. Insgesamt liegen somit 86 identische Entscheidungen vor.

Pₒ = (42 + 44) / 100 = 0,86

Anschließend wird bestimmt, welche Übereinstimmung allein aufgrund der Randverteilungen zu erwarten wäre. Dazu werden die jeweiligen Kategorienanteile beider Codierenden miteinander multipliziert.

Pₑ = (0,50 × 0,48) + (0,50 × 0,52) = 0,50

Nun können beide Werte in die Formel eingesetzt werden.

κ = (0,86 − 0,50) / (1 − 0,50) = 0,72

Das Ergebnis zeigt, dass die beobachtete Übereinstimmung von 86 % deutlich über dem Zufallsniveau liegt. Gleichzeitig verdeutlicht der Vergleich mit der rohen Übereinstimmung, weshalb Cohen’s Kappa häufig aussagekräftiger ist als ein bloßer Prozentwert. Beide Kennzahlen beschreiben unterschiedliche Aspekte derselben Daten und sollten deshalb gemeinsam interpretiert werden.

Die Berechnung endet allerdings nicht mit dem Punktwert. Für wissenschaftliche Arbeiten sollte die Präzision der Schätzung zusätzlich durch ein 95-%-Konfidenzintervall beschrieben werden. Dieses wird üblicherweise mit Statistiksoftware berechnet und gemeinsam mit dem Kappa-Wert berichtet. Das Konfidenzintervall zeigt, mit welcher Unsicherheit die Schätzung behaftet ist, und erleichtert die Interpretation insbesondere bei kleineren Stichproben.

Ein vollständiger Ergebnisbericht könnte daher neben der Kontingenztabelle die beobachtete Übereinstimmung, den berechneten Kappa-Wert sowie das mit der verwendeten Software ermittelte Konfidenzintervall enthalten. Erst das Zusammenspiel dieser Angaben ermöglicht eine nachvollziehbare Beurteilung der Reliabilität.

Gewichtetes Cohen’s Kappa eignet sich für geordnete Kategorien, weil kleine und große Abweichungen unterschiedlich stark gewichtet werden können. Bei ordinalen Daten ist nämlich nicht jede Differenz gleich bedeutsam. Eine Bewertung von 4 statt 5 beschreibt meist einen deutlich geringeren Unterschied als eine Bewertung von 1 statt 5.

Ein typisches Beispiel ist die Beurteilung der Qualität auf einer Skala von 1 bis 5. Stimmen zwei Rater bei den meisten Fällen vollständig überein und weichen gelegentlich nur um eine Stufe voneinander ab, sollte diese geringe Differenz nicht dieselbe Auswirkung auf den Kennwert haben wie völlig gegensätzliche Bewertungen.

Genau hierfür wurde das gewichtete Cohen’s Kappa entwickelt. Es weist unterschiedlichen Abweichungen unterschiedliche Gewichte zu. Kleine Unterschiede beeinflussen das Ergebnis weniger stark als große.

In der Praxis werden vor allem zwei Gewichtungsschemata verwendet:

• Lineare Gewichte, bei denen die Strafe mit jeder zusätzlichen Bewertungsstufe gleichmäßig zunimmt.
• Quadratische Gewichte, bei denen größere Abweichungen überproportional stärker berücksichtigt werden.

Welches Schema angemessen ist, hängt von der Forschungsfrage und der Bedeutung der Bewertungsabstände ab. Es gibt deshalb keine allgemeingültige Empfehlung, nach der lineare oder quadratische Gewichte grundsätzlich vorzuziehen wären.

Entscheidend ist vielmehr, dass die Gewichtungsregel bereits vor der Auswertung festgelegt, fachlich begründet und im Methodenteil transparent beschrieben wird. Nur so bleibt nachvollziehbar, wie unterschiedliche Bewertungsdifferenzen in die Reliabilitätsanalyse eingeflossen sind.

Bei mehr als zwei Ratern ist Fleiss‘ Kappa für bestimmte kategoriale Designs geeignet, während Krippendorffs Alpha flexibler mit Skalenniveaus, wechselnden Raterzahlen und fehlenden Bewertungen umgehen kann. Beide Kennwerte verfolgen dasselbe Ziel, unterscheiden sich jedoch hinsichtlich ihrer Voraussetzungen und Einsatzbereiche.

Fleiss‘ Kappa wurde für Designs entwickelt, in denen mehrere Beurteilende kategoriale Daten bewerten. Welche Voraussetzungen erfüllt sein müssen, hängt vom konkreten Studiendesign ab. Deshalb sollte im Methodenteil immer beschrieben werden, wie die Rater den Untersuchungseinheiten zugeordnet wurden und welche Kategorien verwendet wurden.

Krippendorffs Alpha verfolgt einen breiteren Ansatz. Der Koeffizient kann nicht nur für nominale Daten eingesetzt werden, sondern auch für ordinale, intervallskalierte und weitere Skalenniveaus, sofern die passende Distanzfunktion definiert wird. Darüber hinaus eignet er sich für Designs mit unterschiedlich vielen Bewertungen pro Untersuchungseinheit und kann fehlende Bewertungen berücksichtigen.

Welcher Kennwert vorzuziehen ist, entscheidet daher nicht die Bekanntheit der Methode, sondern die Struktur der Daten. Ein komplexes Kodierprojekt mit variierender Anzahl von Codierenden stellt andere Anforderungen als ein standardisiertes Bewertungsverfahren mit identischem Raterdesign.

Krippendorffs Alpha sollte deshalb nicht pauschal als „besser“ oder „robuster“ bezeichnet werden. Seine Stärke liegt darin, dass es auch anspruchsvollere Forschungsdesigns abbilden kann. Ob diese Flexibilität tatsächlich benötigt wird, hängt jedoch vollständig von der jeweiligen Forschungsfrage und dem Datendesign ab.

Der Intraclass Correlation Coefficient ist für metrische Bewertungen geeignet, muss aber immer mit Modell, Definition und Auswertungseinheit angegeben werden. Die bloße Angabe eines ICC-Wertes reicht nicht aus, weil unterschiedliche Modelle auf denselben Daten verschiedene Ergebnisse liefern können.

Die Auswahl orientiert sich an drei methodischen Entscheidungen.

Erstens: Welches Modell beschreibt das Studiendesign?

Je nach Stichprobenziehung kommen ein One-Way Random Model, ein Two-Way Random Model oder ein Two-Way Mixed Model infrage. Welches Modell passend ist, hängt unter anderem davon ab, ob die eingesetzten Rater als Zufallsstichprobe einer größeren Population betrachtet werden oder ob genau diese Personen bewertet werden sollen.

Zweitens: Soll absolute agreement oder consistency gemessen werden?

Absolute agreement eignet sich, wenn identische Messwerte erforderlich sind und systematische Unterschiede zwischen den Ratern berücksichtigt werden sollen. Consistency konzentriert sich dagegen darauf, ob die Reihenfolge beziehungsweise die relative Unterscheidung der Bewertungen übereinstimmt, selbst wenn einzelne Rater systematisch etwas höher oder niedriger bewerten.

Drittens: Welche Auswertungseinheit soll berichtet werden?

Bei Single Measurement bezieht sich der ICC auf die Bewertung einer einzelnen Person. Average Measurement beschreibt dagegen die Reliabilität des Mittelwerts mehrerer Rater. Welche Variante verwendet wird, richtet sich danach, ob spätere Entscheidungen auf Einzelbewertungen oder auf gemittelten Bewertungen beruhen.

Für eine nachvollziehbare Berichterstattung sollten mindestens folgende Angaben enthalten sein:

• Gewähltes ICC-Modell;
• Definition (absolute agreement oder consistency);
• Auswertungseinheit (single oder average measures);
• Geschätzter ICC-Wert;
• 95-%-Konfidenzintervall;
• Anzahl der Rater;
• Anzahl der Untersuchungseinheiten;
• Verwendete Software.

Die Auswahl des passenden ICC ist keine technische Einstellung innerhalb eines Statistikprogramms, sondern eine methodische Entscheidung. Deshalb genügt die Empfehlung „Berechnen Sie einen ICC“ nicht. Erst wenn Modell, Definition und Auswertungseinheit zum Datendesign passen und transparent berichtet werden, lässt sich der Kennwert sinnvoll interpretieren und mit anderen Studien vergleichen.

Ein Kappa-Wert lässt sich nur im Kontext von Messzweck, Kategorien, Stichprobe, Prävalenz und Konfidenzintervall sinnvoll interpretieren. Der Zahlenwert allein sagt noch nicht, ob die Reliabilität für eine konkrete Untersuchung ausreichend ist. Entscheidend ist, welche Folgen Fehlklassifikationen haben, wie die Daten verteilt sind und wie präzise der Koeffizient geschätzt wurde.

In vielen Lehrtexten wird die Einteilung nach Landis und Koch verwendet. Sie ordnet Kappa-Werte festen verbalen Kategorien zu. Diese Grenzen sind jedoch eine häufig zitierte Konvention und kein allgemeingültiger Qualitätsstandard.

Diese Bezeichnungen können eine erste Orientierung geben, dürfen aber nicht als automatische Entscheidungsregel verwendet werden. Ein Kappa von 0,62 ist nicht allein deshalb methodisch ausreichend, weil es knapp über einer historischen Grenze liegt. Ebenso muss ein niedrigerer Wert nicht automatisch bedeuten, dass das gesamte Kategoriensystem unbrauchbar ist.

Für eine belastbare Cohen’s-Kappa-Interpretation sollten Sie mehrere Aspekte gemeinsam betrachten:

Ein sinnvoller Mindestwert sollte vor der Auswertung festgelegt und aus der Forschungsfrage begründet werden. Dabei können fachliche Standards, frühere Studien, die Bedeutung einzelner Fehler und die erwartete Nutzung der Daten berücksichtigt werden. Auch das Konfidenzintervall gehört zur Interpretation: Ein hoher Punktwert mit sehr breitem Intervall kann weniger überzeugend sein als ein etwas niedrigerer, aber präzise geschätzter Wert.

Ein niedriger Kappa-Wert kann trotz hoher prozentualer Übereinstimmung auftreten, wenn eine Kategorie sehr häufig ist oder die Rater Kategorien unterschiedlich oft verwenden. Dieses Phänomen wird häufig als Kappa-Paradoxon bezeichnet und hängt mit der Berechnung der erwarteten Zufallsübereinstimmung zusammen.

Wenn fast alle Untersuchungseinheiten derselben Kategorie zugeordnet werden, ist bereits aufgrund der Randverteilungen eine hohe Übereinstimmung zu erwarten. Cohen’s Kappa zieht diese erwartete Übereinstimmung vom beobachteten Wert ab. Dadurch kann der Koeffizient niedrig ausfallen, obwohl beide Rater bei einem großen Teil der Fälle dieselbe Entscheidung getroffen haben.

Ein ähnlicher Effekt entsteht, wenn die Rater Kategorien unterschiedlich häufig verwenden. Bewertet eine Person fast alle Fälle als „relevant“, während die andere deutlich häufiger „nicht relevant“ vergibt, verschieben sich die marginalen Verteilungen. Das beeinflusst die erwartete Übereinstimmung und damit auch den Kappa-Wert.

Das Kappa-Paradoxon sollte nicht automatisch als Rechenfehler oder als Beweis für ein schlechtes Codebuch interpretiert werden. Ein Prävalenzeffekt entsteht aus einer stark ungleichen Kategorienverteilung. Unklare Regeln oder unterschiedliche Interpretationen können dagegen ebenfalls geringe Reliabilität verursachen, sind aber ein anderes methodisches Problem.

Deshalb sollten Sie nicht nur κ berichten, sondern auch:

• die vollständige Kreuz- oder Konfusionsmatrix;
• die rohe prozentuale Übereinstimmung;
• die Häufigkeit jeder Kategorie;
• den Kappa-Wert;
• das 95-%-Konfidenzintervall.

Seltene Kategorien sollten nicht entfernt werden, nur um den Koeffizienten zu erhöhen. Eine Zusammenlegung oder Streichung ist nur dann sinnvoll, wenn sie inhaltlich und theoretisch begründet werden kann. Ebenso sollte Kappa nicht automatisch durch PABAK, AC1 oder einen anderen Kennwert ersetzt werden. Ein alternatives Maß benötigt eine eigene methodische Begründung und sollte zur Forschungsfrage sowie zum Datendesign passen.

Bei einer qualitativen Inhaltsanalyse prüft die Intercoder-Reliabilität, ob mehrere Personen dasselbe Kategoriensystem auf dasselbe Material nachvollziehbar anwenden. Im Mittelpunkt steht nicht nur der spätere Koeffizient, sondern der gesamte Weg von der Definition der Analyseeinheiten bis zur Auflösung verbleibender Abweichungen.

Ein typischer Ablauf bei Interviewtranskripten umfasst mehrere aufeinander abgestimmte Schritte.

Zunächst wird die Analyseeinheit festgelegt. Das kann ein vollständiger Antwortabschnitt, ein Satz, eine Sinneinheit oder eine andere klar definierte Textpassage sein. Ohne einheitliche Segmentierungsregeln können Codierende bereits unterschiedliche Textgrenzen verwenden, bevor sie überhaupt Kategorien vergeben.

Danach entsteht das Codebuch. Es sollte jede Kategorie definieren, Inklusions- und Exklusionsregeln nennen und typische Ankerbeispiele enthalten. Auch Abgrenzungen zwischen ähnlichen Codes und der Umgang mit Grenzfällen gehören hinein.

Im Training wenden die Codierenden das Codebuch auf gemeinsames Übungsmaterial an. Anschließend folgt eine Pilotcodierung, mit der unklare Regeln, Überschneidungen und fehlende Kategorien sichtbar werden. Die Ergebnisse dürfen genutzt werden, um das Codebuch zu überarbeiten.

Nach der Revision werden die Regeln eingefroren. Erst auf dieser Grundlage beginnt die unabhängige Doppelkodierung der Reliabilitätsstichprobe. Die Codierenden sehen die Entscheidungen der jeweils anderen Person bis zum Abschluss dieser Phase nicht.

Danach wird der passende Koeffizient berechnet und gemeinsam mit Kategorienverteilung, Stichprobe und Unsicherheit dokumentiert. Erst im nächsten Schritt werden Abweichungen analysiert und gegebenenfalls in einer Konsensrunde geklärt. Diese Konsensentscheidungen können anschließend in den finalen Datensatz eingehen, dürfen aber nicht rückwirkend zur Berechnung der ursprünglichen Reliabilität verwendet werden.

Wird nur ein Teil des Materials doppelt codiert, muss die Auswahlregel transparent beschrieben werden. Die Teilstichprobe sollte unterschiedliche Interviewtypen, typische Passagen und schwierige Grenzfälle abbilden. Eine willkürliche Auswahl leicht zu codierender Abschnitte würde das Ergebnis verzerren.

Bei Multi-Label-Coding ist zusätzlich festzulegen, ob jeder Code separat als binäre Entscheidung analysiert wird oder ein anderes Design erforderlich ist. Eine einzige Gesamtkennzahl kann relevante Unterschiede zwischen häufigen, seltenen und besonders schwer anwendbaren Codes verdecken.

Nicht jede qualitative Forschungsrichtung verlangt zwingend einen numerischen Koeffizienten. Ob Intercoder-Reliabilität sinnvoll ist, hängt vom methodologischen Ansatz, der Rolle des Codebuchs und dem Erkenntnisziel ab. Wo jedoch mehrere Personen ein regelgeleitetes Kategoriensystem anwenden, bietet eine transparente Reliabilitätsprüfung wichtige Informationen über die Nachvollziehbarkeit der Auswertung.

Interrater-Reliabilität verbessert sich vor allem durch präzise Regeln, repräsentative Pilotfälle, gezieltes Training und eine dokumentierte Überarbeitung des Instruments. Ziel ist nicht, einen möglichst hohen Koeffizienten zu produzieren, sondern Bewertungsentscheidungen klarer und nachvollziehbarer zu machen.

Sechs Maßnahmen sind besonders wirksam:

1. Operationale Definitionen schärfen. Jede Kategorie sollte anhand beobachtbarer Merkmale beschrieben werden. Allgemeine Begriffe wie „gut“, „auffällig“ oder „relevant“ benötigen klare Entscheidungskriterien.
2. Grenzfälle ausdrücklich regeln. Schwierige Fälle zeigen, wo Kategorien überlappen oder Interpretationsspielraum entsteht. Solche Fälle sollten mit Beispielen und Ausschlussregeln im Codebuch dokumentiert werden.
3. Rater gezielt trainieren. Das Training sollte nicht nur einfache Beispiele enthalten. Erst bei mehrdeutigen Fällen wird sichtbar, ob alle Beurteilenden dieselben Regeln tatsächlich gleich verstehen.
4. Eine repräsentative Pilotcodierung durchführen. Das Pilotmaterial sollte typische, seltene und methodisch schwierige Fälle umfassen. Nur dann liefert es Hinweise auf reale Schwächen des Instruments.
5. Entscheidungsbäume oder Prioritätsregeln ergänzen. Wenn mehrere Kategorien möglich erscheinen, können feste Prüfschritte oder Vorrangregeln die Anwendung vereinheitlichen.
6. Änderungen in einem Audit Trail festhalten. Dokumentieren Sie, welche Regeln geändert wurden, warum die Änderung erfolgte und ab welchem Zeitpunkt sie galt.

Das Codebuch darf auf Grundlage der Pilotdaten überarbeitet werden. Genau dafür ist die Pilotphase vorgesehen. Die finale Reliabilität sollte anschließend jedoch auf neuem Material oder auf erneut unabhängig codierten Einheiten geprüft werden.

Nicht zulässig ist es, zunächst gemeinsam einen Konsens über dieselben Bewertungen herzustellen und danach aus diesen bereinigten Daten die Reliabilität zu berechnen. Ein solches Vorgehen würde den Koeffizienten künstlich erhöhen. Die ursprünglichen unabhängigen Bewertungen müssen erhalten bleiben und bilden die Grundlage der Reliabilitätsanalyse.

R, SPSS und Python können Reliabilitätskoeffizienten berechnen, ersetzen aber weder die Auswahl des passenden Modells noch die Prüfung des Datendesigns. Vor der Analyse muss feststehen, welche Datenstruktur vorliegt, welches Skalenniveau verwendet wird und welcher Koeffizient zur Forschungsfrage passt.

Die Daten werden häufig so vorbereitet, dass jede Zeile eine Untersuchungseinheit darstellt und separate Spalten die Bewertungen der einzelnen Rater enthalten. Manche Funktionen verlangen allerdings ein anderes Format. Deshalb sollte die Eingabestruktur immer mit der Dokumentation der konkreten Funktion abgeglichen werden.

In R können verschiedene Funktionen für Cohen’s Kappa, Fleiss’ Kappa, Krippendorffs Alpha und ICC genutzt werden. Dabei ist zu kontrollieren, ob die Funktion Rater in Zeilen oder Spalten erwartet und wie fehlende Werte behandelt werden.

SPSS bietet abhängig von Version und gewähltem Verfahren unterschiedliche Möglichkeiten für Kappa und Intraklassenkorrelationen. Statt einen festen Menüpfad zu übernehmen, sollten Sie die aktuelle Dokumentation prüfen und im Methodenteil das tatsächlich verwendete Modell angeben.

Python stellt mit cohen_kappa_score eine verbreitete Funktion für Cohen’s Kappa bereit. Weitere Koeffizienten benötigen zusätzliche Bibliotheken oder eigene Berechnungsschritte. Bei gewichteten Varianten müssen die gewählten Gewichte ausdrücklich festgelegt werden.

Programme für qualitative Datenanalyse können Codiervergleiche erleichtern. Die Bezeichnung „Agreement“ reicht jedoch nicht aus, um das Ergebnis zu verstehen. Prüfen Sie, ob lediglich Prozentwerte oder ein chance-korrigierter Koeffizient berechnet werden und welche Segmente oder Codes in die Analyse eingehen.

Wird Programmcode in der Arbeit dokumentiert, sollte er anhand der aktuellen offiziellen Dokumentation und eines bekannten Testdatensatzes geprüft werden. Auch ein fehlerfrei ausgeführtes Skript garantiert nicht, dass Modell, Datenformat und Interpretation methodisch korrekt gewählt wurden.

Eine vollständige Berichterstattung nennt Rater, Material, Stichprobe, Kodierschema, Kennwert, Unsicherheit und den Umgang mit Abweichungen. Der Reliabilitätskoeffizient sollte deshalb nicht isoliert im Ergebnisteil stehen. Leserinnen und Leser müssen nachvollziehen können, wie die Bewertung vorbereitet, durchgeführt, ausgewertet und anschließend bereinigt wurde.

Methodik: Planung und Auswahl des Kennwerts

Im Methodikteil beschreiben Sie zunächst, welche Personen bewertet oder codiert haben, wie sie geschult wurden und welche Untersuchungseinheiten in die Reliabilitätsprüfung eingingen. Erläutern Sie außerdem das Skalenniveau, das Kodierschema, die Pilotierung und die Regel, nach der die Reliabilitätsstichprobe ausgewählt wurde.

Danach begründen Sie den Kennwert. Bei Cohen’s Kappa sollte deutlich werden, dass zwei Rater kategoriale Daten unabhängig bewertet haben. Für einen ICC müssen Modell, Definition und Auswertungseinheit genannt werden. Fehlende Werte und die spätere Konsensregel gehören ebenfalls in diesen Abschnitt.

Muster für die Methodik:

Zwei geschulte Codierende klassifizierten unabhängig [n] Untersuchungseinheiten anhand des vorab pilotierten Kategoriensystems. Für die nominalen Daten wurde Cohen’s Kappa berechnet; Abweichungen wurden erst nach Abschluss der Reliabilitätsanalyse im Konsens geklärt.

Ergebnisse: Kennwert, Unsicherheit und Datenstruktur

Im Ergebnisteil berichten Sie nicht nur den Koeffizienten, sondern auch die rohe Übereinstimmung und das Konfidenzintervall. Bei kategorialen Daten sollten zusätzlich Kategorienverteilung und Kreuztabelle zugänglich sein. So lässt sich erkennen, ob seltene Kategorien oder unausgewogene Randverteilungen den Kappa-Wert beeinflussen.

Muster für die Ergebnisse:

Die beobachtete Übereinstimmung betrug [x] %. Cohen’s Kappa lag bei κ = [x,xx] (95%-KI [x,xx; x,xx]). Die Kategorienverteilung und die vollständige Kreuztabelle sind in Tabelle [x] dargestellt.

Für metrische Bewertungen muss der ICC vollständig spezifiziert werden.

Muster für einen ICC-Bericht:

Die Reliabilität wurde mit einem ICC(…)-Modell auf Grundlage von [absolute agreement/consistency] und [single/average measures] bestimmt. Der ICC betrug [x,xx] (95%-KI [x,xx; x,xx]) bei [n] Ratern und [n] Untersuchungseinheiten.

Die Platzhalter dürfen erst ausgefüllt werden, wenn das tatsächlich verwendete Modell eindeutig feststeht.

Diskussion: Grenzen und Folgen einordnen

In der Diskussion erklären Sie, welche Unsicherheiten verbleiben. Dazu gehören ein breites Konfidenzintervall, seltene Kategorien, eine kleine Reliabilitätsstichprobe oder problematische Grenzfälle. Beschreiben Sie außerdem, welche Konsequenzen die Reliabilität für die weitere Interpretation der Daten hat.

Eine hohe Übereinstimmung rechtfertigt keine pauschale Aussage über Validität oder Objektivität. Eine niedrigere Reliabilität bedeutet wiederum nicht automatisch, dass sämtliche Ergebnisse unbrauchbar sind. Entscheidend ist, welche Kategorien betroffen sind, wie groß die Unsicherheit ist und welche Folgen Fehlklassifikationen für die Forschungsfrage haben.

Die häufigsten Fehler entstehen durch ein unpassendes Maß, abhängige Bewertungen, unklare Kategorien und eine zu knappe Ergebnisdarstellung. Viele Probleme betreffen nicht die eigentliche Berechnung, sondern die Planung des Designs und die Interpretation des Resultats.

Besonders irreführend ist die Verwendung einer hohen Korrelation als Nachweis für Übereinstimmung. Zwei Rater können Werte sehr ähnlich rangordnen und dennoch systematisch unterschiedliche Zahlen vergeben. Eine hohe Pearson- oder Spearman-Korrelation zeigt daher nicht automatisch, dass die Bewertungen tatsächlich übereinstimmen.

Auch die nachträgliche Entfernung seltener Kategorien ist problematisch. Werden Fälle nur deshalb ausgeschlossen, weil sie den Koeffizienten senken, verliert die Analyse ihre methodische Nachvollziehbarkeit. Änderungen am Kategoriensystem müssen inhaltlich begründet, dokumentiert und gegebenenfalls mit einer neuen unabhängigen Reliabilitätsprüfung überprüft werden.

Mit dieser Checkliste prüfen Sie, ob Ihre Reliabilitätsanalyse methodisch begründet, reproduzierbar und vollständig berichtet ist.

Wenn mehrere Punkte offenbleiben, sollte die Analyse vor dem Schreiben des Ergebnisteils noch einmal geprüft werden. Besonders wichtig sind die Unabhängigkeit der Bewertungen, die korrekte Modellspezifikation und eine vollständige Ergebnisdarstellung.

Interrater-Reliabilität ist dann aussagekräftig, wenn Kennwert, Datentyp, Raterdesign und Berichterstattung zusammenpassen. Nominale Kategorien, ordinale Bewertungen und metrische Daten erfordern unterschiedliche Verfahren. Ebenso entscheidend sind die Anzahl der Rater, fehlende Werte und die Frage, ob absolute Übereinstimmung oder relative Konsistenz untersucht werden soll.

Die Bewertungen müssen unabhängig erfolgen, bevor Abweichungen in einer Konsensrunde geklärt werden. Kappa, Krippendorffs Alpha oder ICC sollten nie nur als einzelne Zahl interpretiert werden, sondern gemeinsam mit Konfidenzintervall, Kategorienverteilung, Stichprobe und Fehlerfolgen.

Eine vollständige Darstellung in Methodik, Ergebnissen und Diskussion macht die Reliabilitätsanalyse nachvollziehbar. Der Koeffizient unterstützt die Beurteilung der Datenqualität, ersetzt aber weder die Prüfung der Validität noch die fachliche Bewertung des verwendeten Mess- oder Kategoriensystems.