Fail #55: Pseudogenauigkeit von Laufbahnentscheidungen

Alle Jahre wieder sitzen Kinder in bayerischen 4. Klassen und schauen mit ihren Eltern zusammen mehr oder weniger sorgenvoll auf “den Übertritt”. Alle rechnen fleißig, ob es denn reicht zum Wechsel aufs Gymnasium oder wenigstens auf die Realschule: Die Übertrittsnote steht im Zentrum der Hoffnung; sie ist die Basis für die Laufbahnempfehlung. Eine schlechte Basis, wie die folgenden Ausführungen zeigen.

Die Übertrittsregelungen in Bayern

In Bayern entscheiden Noten über den weiteren Bildungsweg. Im Übertrittszeugnis heißt es bei einem Notenschnitt in Deutsch, Mathe und Heimat- und Sachunterricht von 2,33: „geeignet für den Besuch des Gymnasiums“; 2,66 bedeutet „geeignet für den Besuch der Realschule“; ein schlechterer Durchschnitt bedeutet „geeignet für den Besuch der Mittelschule“.

Wenn der Durchschnitt im Übertrittszeugnis zum Wechsel auf eine „höhere Schule“ – diese Ausdrucksweise reflektiert das Ansehen der Schularten in der Bevölkerung – nicht ausreicht, können die Kinder einen dreitägigen Probeunterricht an einer Realschule oder einem Gymnasium absolvieren. Dieser ist bestanden, wenn dort in Deutsch und Mathematik einmal die Note 3 und einmal die Note 4 erzielt wurde. Bei zweimal Note 4 können die Eltern sich aber dennoch für den Besuch dieser Schule entscheiden; das war ein Zugeständnis an den Elternwillen durch den damaligen Kultusminister Dr. Spaenle.

Sollte das alles nicht reichen, gibt es nach der 5. Klasse Mittelschule wieder eine neue Möglichkeit, den Sprung auf Realschule oder Gymnasium zu versuchen, was auch vielen Schülerinnen und Schülern gelingt. Im Sommer 2020 waren das 2425 Schülerinnen und Schüler.

2,33 und 2,66 – das sind Noten mit Hundertstelstellen. Gemeinhin signalisieren Werte mit zwei Stellen hinter dem Komma, Genauigkeit, Sorgfalt, Objektivität, um nicht zu sagen: Wissenschaftlichkeit.

Das Problem: Diese Übertrittsnoten sind voller Willkür und Fragwürdigkeiten, so dass es mal an der Zeit ist, ein paar der Ecken und Kanten herauszuarbeiten.

Welches Zahlenwerk kann die Leistungen eines Kindes fassen? Symbolbild von Pixabay

Scheinbare Homogenität

Das ganze Übertrittsregime ist dazu geschaffen, in der Sekundarstufe I homogene Gruppen zu erhalten, die dann leistungsgemäß und passend unterrichtet werden können. Aber diese Homogenität hat Ausreißer. Dazu halte man sich bitte folgendes vor Augen:
Den Übertritt aufs Gymnasium schafft ein Kind nicht nur mit ausgeglichenen Leistungen von beispielsweise Note 2 + 2 + 3 (oder besser), sondern auch mit einer Notenverteilung von 1 + 2 + 4. Das heißt, im ungünstigsten Fall sitzen in einer 5. Klasse Gymnasium in Deutsch oder Mathe Kinder zusammen, deren Grundschulnoten und -leistungen zwischen 1 und 4 streuen.

Das Gleiche gilt natürlich auch für die Kinder, die den Probeunterricht mit zweimal Note 4 eigentlich nicht bestanden haben, aber aufgrund des – in diesem Fall ziemlich fragwürdigen – Elternwillens dennoch aufs Gymnasium wechseln durften. Ich bin nicht sicher, ob die Gymnasiallehrkräfte darüber besonders glücklich sind.

Ein Monitoring der Folgen solcher Streuungen ist mir nicht bekannt. Fragt jemand danach, wie es genau diesen Kindern auf der „höheren“ Schule ergeht? Können sie die Leistungsmängel ausgleichen? Oder sind sie diejenigen, die irgendwann einmal sitzenbleiben oder nach „unten“ abgeschult werden? Einen gewissen Hinweis erhält man mit Blick auf die Durchgangswahrscheinlichkeit des bayerischen Gymnasiums von 85 Prozent (im Jahr 2019, siehe Grafik der Autorengruppe unten). Das bedeutet, dass etwa 15 Prozent der Schülerschaft einer 5. Klasse Gymnasium dieses nicht mit dem Abitur verlassen.

Übergangswahrscheinlichkeiten. Quelle: Autorengruppe S. 112

Es wäre gut, genauer darüber Bescheid zu wissen, wie viele davon eine knappe Eignung hatten, und vielleicht gibt es im bayerischen Kultusministerium oder im Staatsinstitut Personen oder Abteilungen, die sich mit diesen Fragen befassen. Bei den Fragen zur Qualität des Übertrittsverfahrens, die bisher Elternvertretern und Schulleitungen gestellt wurden, fehlen diese Aspekte. Hier sind diese Fragen verlinkt, die sich mit Details des Übertrittsverfahrens befassen (z.B. mit der Anzahl von Probearbeiten oder der Festlegung von probefreien Zeiträumen).

Eine andere Art von Monitoring kommt zu folgendem Ergebnis:

Ingenkamp/Lissmann (2005) verweisen darauf, dass bei ca. 40% der Schüler das Eignungsurteil der Grundschullehrkräfte nicht mit dem erzielten Schulerfolg übereinstimmen. […] Diese Ergebnisse […] zeigen deutlich, dass die diagnostischen bzw. prognostischen Instrumentarien in der Grundschule unzureichend sind. Oder mit anderen Worten: Die Gefahr, einen Schüler in die falsche Schulform zu empfehlen, ist mit ca. 50% unverantwortlich hoch. (Frank 2012, S. 186)

Wir haben also eine erhebliche Diskrepanz zwischen der Genauigkeit von Hundertstelstellen bei der Notengebung und dem Effekt, dass daraus eine Spanne von Note 1 bis 4 resultieren kann, so dass in einzelnen Fächern eine durchaus heterogene Schülerschaft zusammen lernt. Wenden wir nun unsere Aufmerksamkeit der Frage zu, wie die Übertrittsnoten überhaupt entstehen. Das stellt die Frage nach dem, was jede Lehrkraft als Person in den Notengebungsprozess einbringt.

Subjektivität der Lehrperson

Schlechte Noten können aus schlechten Schülerleistungen entstehen. Und diese können auch aus schlechtem Unterricht resultieren. Es ist zwar ein Tabu, und kein/e Kolleg/in sollte eine/n anderen anschwärzen. Als Schulleiter/in weiß man, wer gut unterrichten kann und wer nicht; aber das wird man nicht nach außen tragen, sondern schulintern bearbeiten und lediglich in der dienstlichen Beurteilung sichtbar machen – in der Regel sehr vorsichtig, denn sonst droht eine Beschwerde beim Personalrat.

Der nur scheinbar objektive Blick auf die Wirklichkeit. Bild von Pixabay

Aber abgesehen von der Unterrichtsqualität gibt es noch weitere subjektive Komponenten in der Notengebung. Hier eine Zusammenstellung:

Jede Lehrkraft entscheidet selbst, was in einer Leistungserhebung gefragt wird und wie gefragt wird. Ausnahme: Bei Parallelklassen gibt es (in der Regel) Abstimmungen im „Stoff“, im Tempo und bei der Erstellung von Probearbeiten. Das ist aber nicht zwingend der Fall.
Jede Lehrkraft entscheidet selbst, wie viele Punkte es für welche Antwort gibt (Gewichtung). Ansonsten gilt die obige Ausnahme auch hier.
In der Situation der Leistungserhebung sind dann die Kinder mehr oder weniger konzentriert. Es kommt leider gar nicht so selten vor, dass ein Kind seine volle Leistung nicht bringen kann, weil es vor der Stunde oder im Bus Stress mit Mitschüler/innen gab oder die familiäre Situation (Trennung der Eltern) der Konzentration im Weg steht oder das Kind mit der Lehrkraft nicht kann (und umgekehrt).
Danach kann sich in der Bepunktung noch eine subjektive Komponente einschleichen; es werden unter Umständen nur bestimmte Begriffe (evtl. auch in ihrer Rechtschreibung) als richtig gewertet; und zwar genau diese und keine anderen, selbst wenn in anderer Ausdrucksweise derselbe Sachverhalt richtig beschrieben wird. Es kann auch sein, dass eine schlechte Handschrift Einfluss auf die inhaltliche Bewertung durch die Lehrperson nimmt.

Insgesamt ergibt sich kein gutes Bild für die notenbasierte Laufbahnempfehlung. Nikolaus Frank von der Uni Augsburg nennt das, wissenschaftlich betrachtet, „völlige Finsternis“:

Zwar ist hinlänglich bekannt, welche subjektiven Einflussfaktoren die Lehrerempfehlung beeinflussen, wie viele Schüler dadurch aber schon auf eine falsche Schullaufbahn geschickt wurden, ist wissenschaftlich nicht nur eine Grauzone, sondern eher völlige ‚Finsternis‘, aber für den Betroffenen keinesfalls Schicksal, sondern Unzulänglichkeit (um nicht zu sagen Fahrlässigkeit) unseres Schulsystems. (Frank 2012, S. 132)

Schließlich zeigen wissenschaftliche Untersuchungen, dass ein und dieselbe Arbeit von Lehrpersonen so unterschiedlich bewertet wird, dass die Ergebnisse über vier Notenstufen streuen können. Hier ein Beispiel:

*Varianz der Notenvergabe bei gleicher Testleistung (Stubbe et al. 2016, S. 358)*

Die deutlichen Überlappungen der vier Kurven zeigen, dass Schülerinnen und Schüler mit mittleren Testleistungen je nach Lehrkraft alle Noten von ausreichend bis sehr gut erhalten. (Stubbe et al. 2016, S. 358)

Am Ende steht dann also eine Note – unter Umständen mit Hundertstelstellen –, die Genauigkeit suggeriert, aber stark von der Lehrersubjektivität geprägt und keiner wissenschaftlichen Evaluation ausgesetzt ist. Dass die Lehrperson sich in manchen Fällen bei der Notengebung auch von der sozialen Herkunft der Kinder beeinflussen lässt, ist in der Fachliteratur als „tertiärer Herkunftseffekt“ bekannt, wird in diesem Beitrag aber nicht eigens thematisiert; die Literaturhinweise machen einen Teil dieser Problematik deutlich.

Wenden wir uns nun weiteren Feinheiten der Notengebung zu.

Stufen statt Kontinuum

Was bedeutet es, knapp die bessere Note verpasst zu haben?
Beispiel: Ein Viertklässler schrammt zweimal knapp an der 2 vorbei und einmal knapp an der 1, erhält also nach dem allgemeinen Gebrauch folgende Noten: 3 + 3 + 2 = Notensumme 8, im Schnitt 2,66 = Durchschnittsnote 3.
Gäbe es kontinuierliche (oder lineare) Noten, dann hätte derselbe Schüler vielleicht 2,6 + 2,6 + 1,6 = 6,8; das ergibt einen numerischen Schnitt von 2,26 = Note 2. Das lässt sich sogar noch weiter ausdehnen: Auch mit den Einzelnoten 2,8 + 2,8 + 1,8 lässt sich noch ein Schnitt von 2,47 = Note 2 erzielen.

Hier der Vergleich unseres schul- und landkreisinternen gestuften Notenschlüssels mit einem kontinuierlichen. Zunächst die Landkreistabelle in diskreten Schnitten am Beispiel einer Probearbeit, bei der maximal 30 Punkte erreicht werden können:

Landkreistabelle

Die Grafik lässt Schritte oder Sprünge deutlich werden:

Lineare Notengebung

Zum Vergleich hier eine linear-kontinuierliche Notenberechnung ohne Sprünge:

Diese Formel übersetzt sich in folgendes Diagramm:

Es gibt dann schon größere Unterschiede, wo die einzelnen Noten beginnen. Natürlich kann man auch bei den Notenstufen mit Zehntel- oder Hundertstelnoten agieren. Aber das ist nicht der Punkt, auf den es hier ankommt. Sondern die Sprünge sind das Problem; sie werden in der Grafik besonders deutlich: Ein Punkt Unterschied (im Beispiel 1 von 30 = 3,3%) kann über eine ganze Note Unterschied entscheiden (1 von 6 = 16,7%). Das ist unverhältnismäßig, wird aber an bayerischen Schulen bedenkenlos seit vielen Jahren so gehandhabt.

Willkürliche Stufen

Die spezielle Verbindung von Punkten und Noten bei uns im Landkreis entspricht einer tradierten Setzung. Warum ist bei 93% der erbrachten Leistung die Grenze zwischen Note 1 und 2 und nicht bei 95% oder bei 90%? Mit welchem Recht quantifiziert man bei 22% eine Leistung als „ungenügend“ und nicht bei 20% oder bei 25%?

Die Notengebung, die der Gesetzgeber vorschreibt, ist so formuliert, dass sich daraus keine Prozente ableiten lassen. Art. 52 Abs. 2 BayEUG legt fest:

sehr gut = 1 Die Leistung entspricht den Anforderungen in besonderem Maße.
gut = 2 Die Leistung entspricht voll den Anforderungen.
befriedigend = 3 Die Leistung entspricht im Allgemeinen den Anforderungen.
ausreichend = 4 Die Leistung weist zwar Mängel auf, entspricht aber im Ganzen noch den Anforderungen.
mangelhaft = 5 Die Leistung entspricht nicht den Anforderungen, lässt jedoch erkennen, dass trotz deutlicher Verständnislücken die notwendigen Grundkenntnisse vorhanden sind.
ungenügend = 6 Die Leistung entspricht nicht den Anforderungen und lässt selbst die notwendigen Grundkenntnisse nicht erkennen.

Es gibt keinen definierten Umschlag von Qualität in Quantität, deshalb bleibt es den Lehrkräften oder -körpern vorbehalten, diese Beschreibungen in Notenschlüssel zu übersetzen. Oder mit anderen Worten: Es ist der subjektiven und, wie dargestellt, nicht immer kompetenten Einschätzung der Lehrpersonen überlassen. Darüber entscheidet in den seltensten Fällen eine Lehrkraft allein, sondern sie orientiert sich an dem, was an der eigenen Schule oder im Schulamtsbezirk so üblich ist.

Dabei kommt es bayernweit schon rein numerisch zu Unterschieden, wie man an einigen Notenschlüsseln erkennen kann, die im Internet öffentlich einsehbar sind (siehe die Links unten). Bei diesen zufällig ausgewählten Stichproben ergeben sich folgende Streuungen in der Punkte- und Notenzusammenstellung:

Es addieren sich also weiche Formulierungen, beispielsweise für eine ausreichende Leistung (mit Mängeln, entspricht aber im Ganzen noch den Anforderungen) zu einer Spanne von bis zu 10 Prozent in den verwendeten Notenschlüsseln, und das ergibt in der Summe – ja was? Doch wohl eine reichlich verwaschene Leistungs-Notenzuordnung, versteckt hinter einem Zahlenwerk, das Genauigkeit nur vorgaukelt!

Nebenbei: Eine weite „Streuung“ von persönlichen Urteilen ist etwas sehr Alltägliches und eben deshalb sehr Problematisches, wie ein neues Buch von Daniel Kahneman et. al. in aller Breite ausführt (siehe Literatur).

In unserem Fall heißt das also, dass ein und dieselbe Leistung eines Kindes mit unterschiedlichen Noten bewertet werden kann, je nachdem, wo es zufällig die Schule besucht. Die Schulen oder Landkreise folgen hier ihren eigenen Traditionen und irgendwann einmal getroffenen Setzungen. Und das alles unter dem Schein der Objektivität.

Zusammenfassung

Die Schullaufbahnentscheidungen in Bayern basieren auf Noten, die weder objektiv sind noch allgemein noch sonstigen Testgütekriterien entsprechen. Und sie erzielen nicht die erwünschte Homogenität. Lassen wir dies noch einmal den Aktionsrat Bildung in einem seiner Jahresgutachten formulieren:

Es entsprechen die von den Lehrkräften ausgesprochenen Übergangsempfehlungen für die weiterführenden Schulen zu weiten Teilen nicht den in IGLU repräsentativ und standardisiert gemessenen Leistungen in für den Übertritt relevanten Kompetenzen im Lesen und in Mathematik. Lehrkräfte verfügen nicht über solche „objektiven Kompetenztests“, sondern sind bis heute auf „Testergebnisse ihrer Klassenarbeiten“ zur Leistungsmessung angewiesen…
Viele Untersuchungen belegen, dass Noten die tatsächliche Fachleistung oft nicht widerspiegeln und dass Noten nicht vergleichbar sind (vgl. Ingenkamp 1993; Rheinberg 2001; Schrader/Helmke 2001; Thiel/Valtin 2002; Bos u. a. 2004b). (Blossfeld 2007, 49f)

Und auch Nikolaus Franks Fazit lässt keine Zweifel:

Letztendlich sind auch in Bayern die Unterschiede in den Übertrittsberechtigungen von der Grundschule in Realschule oder Gymnasium so minimal (ca. eine Drittel Notenstufe), dass es kein Diagnoseinstrumentarium gibt, das diese geringen Leistungsunterschiede kausal oder prognostisch irgendwie seriös erfassen könnte. Es ist doch eher anzunehmen, dass die Übertrittsentscheidungen gerade zwischen Realschule und Gymnasium noch viel häufiger als bei der Hauptschule von Zufallsfaktoren […] geprägt sind. Der Intelligenzfaktor scheint aber bei dieser Selektion eine ganz geringe Rolle zu spielen. (Frank 2012, S. 238)

Es fließen also sehr viele Zufälligkeiten, Setzungen, Traditionen und subjektive Komponenten in eine Schulnote ein, so dass die zweite Stelle hinter dem Komma der blanke Hohn ist und die Wirklichkeit verschleiert. Und das alles als Grundlage für eine Laufbahnempfehlung mit individuell weit reichenden Folgen!

Literatur

Autorengruppe Bildungsberichterstattung (2020). Bildung in Deutschland 2020. Ein indikatorengestützter Bericht mit einer Analyse zu Bildung in einer digitalisierten Welt. KMK (Hg)

Blossfeld, H.-P. (2007). Bildungsgerechtigkeit (Aktionsrat Bildung: Jahresgutachten, Bd. 2007, 1. Aufl). Wiesbaden: VS, Verl. für Sozialwiss.

Helbig, M. & Morar, T. (2017). Warum Lehrkräfte sozial ungleich bewerten. Ein Plädoyer für die Etablierung tertiärer Herkunftseffekte im werterwartungstheoretischen Standardmodell der Bildungsforschung. WZB Discussion Paper (005).

Frank, Nikolaus (2012): Intelligenz, Sozialschicht und Schulerfolg. Zugl.: Augsburg, Univ., Habil.-Schr., 2012. Aachen: Shaker (Berichte aus der Pädagogik).

Zu Nikolaus Frank gibt es in diesem Blog einen speziellen Beitrag: Faktencheck #14: Intelligenz und Schulerfolg

Kahneman, D., Sibony, O., Sunstein, C. (2021). Noise. A Flaw in Human Judgement. London: Harper Collins.

Maaz, K., Baeriswyl, F. & Trautwein, U. (2011, 14. Dezember). Herkunft zensiert? Leistungsdiagnostik und soziale Ungleichheiten in der Schule (Vodafone Stiftung Deutschland, Hrsg.).

Maaz, K. & Nagy, G. (2010). Der Übergang von der Grundschule in die weiterführenden Schulen des Sekundarschulsystems: Definition, Spezifikation und Quantifizierung primärer und sekundärer Herkunftseffekte. In K. Maaz, J. Baumert, C. Gresch & N. McElvany (Hrsg.), Der Übergang von der Grundschule in die weiterführende Schule. Leistungsgerechtigkeit und regionale, soziale und ethnisch-kulturelle Disparitäten (Bildung Ideen zünden!, Bd. 34, S. 151–180). Bonn: Bundesministerium für Bildung und Forschung (BMBF) Referat Bildungsforschung.

Pohlmann-Rother, S. (2010). Die Herausbildung der Übergangsempfehlung am Ende der Grundschulzeit. Zeitschrift für Grundschulforschung 3 (2), 136–148.

Stubbe, T. C., Lorenz, J., Bos, W. & Kasper, D. (2016). Der Übergang von der Primar- in die Sekundarstufe. In H. Wendt, W. Bos, C. Selter, O. Köller, K. Schwippert & D. Kasper (Hrsg.), TIMSS 2015. Mathematische und naturwissenschaftliche Kompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich (S. 351–365). Münster: Waxmann.