Faktencheck #41: Die Elementstudie revisited

Gerd Möller, der in diesem Blog schon einige substanzielle Beiträge geschrieben hat, hat mir eine sehr hilfreiche Analyse der verschiedenen Interpretationen der Elementstudie zukommen lassen. Damit lässt sich gut erklären, wie die Deutung zustande kam, deren sich der Bayerische Realschullehrerverband bemächtigte und in seiner eigenen Zuspitzung dann unters Volk warf. Wie immer verhilft hier eine nüchterne Betrachtung zu einem vertieften Verständnis. Möllers Artikel ist zuerst in der SchulVerwaltung NRW (2009) erschienen.

Eine Studie – Zwei gegensätzliche Befunde

Die Ergebnisse der Berliner Element-Studie auf dem Prüfstand

Ein in der empirischen Bildungsforschung bisher einmaliger Vorfall: Untersuchungsbefunde auf den gleichen Erhebungsdaten von zwei renommierten Bildungsforschern widersprechen sich eklatant. Um den Skeptikern von empirischen Untersuchungen gleich den Wind aus den Segeln zu nehmen: dies ist kein Beleg dafür, dass es sich hierbei um beliebige Interpretationen handelt.

Gerd Möller, Ltd. Min.Rat a.D.

Bochum

April 2008:

Eine Arbeitsgruppe unter Leitung von Prof. Lehmann (Humboldt-Universität, Berlin) hat eine 2003 vom damaligen Senator für Schulwesen in Auftrag gegebene Studie vorgelegt. Anhand einer empirischen Untersuchung sollte geklärt werden, welcher Personenkreis von der Möglichkeit eines Frühübergangs nach der 4. Klasse Gebrauch macht. Gleichzeitig sollte die Kompetenzentwicklung von Schülerinnen und Schülern der 5. und 6. Jahrgangsstufe an sechsjährigen Grundschulen und grundständigen Gymnasien ab der 5. Jahrgangsstufe verglichen werden.

Juni 2009:

Eine Forschergruppe um Prof. Baumert (Max-Planck-Institut, Berlin) hat eine Reanalyse der exakt gleichen Erhebungsdaten der Element-Studie veröffentlicht, die in wesentlichen Aussagen dabei zu völlig anderen Ergebnissen kam als sie von der Humboldt-Arbeitsgruppe von Prof. Lehmann vorgelegt bzw. interpretiert wurde.

Beliebige Interpretationen?

Wissenschaftliche Befunde und deren Interpretationen muss man stets im Kontext von professionell gewählten methodischen Vorgehensweisen (z.B. Hintergrundmodelle und statische Verfahren) und von zu Grunde liegenden Daten und belegbaren Fakten beurteilen. Die Bedeutung der widersprüchlichen Ergebnisse der Element-Studie geht weit über diesen Spezialfall in Berlin hinaus. Er wird die Dauerdebatte in Deutschland um die Schulstruktur und die Vor- und Nachteile eines längeren gemeinsamen Lernens neu entfachen.

Zentrale Befunde vs. Ergebnisse der Reanalyse

Zentrale Befunde und öffentliche Äußerungen von Prof. Lehmann zur Element-Studie kontrastieren mit den Ergebnissen der Reanalyse der Arbeitsgruppe von Prof. Baumert. Um die Entwicklung der Lese- und Mathematikkompetenz in den Jahrgängen 4 bis 6 zu analysieren, führte die Forschungsgruppe Lehmann in den Jahren 2003 bis 2005 eine repräsentative Stichprobe als Längsschnitterhebung zu drei Messzeitpunkten durch (Ende der 4., 5. und 6. Klasse) durch. Beteiligt waren rund 5.000 Schülerinnen und Schüler.

Dabei wurde die Leistungsentwicklung der großen Mehrheit der Kinder, die in Berlin bis zum Ende der 6. Klasse die Grundschule besuchen, mit einer Minderheit (7%) verglichen, die bereits nach der 4. Klasse auf ein grundständiges Gymnasium übergegangen sind.

Zur Versachlichung des Themas werde ich daher im Folgenden die unterschiedlichen Befunde von Baumert und Lehmann an zwei Hauptergebnissen darstellen und kritisch bewerten.  . Eines dieser Ergebnisse wird von beiden Autorengruppen geteilt, das andere wird von der „Baumert-Gruppe“ angezweifelt und genau entgegengesetzt berichtet:

Das unstrittige Ergebnis

In Berlin existiert zwar eine regelhafte 6-jährige Grundschule, daneben besuchen aber ca. 7% eines Altersjahrgangs grundständige Gymnasien mit besonderen Programmen. Darunter sind altsprachliche und bilinguale Schulen und solche mit einem musischen und sportlichen Schwerpunkt, aber auch sogenannte Schnellläuferklassen.

Es ist unstrittig, dass es sich bei den 7% an den grundständigen Gymnasien um eine hoch ausgelesene Gruppe von leistungsstarken Schülerinnen und Schülern aus besonders bildungsorientierten Elternhäusern handelt. Die Element-Studie belegt dies im Bericht von 2008 mit den Daten zur Eingangsselektivität bezüglich der Leistungen und sozialen Herkunft eindrucksvoll: Bei einem Vergleich der Leistungsentwicklung von der 4. bis zur 6. Klasse von Kindern aus der Grundschule und dem Gymnasium muss man stets im Auge behalten, dass 93% (erhoben als Stichprobe) eines Jahrgangs mit einer Positivauslese von 7% (Kompletterhebung) verglichen werden. Dahinter steht das Problem, zwischen Selektionseffekten und institutionellen Effekten zu unterscheiden:

Welche Leistungsunterschiede existieren auf Grund der unterschiedlichen Gruppenzusammensetzungen und welche Leistungsunterschiede kommen durch das Lernen in der jeweiligen Schulform hinzu?

Durch Kontrolle der Eingangsselektivität – Einbeziehen von Hintergrundvariablen wie z.B. Eingangsleistung, sozioökonomischer Status, kognitive Grundfähigkeiten – haben beide Autorengruppen versucht, eine Differenzierung zwischen den beiden Effekten zu erreichen. Im methodischen Vorgehen unterscheiden sich aber beide Forschergruppen deutlich. Hier dürfte die Ursache für die konträren Aussagen zu finden sein (s.u. „Das strittige Ergebnis“). Doch zunächst zu den unstrittigen deskriptiven Ergebnissen in den beiden untersuchten Domänen:

• Lesekompetenz

In der Lesekompetenz zeigen sich zwischen der 6-jährigen Grundschule und dem grundständigen Gymnasium erhebliche Niveauunterschiede. Die Gymnasiasten erreichen am Ende der Klasse 4 im Durchschnitt knapp 114 Leistungspunkte, die die Grundschüler im Mittelwert auch am Ende der Klasse 6 nicht erreichen. Dies belegt noch einmal die hohe Eingangsselektivität der grundständigen Gymnasien, aber nicht die Wirkung der Institution, die man nur aus dem Lernzuwachs über die zwei Schuljahre ableiten kann. In der Grundschule steigt die durchschnittliche Leseleistung um 12,3 Skalenpunkte, im Gymnasium um 9,6 Punkte.

Lehman interpretiert dies im Element-Bericht (S. 17) so: „Es gelingt der Grundschule also, den Abstand zu den grundständigen Gymnasien etwas zu verringern und zugleich zu verhindern, dass sich die interne Leistungsschere zwischen stärkeren und Schwächeren Schülern insgesamt weiter öffnet.“  Und auf Seite 20 ist zu lesen:

„Dass in der 6. Klasse verglichen mit der 5. Klasse merklich weniger der besonders leistungsschwachen Schüler zu finden sind, kann als erfolgreiche Umsetzung kompensatorischer, auf Ausgleich früher Leistungsunterschiede gerichteter Zielsetzungen der Grundschularbeit interpretiert werden.“

• Mathematik

Auch in Mathematik wird die massive Eingangsselektion deutlich: Die Gymnasiasten erreichen am Ende der Klasse 4 etwa die Werte, die die Grundschüler erst am Ende der Klasse 6 erreichen. Aber die Leistungszuwächse sind in beiden Systemen wieder annähernd gleich, allerdings mit einem leichten Vorsprung der Gymnasiasten mit 20,5 Punkten Lernzuwachs (Grundschule: 18,4 Punkte). Zusammengefasst kann man diese Ergebnisse wie folgt beschreiben:

Grundschulen und Gymnasien unterscheiden sich erwartungsgemäß massiv bei den fachlichen Leistungen durch ihre Eingangsselektivität. In beiden Schulformen werden aber in beiden Leistungsbereichen akzeptable Lernfortschritte erzielt, die mal in der einen und mal in deren Schulform etwas höher ausfallen. Ein besonderer Fördereffekt ist in keiner der beiden Schulformen erkennbar.

Zu ergänzen ist hier, dass es der Grundschule gelingt, im unteren Leistungsbereich eine bemerkenswerte Förderung zu erreichen. Dieser Aufgabe muss sich das Gymnasium mit 7% des Altersjahrgangs gar nicht stellen.

Das strittige Ergebnis

 Neben der Frage, welche durchschnittlichen Leistungszuwächse in den beiden unterschiedlichen Schulformen erzielt werden, ist die Frage nach der differenziellen Lernentwicklung von besonderer Bedeutung. Hierzu werden in der Element-Studie die Leistungsentwicklungen von Schülerinnen und Schüler verglichen, die am Ende der 4. Klasse die gleichen Lernstände erreicht haben. Aus einer Grafik unterschiedlicher Lernzuwachskurven (S. 23) leiten die Autoren der Studie ab, dass sich bei den Gymnasiasten über das gesamte Leistungsspektrum stärkere Lernzuwächse einstellen als bei den Grundschülern. Sowohl für Lesen als auch für Mathematik stellen sie auf S. 38 fest:

„Unabhängig von der Lernausgangslage werden an den grundständigen Gymnasien jeweils deutlich höhere Lernfortschritte erzielt. Dieser Befund beschränke sich „de facto weitgehend auf den oberen Teil des Leistungsspektrums“.

Auf der Seite 25 relativieren die Autoren allerdings selber ihren Befund:

 „Die Frage jedoch, welche Mechanismen hinter den rascheren Lernfortschritten an den Gymnasien stehen – wirksame familiäre Unterstützung, günstigere allgemeine Lernvoraussetzungen, eine vorteilhafte Zusammensetzung der Lerngruppen oder ein anspruchsvolleres Entwicklungsmilieu -, ist damit noch nicht beantwortet“.

Sie verweisen auf noch ausstehende Detailuntersuchungen hierzu. In verschiedenen Interviews interpretiert  Lehmann diesen Befund dann weniger zurückhaltend. So führt er in der WELT vom 3.4.2008 noch vor der Veröffentlichung der Studie aus:

„Wer also eine 6-jährige Grundschule anrät, nimmt nach allem was wir wissen, unter den gegenwärtigen Verhältnissen billigend in Kauf, dass leistungsstarke Kinder langsamer lernen.“

Die öffentlichen Äußerungen von Lehmann haben einen bitteren ideologischen Beigeschmack, da sie zeitgleich mit der Ankündigung der Hamburgischen Bildungssenatorin zum Umbau der Grundschule auf sechs Jahre erfolgten.

Gegen diese Befunde und öffentlichen Verlautbarungen wurden schon kurz nach dem Erscheinen der Element-Studie in der wissenschaftlichen Community erhebliche methodische Bedenken erhoben. Es blieb in der Element-Studie nämlich völlig unberücksichtigt, ob die Vergleichsgruppen in ihren Lernvoraussetzungen und -möglichkeiten wirklich vergleichbar sind. Sollte es zu berücksichtigende Unterschiede geben, dann könnten diese die in der Element-Studie berichteten unterschiedlichen Lernentwicklungen als verdeckte Selektionseffekte und nicht als Fördereffekte einer Schulform erklären.

Die Arbeitsgruppe um Baumert hat genau an dieser Stelle mit einer eigenen statistischen Analyse auf der Basis der gleichen Daten der Element-Studie, aber mit komplexeren analytischen Verfahren angesetzt, um Selektionseffekte von Institutionseffekten sauber trennen zu können. Um wirklich vergleichbare Schülergruppen zu bekommen, haben sie in der Reanalyse die wichtigsten Kontext- und Persönlichkeitsmerkmale, die den Lernprozess beeinflussen könnten, statistisch kontrolliert.

Hierbei haben sie u.a. mit einem aufwändigen „Matching-Verfahren“ gearbeitet, das im Prinzip wie folgt funktioniert: Für jeden Schüler der hochselektiven Gruppe der insgesamt 1758 Gymnasiasten wurde unter den Grundschülern (Zufallsstichprobe von 3157 Schülern) ein „statistischer Zwilling“ gesucht, der in möglichst allen der folgenden Merkmale mit dem gymnasialen Zwilling übereinstimmt: Geschlecht, soziale Herkunft, Bildungsniveau der Eltern, Migrationsstatus, Mathematik- und Leseleistung am Ende der 4. Klasse. Obwohl es sich bei den Gymnasiasten fast ausschließlich um Schülerinnen und Schüler des oberen Leistungsbereichs handelt, gelang es für 1732 von 1758 Gymnasiasten entsprechende Zwillinge zu finden. Die so gewonnene Gruppe der „gematchten“ Grundschüler wird in ihrem Leistungsverlauf mit der Kontrollgruppe der Gymnasiasten verglichen. Selektionseffekte wurden durch das Verfahren ausgeschlossen, sodass auftretende Unterschiede in den Leistungsverläufen als Schulformeffekte identifiziert werden können.

Vergleicht man die so gebildeten beiden Gruppen bezüglich ihrer durchschnittlichen Leistungsentwicklung, stellt man fest, dass es zu keinem Zeitpunkt signifikante Unterschiede zwischen den Gymnasiasten und den so ausgewählten leistungsstarken Grundschülern gibt:

 „Diese Ergebnisse der Mittelwertvergleiche sind eindeutig: In keinem Leistungsbereich sind Förderwirkungen des grundständigen Gymnasiums nachweisbar.“ (Baumert u.a., S 210).

Auf Seite 211/212 heißt es weiter:

„Die Entwicklungskurven der Spitzenschüler verlaufen in der Grundschule und in der Unterstufe des grundständigen Gymnasiums parallel – und zwar nicht nur in Lesen, sondern …auch in der unterrichtsabhängigen Domäne Mathematik“.

Noch deutlicher grenzt sich die Baumert-Gruppe in ihrer Zusammenfassung von den Befunden der Element-Studie ab:

„Die Befunde sprechen gegen die Annahme, dass mit dem frühen Übergang auf ein grundständiges Gymnasium eine generelle Förderung…besonders leistungsfähiger Schülerinnen und Schüler erreicht wird“.

Fazit

 Die Reanlyse der Element-Daten durch die Forschungsgruppe um Jürgen Baumert hat gezeigt, dass wesentliche Aussagen der mit methodischen Mängeln behafteten Element-Studie einer kritischen Prüfung nicht standhalten:

Das häufig benutzte Argument, das längere gemeinsame Lernen in der sechsjährigen Grundschule sei hinderlich insbesondere für leistungsstarke Schülerinnen und Schüler, kann entgegen den Befunden der Lehmann-Gruppe als widerlegt – zumindest in Berlin – angesehen werden.

Einschränkend muss aber gesagt werden, dass man damit keine Schlüsse auf höhere Klassen ableiten kann. Aus anderen Studien ist bekannt, dass sich Leistungen von Gymnasiasten, Real- und Hauptschülern nach der Klasse 6 auseinander entwickeln. Es gibt auf der anderen Seite aber Befunde, die zeigen, dass ein frühes Aufteilen der Kinder auf getrennte Schulformen, die unterschiedliche Entwicklungsmilieus anbieten, soziale Ungleichheiten verstärken. Die Frage nach der richtigen Schulstruktur bleibt somit in Deutschland weiterhin eine offene politische Frage.

Literatur:

Rainer Lehmann u. Jenny Lenkeit (2008): ELEMENT. Abschlussbericht über die Untersuchungen 2003, 2004 und 2005 an Berliner Grundschulen und grundständigen Gymnasien. Humboldt Universität Berlin

Jürgen Baumert, Michael Becker, Marko Neumann, Roumiana Nikolova (2009): Frühübergang in ein grundständiges Gymnasium – Übergang in ein privilegiertes Entwicklungsmilieu? ersch. in:  Zeitschrift für Erziehungswissenschaft, Heft 2