Gast #12: Hattie über das, was nicht funktioniert

Der neuseeländische Bildungsforscher John C. Hattie hat 2009 Furore gemacht, als er seine umfangreiche Meta-Meta-Studie “Visible learning. A systhesis of over 800 meta-analyses relating to achievement” (1) veröffentlichte. Gleich einem Stein, der in den Teich geworfen wurde, breiteten sich die Wellen über – man muss es so sagen – die ganze Erde aus. In allen Kontinenten wurde die Hattiestudie diskutiert. Im Jahr 2012 legte er ein weiteres Buch nach, das die Erkenntnisse aus der großen Studie für den Unterricht konkretisierte: Visible learning for teachers. Maximizing impact on learning (2). Natürlich wurde auch die Frage der Übertragbarkeit der Erkenntnisse auf das deutsche Schulsystem (akademisch) gestritten. Für mich die beste Interpretation der Hattiestudie lieferten Steffens und Höfer (3). Ich habe mir hier mal die Mühe gemacht, die 150 wichtigsten von Hattie damals untersuchten Interventionen in einem Überblick zusammenzufassen. Außerdem findet sich in diesem Blog bereits die Erläuterung eines Buches von Hattie und Yates über das Lernen allgemein (4).

Was funktioniert in der Erziehung nicht?

John Hattie hat seine Themen konsequent weiterverfolgt und mittlerweile zwei kleinere Schriften verfasst. Die erste beschäftigt sich mit der Frage: Was funktioniert nicht in der (schulischen) Erziehung (5)? Die nächste mit der Frage: Was funktioniert am besten (6)?

Ausgangspunkt für Hattie ist der Lehrer und die Frage, wie dieser den Unterricht beeinflusst. Er zitiert immer wieder ein Ergebnis aus PISA 2009, welches zeigt, dass die Leistungsunterschiede zwischen den Schulen mit durchschnittlich 36 % weitaus weniger streuen als die innerhalb von Schulen (64 %).

Es geht ihm folglich darum, primär die Leistungen der einzelnen Lehrer zu verbessern, die Lehrer zu professionalisieren, und weniger um allgemein angesetzte und von oben herab diktierte Reformen für alle Schulen.

Standards allein helfen noch nicht!

Obwohl er das Setzen von Bildungsstandards für wichtig hält, hat Hattie ein Problem mit der Fokussierung auf Standardisierung. Sie könnte zu einer Fehlorientierung führen, weil es ja rein logisch niemals möglich ist, dass alle Schüler überdurchschnittlich abschneiden. Standardisierung hat also die zwangsläufige Konsequenz, dass es immer Schüler gibt, die unterhalb der Standards arbeiten und dass deshalb weiterhin Unzufriedenheiten mit dem Schulwesen bestehen. Oder in seinen Worten:

Thus, in any education system with standards that are set ‘just above the average’, it is highly unlikely that all students will gain the standard, as it is not possible for all students to be ‘above the average’.
Hence, the politics of standards and high achievement have an in-built failure system that results in many believing that, despite increased resources, the schools and teachers have still not delivered. (Hattie 2016, S. 3)

Gleichheit vor Exzellenz!

Den Nerv eines Teils der Diskussion in Deutschland, besonders in Bayern, bei der den Vertretern einer Schule für Alle immer wieder “Gleichmacherei” vorgeworfen wird, trifft Hattie mit dieser Argumentation. Das Hauptproblem einer Gesellschaft seien nicht die Spitzenleister, sondern sei die große Spanne zwischen der Spitzengruppe und den Jugendlichen am unteren Ende der Skala. Wer sich für die Exzellenz engagiert, verliert leicht die Aufgabe aus den Augen, dass es darum gehen muss, alle Schüler so zu unterrichten, dass sie sich verbessern.

The major problem is the large spread of scores between the top and bottom groups of students, and the solution to that relates to getting all students to improve their achievement. All students deserve at least a year’s progress for a year’s input, no matter where they start (although those starting behind will need much more than a year’s progress if the gap is to be reduced). It is more an equity than an excellence problem. (Hattie 2016, S. 5)

Im Folgenden beschreibt Hattie einige “Distraktoren”, die unsere Aufmerksamkeit von den echten und wichtigen Aufgaben ablenken können.

Ablenkung #1: Stelle die Eltern zufrieden

… indem du ihnen eine größere Auswahlmöglichkeit an Schulen und kleinere Klassen gibst.

Schulwahl

Wenn die Eltern die Möglichkeit haben, dann flieht die Mittelklasse weltweit aus den staatlichen Schulen in die privaten, die einen besseren Ruf haben und mehr Erfolg versprechen. In Hatties Augen sehen die Privatschulen besser aus, bzw. haben einen höheren sozio-ökonomischen Status und präsentieren sich in hellerem Licht, schneiden aber in den wichtigen Untersuchungen auch nicht besser ab als staatliche Einrichtungen. Außerdem gelte nach wie vor die Einsicht, dass die Leistungsstreuung der Lehrer innerhalb einer Schule im Schnitt größer ist als die zwischen Schulen, so dass auch in der bevorzugten Privatschule das Kind dem Unterricht einer weniger professionellen Lehrkraft ausgeliefert sein könnte.

When students’ prior achievement or socioeconomic background is considered, however, the evidence shows little difference in achievement between private and public schools in many systems (OECD 2014: 409). Of course, private schools promote the brand that they have better teachers, smaller class sizes, better equipment, more extra-curricular activities – and this is a very successful script for the politics of distraction because private schools can rarely show they have better outcomes (especially when prior incoming achievement is taken into account). (Hattie 2016, S. 10)

Klassengröße

Die Eltern fragen häufig auch nach der Klassengröße und gehen davon aus, dass ihr Kind in kleineren Klassen besser gefördert wird. Für Hattie ist das ein Irrtum, den er in seiner umfangreichen Studie widerlegt zu haben glaubt. Hier rangiert der Effekt kleinerer Klassen auf dem Rang 113 mit einer Effektstärke von 0.21. Dabei muss man wissen, dass für Hattie die richtig wirksamen Maßnahmen erst bei einer Effektstärke von 0.40 beginnen.

Warum hat die Klassengröße so eine geringe Auswirkung auf den Lernerfolg der Kinder? Weil die Lehrer, so Hatties Beobachtung, mit kleineren Klassen nicht richtig etwas anfangen können; sie stellen ihren Unterricht nicht um.

Reducing class sizes is an innovation that certainly appeases parents, teachers and school leaders. Parents see reducing class size as a proxy for more attention being paid to their children. […]
The evidence from the many meta-analyses on reducing class size shows a positive but small effect. Thus, the major question needs to be, ‘Why is this effect so small?’ The answer seems to be that teachers rarely change how they teach when they move from larger to smaller classes. (…)
Maybe if they changed how they teach to make the most of having fewer students, the effect would be larger. But they do not. (Hattie 2016, S. 10)

Ablenkung #2: Verbessere die Infrastruktur

… durch neue Lehrpläne, striktere Standards, mehr Tests und alternative Schulbauten.

 Standards und Lehrpläne

Zur Gefahr der Fixierung auf Bildungsstandards wurde weiter oben bereits etwas gesagt. Nun hat Hattie auch seine Schwierigkeiten in Bezug auf Reformen, die über Curricula eingeführt werden sollen. Lehrpläne sind gut und wichtig, aber noch nicht ausreichend. Sie verführen zu einer verallgemeinernden Blickweise auf die Schülerschaft und leiten nicht an zu einer individualisierten Betrachtung des einzelnen Schülers und seiner Lernhemmnisse und -fortschritte.

We need more sophisticated diagnostic tools to help teachers ascertain each student’s recent successes and work out the best way for them to progress to the next level. A one-size-fits-all approach does not work. (Hattie 2016, S. 13)

Außerdem verführen Lehrpläne die Lehrkräfte zu einer Abhakkultur: Hauptsache, das Thema wurde durchgenommen und die Schüler haben im Test die richtigen Antworten gegeben. Hattie propagiert dagegen immer wieder die Figur von Oberflächenlernen und tiefem Denken. Dazu verwendet er die SOLO-Taxonomie von Biggs and Tang.

Derlei Taxonomien lernt jeder Lehramtsstudent in Deutschland kennen. Ob er/sie aber in der Praxis anwendet – aufgrund der Stofffülle überhaupt die Zeit dazu hätte -, steht auf einem anderen Blatt Papier.

Tests

Gegen die häufigste Verwendung von Tests als bloße Feststellung des Lernstands setzt Hattie die Aufforderung, Lernkontrollen wesentlich zu diagnostischen Zwecken einzusetzen. Dies hat er in seiner Studie die “formative Evaluation” genannt und darin eine sehr hohe Effektstärke von 0.90 gesehen. Hier geht es nicht um die Benotung von Schülern, sondern um die Selbsterkenntnis von Lehrern über das, was ihr Unterricht bewirkt oder versäumt hat.

The major purpose of assessment in schools, however, should be to provide interpretative information to teachers and school leaders about their impact so that they have the best information possible about where to go next in the teaching process.
Instead, we drop tests on schools like ‘precision bombs’. We see the purpose of testing as informing the student, not the teacher, how to change and adapt, and we create tests, not reports, first. Until we see tests as aids to enhance teaching and learning and not primarily as thermometers of how much a student knows now, on this day, on this test, then developing more tests will add little and will remain an expensive distraction. (Hattie 2016, S. 16)

Neue Schulbauten

Auch hierzulande versprechen sich die Verantwortlichen und Schulträger neue Impulse auf den Unterricht durch neue Schulgebäude, zum Beispiel nach dem Konzept der “Lernlandschaften”. Hattie verweist darauf, dass solche äußeren Maßnahmen – ähnlich wie die Reduzierung der Klassengröße – sich genau dann nicht positiv in den Lernerfolg der Schüler ummünzen lassen, wenn die Lehrer nicht wirklich etwas damit anzufangen wissen. Ehe man also solche neuen Gebäude hinstellt, muss man die Lehrkräfte zu neuem Unterrichten befähigen – “Offener Unterricht für Dummies”…

Governments love infrastructure – and especially love to build new buildings: they can see the effects of their largesse; they can open them with fanfare; and the buildings can be named after someone important (and maybe after the person who funded the largesse). New buildings are particularly promoted when they are different: lots of glass, no walls or doors, for example.
Yet there are so many studies and metaanalyses that show that changing the shape of buildings does not lead to teachers teaching differently. […]
Too often, however, many of these newer configurations are missed opportunities because there has been no prior investment in working with teachers to show them how they can teach differently and effectively in these spaces. I have long argued that there should be manuals of advice (How to Teach in Open Spaces for Dummies, for example) so that each school does not first welcome the space and then decide what to do with it. (Hattie 2016, S. 16–17)

Ablenkung #3: Fix the students

… mehr bessere Schüler, am besten schon durch entsprechenden Vorschulunterricht

Vorschulen

Unterricht vor Beginn der eigentlichen Schule kann sich positiv auswirken – wir hatten das in diesem Blog an der Studie über die Montessorivorschulen gesehen. In seiner großen Metastudie hat Hattie dem vorschulischen Unterricht eine Effektstärke von 0.45 zuerkannt; das heißt, er ist in einem begrenzten Maß bis in die Grundschule hinein wirkungsvoll. Aber darüber hinaus verlieren sich die Unterschiede:

During a child’s first five years, there is remarkable brain development. They can learn so much, and there are so many opportunities to enhance their learning. Thus, there has been a focus in many systems on providing early childhood education systems. Many countries are investing so much in these early years that we should be marvelling at children’s increased readiness to learn reading and number skills when they start school. Alas, there are metaanalyses that show that by the age of eight it is hard to detect who did and did not have pre-school education (Nelson et al. 2003). (Hattie 2016, S. 19)

Schüler etikettieren

Hattie stellt eine Zunahme von Defizit-Diagnosen in seinem eigenen Staat Victoria fest – z.B. von Autismus und Asperger in drei Jahren um 340 %; ähnlich in den USA (um 650% innerhalb von 10 Jahren!). In einem weniger starken Ausmaß erkennen wir auch eine Zunahme von Kindern mit sonderpädagogischem Förderbedarf in Deutschland. Wie kommt dieser Anstieg zustande? Es ist denkbar, dass sich die Diagnostik verfeinert und verbessert hat. Es kann aber auch sein, dass dahinter zwei andere Ursachen stecken: Zum einen hat eine Diagnose von SPF in der Regel eine Erhöhung von Fördergeldern zur Folge; zum anderen kann man von den Schwächen des Unterrichts ablenken und sich mit den Schwächen des Schülers als Lernhindernis rechtfertigen.

Although diagnostic tests may have improved, it is hard to believe that these major increases in incidence are real. One potential reason for the increase might be parents’ (and teachers’) desire to seek an explanation for ‘unusual’ behaviours and the medical and pharmaceutical professions’ ready provision of answers (and drugs). Another potential reason for the spike might be the extra funding that is tied to students who are labelled as autistic.
This is not to insinuate that ADHD and autism are not real; they are. Instead, I believe that the massive increase in the frequency of these labels points to a potential cultural problem: students are being diagnosed and labelled primarily for financial and accountability reasons rather than for the enactment of appropriate educational interventions. (Hattie 2016, S. 19–20)

Sitzenbleiben

Trotz überwältigender Erkenntnisse zur Nutzlosigkeit des Sitzenbleibens hält sich diese Methode der Selektion noch hartnäckig und wird zum Beispiel vonseiten des bayerischen Kultusministeriums als “Förderung” (miss)verstanden und als Argument gegen eine Gemeinschaftsschule gewendet.

„Die generelle Abschaffung des Klassenwiederholens ist pädagogisch nicht zielführend“ (Ablehnungsbescheid an die Stadt Arzberg vom Juli 2014, Seite 12).

Die Abschaffung des Klassenwiederholens widerspricht jedoch dem bayerischen Bildungsgrundsatz von ‚Fördern und Fordern‘” (Ablehnungsbescheid an den Markt Donaustauf vom Mai 2015, Seite 4).

In der Hattiestudie findet sich das Sitzenbleiben auf dem drittletzten Rang mit einer Effektstärke von minus 0.13! Das heißt, Klassenwiederholung ist kontraproduktiv – und teuer. Es findet sich entsprechend auch kaum eine Studie, die hier irgendeinen positiven Effekt sieht.

A commonly recommended solution for students who are not achieving is to hold them back a year. It seems obvious: if you cannot meet the standards for entering the next grade level, it is better to hold back and repeat the previous year. This is one of the few areas in education where it is difficult to find studies that show a positive effect on achievement. The research shows that being retained one year almost doubles a student’s likelihood of dropping out, while being held back twice almost guarantees it (Hattie 2009). (Hattie 2016, S. 20)

Hattie wird an diesem Punkt ganz deutlich: Du hattest ihn doch schon ein Jahr. Ein weiteres Jahr desselben Zeugs wird dem Schüler nicht weiterhelfen!

But you had him for a year, and you failed! What this student does not need is more of the same kind of teaching, more of the same kind of activities, more of the same kind of assessment, more of the same kind of peer interactions. What this student needs is different teaching, different activities, different assessments and different peer interactions. (Hattie 2016, S. 20)

Ablenkung #4: Wenn nur die Schulen

… mehr Geld und mehr Autonomie hätten!

John Hattie nimmt einen bemerkenswerten Hunger nach autonomen Schulen wahr: Charterschulen, profitorientierte Schulen, Leuchtturmschulen, freie Schulen, Akademien usw. Alles, nur keine “normale” staatliche Schule! Aber dies sieht er als Fehlorientierung und greift er wieder auf ein Kernergebnis der PISA-Studien zurück: Die Schülerleistungen variieren innerhalb von Schulen stärker als zwischen unterschiedlichen Schulen. Es bringt also wenig bis nichts, auf andere Schulformen zu setzen. Insbesondere verweist er auf die minimale Effektstärke von Charterschulen, die derzeit in den USA heftig diskutiert werden. Nach seiner Studie beträgt sie gerade mal 0.07.

There is a remarkable hunger to create charter schools, for-profit schools, lighthouse schools, free schools, academies, public–private schools – anything other than a public school. But, given that the variance in student achievement between schools is small relative to variance within schools, it is folly to believe that a solution lies in different forms of schools.
These new forms of schools usually start with fanfare, with self-selected staff (and sometimes selected students) and are sought by parents who want ‘something better’. Indeed, there is evidence there is a slight increase in achievement in these schools in the short term, but the long-term effects lead to no differences when compared with public schools. The effect of charter schools, for example, across three meta-analyses based on 246 studies is a minuscule .07 (Hattie 2009). (Hattie 2016, S. 23)

Die Autonomie von Schulen und mehr Geld an sich sind noch kein Garanten für besseres Lernen. Es kommt immer darauf an, wofür die vermehrten Freiheiten und das Geld verwendet werden.

So, autonomy about some factors in schooling can have a positive effect (although the effects on achievement are still small). Relative to other impacts on student learning, school autonomy is not the place to invest lots of effort. (Hattie 2016, S. 24)

Mit Geld kann man sich kein besseres Schulsystem kaufen; Hattie zitiert dazu auch aus der PISA-Studie:

A 2012 OECD report on money and achievement concluded that ‘Money alone can’t buy a good education system. … Among wealthier economies; those that prioritise the quality of teachers over smaller classes tend to show better performance. When it comes to money and education, the question isn’t how much? but rather for what?’ (OECD 2012: 4). (Hattie 2016, S. 25)

Ablenkung #5: Wenn nur die Lehrer

… besser ausgebildet, nach ihrer Leistung bezahlt und neue Technologien verwenden würden!

Nach Hattie ist die entscheidende Stelle in der Lehrerbildung nicht die Universität, sondern das erste Praxisjahr in Vollzeit, wenn die jungen Lehrer vor Ort ihre ersten Erfahrungen im Unterricht machen und dann auch theoretisch verarbeiten. Hier bringt er sein Motto an: Teaching ist to DIE for. Die Buchstaben DIE stehen für den von ihm stark propagierten Dreischritt von Diagnose, Intervention und Evaluation.

Bei der Lehrerbezahlung schlägt Hattie einen Wechsel der Blickrichtung vor: Die Lehrer sollten nicht nach performance, sondern nach expertise bezahlt werden. Bezahlung nach Leistung ist heftig umstritten, wenn man sich dabei an den Leistungen der Schüler orientiert, wie es in den USA häufig versucht wurde und wird. Mit Expertise meint Hattie, dass man es auch finanziell honorieren soll, wenn sich die Lehrer so fortbilden, dass die eigene Schule einen Nutzen davon hat.

Perhaps the solution is to change direction and introduce better pay for increased expertise rather than for performance. That is, when teachers attain additional expertise (such as studying to become a learning-difficulties coach, assessment coach or literacy coach) and take responsibility for improving the skills of their fellow teachers within a school, they could receive additional payment. (Hattie 2016, S. 30)

Persönliche Anmerkung: Eine Bezahlung nach Schularten, wie bei uns in Deutschland immer noch üblich, würde bei Hattie vermutlich heftige Verwunderung hervorrufen. Gerade weil dieses mit dem Grad der Wissenschaftlichkeit im Universitätsstudium begründet wird, das doch laut Hattie keine wesentliche Rolle spielt: In seiner großen Studie rangieren die Fachkenntnisse der Lehrkraft ganz weit hinten (Rang 136 mit einer Effektstärke von 0.09)!

Wie ist es mit dem Einsatz von neuen Technologien? Aufgrund seiner großangelegten Studie ist Hattie an diesem Punkt skeptisch. Hier ein Blick auf die Effektstärken von Technologie im Unterricht:

Aber er will es nicht ausschließen, dass wir gerade in diesem letzten Punkt dazulernen. Wichtig sei auf jeden Fall nicht die Breite des Wissens, sondern seine Tiefe. Und der Weg dahin führt nicht über die technologisch unterstützte Aufnahme von Wissensinhalten, sondern über die Verwendung neuer Technologien zur Selbstkonstruktion von Wissen.

It will only be when we move from using technology as a newer form of knowledge consumption to seeing technology as an aid to teaching for enhanced knowledge production that there will be an effect. (Hattie 2016, S. 31)

Zum Schluss

Am Ende seiner kurzen Schrift stellt Hattie noch einmal die populären Irrtümer zur Verbesserung des Schulsystems in einer Tabelle zusammen. Sie zeigt, dass seine Liste von Maßnahmen inzwischen länger geworden ist als die von 2009. Was bleibt, ist – um nur ein Beispiel zu nennen – immer noch die hochgradige Nutzlosigkeit von Sitzenbleiben (retention).

Literatur

(1) Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. London: Routledge.

(2) Hattie, J. (2012). Visible learning for teachers. Maximizing impact on learning. London: Routledge.

(3) Steffens, U. & Höfer, D. (2016). Lernen nach Hattie. Wie gelingt guter Unterricht? (1. Auflage). Weinheim: Beltz, J.

(4) Hattie, J. & Yates, G. C. R. (2014). Visible learning and the science of how we learn (1. publ). London: Routledge.

(5) Hattie, J. (2016). What doesn’t work In education. The politics of distraction (Open ideas, Updated, January 2016). London [England]: Pearson; Canadian Electronic Library. Download.

(6) Hattie, J. (2016). What works best in education. The politics of collaborative expertise (Open ideas at Pearson). London [England]: Pearson; Canadian Electronic Library. Im Internet hier zu finden.