Sichtweisen #38: What works may hurt!

„What works may hurt“ – so der Titel eines Buches von Yong Zhao, Professor an der School of Education (University of Kansas). Hans Brügelmann hat dieses Buch gelesen und findet seine Botschaft bemerkenswert. Im Folgenden zitiere ich aus Brügelmanns Rezension, die online erschienen ist.

[Gleich an dieser Stelle möchte ich auf eine Querverbindung hinweisen: Yong Zhaos Einsicht geht von der Beobachtung aus, dass menschliche Interventionen in komplexen Systemen stets Neben-, Fern- und Spätwirkungen haben können. Siehe dazu die beiden Blogbeiträge Komplexe Systeme verstehen und Systematische Fehlleistungen.]

Alle folgenden Zitate entstammen diesem Internet-Dokument und sind deshalb ohne Seitenangaben. Die Überschriften und die kurzen einleitenden Sätze sind von mir.

Hans Brügelmann. (2019). „Zu Risiken und Nebenwirkungen…“: Was nützt, kann auch schaden.

Kritik an den üblichen Blickrichtungen von Studien

Unterrichtskonzepte sind nicht immer und nicht für jede/n Schüler/in gleich passend. Dies ist eine Binsenweisheit, nur verlieren wir sie in der Hektik des Alltags oder in den Wirren pädagogischer – hin und wieder auch ideologischer – Auseinandersetzungen leicht aus den Augen.

Zhaos Hauptkritik: Bisher hat die Bildungsforschung nach den im Durchschnitt wirksamsten Programmen/ Methoden gesucht – gemessen an eng definierten Fachzielen. Stattdessen sollte sie untersuchen und berichten, unter welchen Bedingungen und für welche Gruppen einzelne Programme/ Methoden besonders ertragreich sind bzw. welche unerwünschten Nebenwirkungen sie jeweils haben – über die von den Entwicklern selbst angestrebten Ziele hinaus. Anders gesagt: Allgemeinurteile wie „gut“ oder „schlecht“ seien wenig hilfreich. Bildungspolitik und Schulpraxis brauchen stattdessen Informationen über Potenziale und Risiken von Interventionen, deren Entfaltung von der Umsetzung vor Ort abhängt und vom Kontext, in dem sie jeweils eingesetzt werden. (Hans Brügelmann 2019)

Warum „No Child Left Behind“ nicht fuktionierte

Programme wie No child left behind verfolgen durchaus ehrenwerte Absichten. Inzwischen ist bekannt, wie solch ein Schuss nach hinten losgehen kann. Was Yong Zhao als Schwachpunkte sieht, hat sich größtenteils bereits herumgesprochen:

Zhaos erstes Beispiel für eine naive Bildungsreform, die ohne Prüfung möglicher Nebenwirkungen in Gang gesetzt wurde, ist das 2002 in den USA initiierte Programm „No child left behind“ (NCLB), mit dessen Hilfe einerseits das Leistungsniveau im Lesen und in Mathematik insgesamt angehoben, andererseits die Kluft zwischen leistungsschwachen und leistungsstarken Schülerinnen geschlossen werden sollte (7 ff.).
Als Patentlösung für die genannten Probleme wurden folgende Maßnahmen gesetzlich verankert (9 ff.):
– an Lernfortschritte in Leistungstests gebundene Rechenschaftspflichten der Schulen („high-stakes tests“);
– freie Schulwahl für Schülerinnen bzw. ihre Eltern;
– Zulassung nur von empirisch bewährten Methoden und Programmen;
– fachliche Qualifikation von Lehrerinnen.
Obwohl einige Bundesstaaten die Anforderungen an die angestrebte „Proficiency“ senkten, um die Ziele leichter zu erreichen (11), wurden diese durchweg verfehlt. So war – gemessen an den parallel laufenden landesweiten NAEP-Leistungs-Tests – 2015 immer noch mehr als die Hälfte der Schüler/innen nicht „proficient“ und die Abstände zwischen den sozio-ökonomischen und kulturellen Gruppen konnten bei Weitem nicht geschlossen werden (12 ff.).
Stattdessen wurden erhebliche negative Nebenwirkungen der Maßnahmen festgestellt (15 ff):
· Verengung des Curriculums, vor allem in Schulen, die mit benachteiligte Schüler/innen arbeiteten;
· verbreitetes „Teaching to the test“ – ohne positive Effekte auf Testleistungen;
· Fokussierung des Unterrichts auf Schüler/innen, deren Leistungsentwicklung versprach, den Testdurchschnitt für die Lerngruppe am stärksten anzuheben;
· mehr Prüfungsangst bei den High-stakes-Tests;
· durch Konzentration auf kurzfristigen Testerfolg Verzicht auf bessere Förder-Alternativen.
Zhaos Fazit: „Zusammenfassend lässt sich sagen, dass NCLB eine totale Katastrophe war. Es hat die angestrebten Ziele nicht erreicht, selbst nicht in deren engster Definition: der Verringerung der Lücke in den Testergebnissen beim Lesen und Mathe zwischen benachteiligten Kindern und ihren privilegierten Kameraden. Aber es war äußerst wirksam dabei, unerwünschte Ergebnisse zu erzielen, die sich negativ auf Schüler, Lehrer, Bildungseinrichtungen und Kultur auswirkten. (…)
Die Antwort darauf, warum das Gesetz beim Erreichen des angestrebten Ergebnisses nicht wirksam war, ist ziemlich einfach: Seine Diagnose der Ursache der Leistungslücke war falsch. Die Kluft war eher das Ergebnis von Armut, Segregation, Rassismus und mangelnden Investitionen in die Bildung benachteiligter Menschen, anstatt unqualifizierter Erzieher/innen, die als unwillig und unfähig galten, Kinder gut zu unterrichten. Eine falsche Diagnose führte zu einer unwirksamen Behandlung.“ (21, 22) (Hans Brügelmann 2019)

Längst bekannte Schwächen auch kontrollierter Studien

Kontrollierte Studien können meist nur kurzfristige Effekte vergleichen (39), Stärken bzw. Schwächen nur in wenigen ausgewählten Zielen nachweisen (37) und sie erfassen nicht differenzielle Wirkungen in unterschiedlichen Kontexten oder auf verschiedene Gruppen (30). Diese Kritik ist nicht neu. Sie war schon seit Anfang der 1970er-Jahre in Kontroversen über – für den pädagogischen Bereich – angemessene Evaluationskonzepte diskutiert worden (vgl. House 1980; Elliott/Kushner 2007). (Hans Brügelmann 2019)

Wirkungen und Nebenwirkungen von Direct Instruction

Der Begriff der direct instruction ist bei uns nicht zuletzt durch die Hattiestudie bekannt geworden, die ihr eine relativ große Effektstärke von d = 0,59 zuschreibt. Sie kann aber auch Nebenwirkungen haben:

So berichtet Zhao Befunde aus Studien von Bonawitz u. a., Buchsbaum u. a., Dehn & Kuhn und Kapur, die zeigen, dass eine direkte Instruktion bei der raschen Vermittlung von Wissen im angezielten Leistungsbereich durchaus erfolgreich sein kann und gleichzeitig mit ungünstigen Auswirkungen auf exploratives und kreatives Verhalten und – vor allem längerfristig – beim Transfer auf neue Situationen zu rechnen ist (46, 51 f., 54.).
Zhaos Fazit: „DI kann in der Wissensvermittlung effektiv sein und gleichzeitig Kreativität und Neugierde unterdrücken.“ (54) (Hans Brügelmann 2019)

Der zu enge Blickwinkel von PISA

Brügelmann beschreibt, dass und wie Bildungspolitiker/innen und Pädagog/innen die östlichen Tigerstaaten als neues Mekka für sich entdeckt haben und zwecks Methodenübernahme dorthin pilgerten. Die Kritik, die Yong Zhao daran übt, ist nicht neu, aber passt wundervoll in seinen Kontext:

Bei PISA und vielen anderen Studien zur Qualität von Bildungssystemen oder zu konkreten Konzepten sind die Schülerleistungen in wenigen Fächern und innerhalb dieses engen Kanons nur in ausgewählten, weil leicht testbaren Kompetenzbereichen untersucht worden. Persönlichkeitsentwicklung, Sozialverhalten, Neugier, Kreativität, Selbstvertrauen, Lebensfreude und viele andere Ziele geraten dabei aus dem Blick. (Hans Brügelmann 2019)

Fazit zu PISA

Zhaos Fazit: „Die ostasiatischen Systeme sind in der Tat sehr effektiv, um in einer begrenzten Anzahl von Fächern hervorragende Testergebnisse zu erzielen. Die herausragenden Leistungen bei Tests gehen aber einher mit weniger Selbstvertrauen, weniger Zufriedenheit und weniger Kreativität, und weniger Vielfalt an Talenten.“ (74) (Hans Brügelmann 2019)

Kritik an der Hattiestudie

Ich oute mich hier als ein Praktiker, der die Hattiestudie zuweilen nicht nur als Anregung, sondern auch als Rezeptbuch für guten Unterricht verstanden hat. Ich habe die Aussagen in Hatties Büchern gern auf meine berufliche Praxis übertragen (mach ich immer noch). Es gab ja von Anfang an mal laute, mal leise Kritik an „Visible Learning“, die man auch kennen sollte. Yong Zhao fügt einen wichtigen Punkt aus systemischer Sicht hinzu, der mir weiter zu denken gibt.

Hatties 2008 veröffentlichte Ranglisten „erfolgreicher“ Methoden haben die bildungspolitischen und didaktischen Diskussionen der letzten Jahre in vielen Ländern maßgeblich bestimmt. Wie bei PISA benennt Zhao auch hier eine Reihe kritischer Punkte im methodischen Vorgehen (76 f.), konzentriert sich dann aber auf ein grundsätzlicheres Problem: die Ranglisten „Erfolg“ versprechender Methoden und Bedingungen seien wegen der breiten Palette verschiedener Ziele, deren Verhältnis zueinander zudem sehr unterschiedlich aussehen kann (81), nur wenig aussagekräftig.
Zhao benennt mit Analogien aus der Ökologie vier sehr unterschiedliche Ziel-Konstellationen (79 ff.):

– Konkurrenz bedeutet, dass die Nutzung der knappen Ressourcen einer Dimension zu Schwächen in einer anderen führt: bei NCLB ging schon die zeitliche Konzentration auf die getesteten Schwerpunkte zu Lasten von „Nebenfächern“ wie Sozialkunde, Literatur oder Musik.

– Als Plünderung bezeichnet er die Unverträglichkeit von zwei Zielen: Wer hohe fachliche Leistungen in standardisierten Test favorisiert, nimmt in Kauf, dass die Kreativität der Betroffenen leidet.

– Ein verträgliches Nebeneinander liegt vor, wenn eine Stärke von einer anderen profitiert, ohne dass dies auch umgekehrt gilt: Hartnäckigkeit und Ausdauer fördern eine höhere fachliche Kompetenz, aber diese wirkt sich nicht auf die genannten Einstellungen aus.

– Als Beispiel für eine wechselseitige Stärkung nennt Zhao Selbstbestimmung und Wohlbefinden. Die ersten beiden Situationen sind charakteristisch für negative Nebenwirkungen, die bei der Beurteilung von „erfolgreichen“ Interventionen bedacht werden müssen. (Hans Brügelmann 2019)

Aufruf: Mehr Aufmerksamkeit für mögliche Nebenwirkungen!

Das sollten sich die Personen ins Stammbuch schreiben, die bildungspolitische Entscheidungen zu treffen haben und dabei in bester Absicht „evidenzbasiert“ vorgehen wollen:

Zhaos Botschaft, kurz zusammengefasst: Pädagogische Interventionen wirken nicht einsinnig. Ihre Wirkungen sind differenziert zu beurteilen, indem man sie auf konkurrierende Ziele bezieht, ungewollte Nebenwirkungen berücksichtigt und die Streuung der Effekte in Abhängigkeit vom Kontext bedenkt.
Er fordert deshalb eine systematischere Untersuchung von Nebenwirkungen (118 ff.). Davon erhofft er sich,
– die Aufgabe des illusionären Anspruchs an Programme und Methoden, sie müssten in jeder Hinsicht besser sein als ihre Konkurrenten;
– eine kritischere Prüfung von Erfolgsversprechen neuer Ansätze oder Materialien durch die Nutzer*innen;
– eine schrittweise Verbesserung von Programmen und Methoden statt der regelmäßigen Pendelschwünge von einem Extrem ins andere;
– bei der Umsetzung in die Praxis eine größere Aufmerksamkeit für kontextbedingte Risiken der gewählten Programme, Methoden oder Materialien. (Hans Brügelmann 2019)