Fail #47: Eloquenz vor Evidenz

Als praktischer Pädagoge und Nichtwissenschaftler kann man oft nicht einschätzen, ob man mit einem Artikel in einer wissenschaftlichen Zeitschrift deswegen so wenig anfangen kann, weil Begriffe und Verfahren ungewohnt sind oder vielleicht deshalb, weil mit viel Aufwand und Eloquenz Bedeutung suggeriert werden soll, die nicht unbedingt auf praktische Anwendbarkeit zielt. Da ist es hilfreich, wenn Bewohner des Elfenbeinturms mal ein Fenster aufmachen und etwas heiße Luft entweichen lassen. So geschehen in einem frechen Aufsatz von Stefan Ellinger (Professur für Sonderpädagogik in Würzbug) und Katja Koch (Professur an der Uni Rostock). Ich erlaube mir hier den Abdruck des gesamten kurzen Aufsatzes, wie er in der Pädagogischen Korrespondenz erschienen ist.

Ellinger, S. & Koch, K. (2018). Zum Verschwinden des Pädagogischen aus der sonderpädagogischen Forschung und Lehre. Qualitätskriterien hochrangiger Forschung in der Sonderpädagogik. Pädagogische Korrespondenz (57), 33–37.

Vorwort der Schriftleitung

Wir haben in der letzten Ausgabe der Pädagogischen Korrespondenz die neue Kolumne „Elektrisierende Empirie“ eröffnet, mit der wir unsere Leserinnen und Lesern an exemplarischen Früchten der empirischen Bildungsforschung teilhaben lassen wollen, deren besonderer Charme in der Diskrepanz zwischen dem methodischen Aufwand samt der ihn umwölbenden Rhetorik und der Dürftigkeit der damit gewonnenen Einsichten liegt.
Stephan Ellinger und Katja Koch haben zu diesem Thema ein kühnes Experiment unternommen, das die hinter dieser Diskrepanz stehende Praxis und deren Systematik entlarvt. Sie veröffentlichten in Heft 11/2016 der „Zeitschrift für Heilpädagogik“ einen Artikel mit dem Titel „Förderung sozial benachteiligter Kinder durch Förderung mathematischer Vorläuferfähigkeiten – Evaluation des Förderprogrammes ‚Kuno bleibt am Ball (KUBA)‘“. Der Beitrag beschreibt detailreich die theoretischen Bezüge, das methodische Design und die Ergebnisse dieser empirischen Studie, die allerdings von vorne bis hinten ein Fake war; das Projekt gab es nie und die vermeintliche Fragestellung war, wenn man genauer hinsah, ziemlich unsinnig. Gleichwohl wurde der Artikel in der peer-reviewten Zeitschrift anstandslos abgedruckt.
Die beiden Urheber haben den Fake, verbunden mit einer Entschuldigung, aufgeklärt und einen weiteren Artikel verfasst, in dem sie die Strategien erhellen, denen sie beim Verfassen der Pseudo-Studie gefolgt sind (Koch/Ellinger 2016). Sie haben uns diesen Artikel freundlicherweise zur Verfügung gestellt und wir drucken daraus, in leicht veränderter Form, die „Qualitätskriterien hochrangiger Forschung in der Sonderpädagogik“, denen man entnehmen kann, wie die Empirie ihre elektrisierende Wirkung, nicht nur in der Sonderpädagogik, erzeugt. Die Schriftleitung

Hier Stefan Ellingers Erläuterung zum KUNO-Fake und seiner Rezeption.

a) Pädagogische Fragestellungen werden genannt, aber nicht ernst genommen

Zu den Begründungszusammenhängen vieler Untersuchungen in pädagogischen Arbeitsfeldern gehören, wie selbstverständlich, pädagogische Problembeschreibungen. Diese finden sich häufig treffend dargestellt, werden dann aber weder in der Entscheidung für ein angemessenes Forschungsdesign, noch in der abschließenden Diskussion wirklich ernst genommen, sondern mit Worthülsen und Standardformulierungen „erledigt“, um dann zur „gewichtigeren“ Empirie überzugehen. Viele relevante und mitunter drängende pädagogische Fragen werden gar nicht erst gestellt, weil es womöglich nur sehr begrenzte empirische Möglichkeiten gibt, sie zu beantworten.

b) Schlüsselbegriffe und -namen dienen als Ausweis

Die formelhafte Erwähnung wichtiger Begriffe und aktueller politischer Papiere sowie die Bezugnahme auf die je aktuellen großen Bildungsstudien (es eignen sich gegenwärtig z.B. PISA, Inklusion oder Hattie-Studie, ebenso „Kompetenz“ oder
„Vorläuferfähigkeiten“ usw.) machen deutlich, dass die/der Autor/in up-todate ist. Erwähnte Studien oder bildungspolitische Schlagworte müssen nicht zwingend etwas mit der bearbeiteten Fragestellung zu tun haben, allein die Signalfunktion dieser Begriffe täuscht die aktuelle Relevanz der Studie vor oder nicht selten auch darüber hinweg, dass Begriffe unklar definiert sind oder in ihrer Verwendung umstritten sein können. Hier wird eine (für empirische Studien notwendige) Klarheit suggeriert, die faktisch nicht existiert.

c) Literaturzitate und -belege stammen möglichst aus internationalen Bezügen

Unter dem Postulat der „Internationalisierung“ müssen Literaturbelege zunehmend aus aller Welt stammen. Allein schon die internationale Provenienz von Quellen scheint mitunter Fragestellung und Argumentation einer Studie zu legitimieren. Nicht selten ist die Anzahl aneinandergereihter Quellen so hoch, dass der erschlagene Leser sich kaum noch die Mühe machen kann, auch nur die Existenz der Quelle nachzuprüfen, geschweige denn die Stimmigkeit des inhaltlichen Bezugs. Dies begünstigt ein Phänomen, das einem zunehmend häufig begegnet:
Zentrale Annahmen werden durch viele unterschiedliche – aber z.T. gar nicht auffindbare – Literaturbelege gestützt. Dass da wohl „einer vom anderen“ (falsch) abgeschrieben hat, kann natürlich zunächst nur Hypothese bleiben. Englischsprachige Texte laden sprachkundige Autoren auch immer wieder zu Monty Pythonähnlichen Debatten à la „Volksfront von Judäa vs. Judäische Volksfront“ ein. Dabei geht es dann häufig im Kern um nichts Trivialeres als um die verschiedenen Übersetzungsmöglichkeiten eines vorkommenden Terminus (Bsp. part-whole relationship bzw. part-and-whole relationships als Teil-Ganzes-Beziehung bzw. TeilGanzes-Konzept, Teile-GanzesKonzept oder Teil-Ganzes-Verständnis …).

d) Internationale Vernetzung und internationale Begrifflichkeiten bürgen für Qualität

Es findet sich inzwischen beinahe kein hochrangiger Aufsatz mehr, in dem nicht auf „internationale Kooperationsprojekte“ hingewiesen wird und zahlreiche internationale Kooperationspartner genannt werden. Wie intensiv jene tatsächlich mit dem jeweiligen Projekt zu tun haben, ist häufig kaum nachprüfbar und noch häufiger auch gar nicht wirklich wichtig. Um als ernstzunehmende/r Wissenschaftler/in zu gelten, hat es sich inzwischen gewissermaßen als Standard etabliert, Bezugspunkte zur internationalen Diskussion zu markieren, um die Qualität der eigenen Forschung zu demonstrieren. Internationale Vernetzung ist unmerklich zu einem eigenen Wert geworden, dessen inhaltliche Sinnhaftigkeit kaum noch hinterfragt wird. Sie ist eben wichtig, auch wenn man selbst das Schulsystem im angrenzenden Bundesland kaum zu durchschauen vermag.
In diesem Internationalisierungswahn erfahren auch einfachste Sachverhalte und banale – oder sogar unsinnige – Förderinstrumente in deutschsprachigen Aufsätzen wesentliche Aufwertung, wenn sie durch englische Begriffe wiedergegeben werden. So haben eher wenig komplexe Förderverfahren vielleicht deshalb in die deutschsprachige Sonderpädagogik Einzug gehalten, weil sie schlicht mit englischen Bezeichnungen eingeführt wurden (vgl. z.B. Tootling, Classroom-Management u.a.).

e) Drittmittel gelten als Qualitätsmerkmal

Es herrscht eine stille Übereinkunft, dass ein Forschungsprojekt, das reichlich Drittmittel akquirieren konnte, wesentlichere Aspekte bearbeitet, als nicht drittmittelfinanzierte Forschungsprojekte. Die Logik dahinter ist eine naive: Nur was gut ist, wird bezahlt und was nicht bezahlt wird, ist nicht gut. Aus diesem Grund müssen die Geldgeber und, jedenfalls wenn imposant, der Umfang der Drittmittel im Aufsatz Erwähnung finden. Nota bene: Es geht dabei um Drittmittel in einem Fach, das zur Bearbeitung seiner traditionellen Fragestellungen kaum Drittmittel braucht.
Ein wesentlicher Grund für die Verbreitung dieser Praxis ist natürlich auch die generelle Ökonomisierung wissenschaftlicher Tätigkeit: Die Fähigkeit eines Wissenschaftlers, seiner an öffentlichen Mitteln knapp gehaltenen Hochschule Drittmittel zu verschaffen, ist nicht nur ein wesentliches Kriterium für eine Berufung, sondern inzwischen auch für seine Besoldung.

f) Quantitative empirische Forschung wird als „bessere“ Forschung angesehen, Wissen über statistische Verfahren wird zum Herrschaftswissen

Von Forschungsprojekten ist zunehmend nur noch dann die Rede, wenn gerechnet – oder wenigstens gezählt – wird. Der Aufbau eines Aufsatzes erfolgt normiert. Am Beispiel einer Interventionsstudie: Zunächst werden empirische Befunde zitiert, danach wird ein klassisch-quantitatives Design dokumentiert und noch einmal – zum 100sten Mal – auf die Evidenzstufen einer guten Untersuchung hingewiesen. Schick ist darüber hinaus das Einflechten spezieller Rechenmethoden, die spannend und kompliziert klingen. Beliebt sind hochkomplexe statistische Verfahren, deren Kennwerten inkl. Interpretation – so möchten wir behaupten – die Mehrheit der Leserschaft kaum folgen kann. Und noch weniger können diejenigen folgen, die weniger in Wissenschaft, als vielmehr in praktischen Handlungsfeldern tätig sind. Die Latte wird dabei immer höher gelegt: Während man vor einigen Jahren noch mit einfachen Mittelwertvergleichen „punkten“ konnte, geht es heute um komplexe multivariate Verfahren wie Mehrebenenanalysen, Pfadanalysen o.ä. Dabei spielt immer weniger eine Rolle, ob der Einsatz dieser Verfahren überhaupt notwendig ist, ob man nicht auf einfacheren methodisch-statistischen Wegen zum gleichen Ziel hätte kommen können. Nicht selten werden sogar in langen und schwer lesbaren Narrationen Verfahrenswege vorgestellt, um am Ende schließlich in einem Nebensatz festzustellen, dass die Voraussetzungen dieser komplexen Verfahren leider nicht erfüllt sind und daher dann doch nur die (weit weniger komplex erhobenen) t-Test-Werte berichtet werden sollen. Vieles verstehen die Leser möglicherweise nicht, aber in jedem Falle wird ihnen klar: Die Autor(inn)en beherrschen das Statistik-Geschäft. Und Autor(inn)en haben de facto auch gar kein Interesse, dass die Leser/innen Ergebnisgewinnung und Interpretation nachvollziehen können – denn statistisches Wissen soll, m Run auf Forschungsgelder, Herrschaftswissen bleiben.

g) Ziel der evaluierten Förderung ist eine Art Reparatur der Probanden

Unhinterfragtes Ziel der in vielen (sonder-)pädagogischen Beiträgen berichteten Interventionen scheint häufig die Normalisierung bzw. Funktionsherstellung nach psychologischer oder lerntherapeutischer Regel und nicht etwa eine Entwicklungsförderung oder die Erziehung der betroffenen Kinder und Jugendlichen zur selbständigen Lebensführung und Mündigkeit zu sein. Die unentdeckt schockierende Schlussfolgerung des von uns erfundenen Forschungsprojektes zu „Kuno bleibt am Ball (KUBA)“ (Ellinger/Koch 2016) ist, „dass eine Förderung mit Kuno bleibt am Ball die Entwicklung mathematischer Vorläuferkompetenzen bei Kindern aus Risikofamilien wirksam unterstützen konnte“ (ebd., S. 522). Die Ergebnisse, so wird behauptet, liefern eine „deutliche Evidenz“ für das Förderprogramm KUBA und verweisen auf die Wirksamkeit von Maßnahmen, die sich explizit an theoretischen Modellen der Kompetenzentwicklung orientieren. Von den konkreten Problemen sozial benachteiligter Kinder und der Bereitstellung der geforderten Fördermaßnahmen bzw. geeigneten Entwicklungshilfen ist, obgleich sie in der Einführung explizit problematisiert wurden, keine Rede mehr. Obwohl also vorgegeben wird, nach Hilfen speziell für diese Zielgruppe zu suchen, wird bis zum Ende des Beitrags kein Wort mehr darüber verloren. Ein entsprechender Aufsatz in der Schule trüge vermutlich – zu Recht – neben der ungenügenden Note die Bemerkung „Thema verfehlt“. Was für ein Glück, dass wir nicht mehr in der Schule sind.

Bundesweit verlief die Schwerpunktverschiebung sonderpädagogischer Forschung, die sich in ihren wissenschaftlichen Fachbeiträgen widerspiegelt, nahezu lautlos. Sie folgt konsequent einer klaren und nachvollziehbaren Logik, die allerdings dazu führt, pädagogische Fragestellungen auf dem Altar vorbildlicher (quantitativ-empirischer) Standarddesigns zu opfern. Damit verliert, so unsere Auffassung, die Sonderpädagogik ihre eigentliche Aufgabe aus dem Blick und wird die ihr – in Zeiten der Inklusion – ständig drohende Legitimationsfrage schon mittelfristig kaum mehr erfolgreich beantworten können.

Literatur

Ahrbeck, Bernd/Ellinger, Stephan/Hechler, Oliver/Koch, Katja/Schad, Gerhard (2016): Evidenzbasierte Pädagogik. Sonderpädagogische Einwände. Stuttgart.

Dederich, Markus/Felder, Franziska (2016): Funktionen von Theorie in der Heil- und Sonderpädagogik. In: Vierteljahresschrift für Heilpädagogik und ihre Nachbargebiete, 85. Jg., S. 196-209.

Ellinger, Stephan (2016): Ökonomisierung + Inklusion = Evidenzbasierte Pädagogik? Vom Verschwinden des Pädagogischen aus der sonderpädagogischen Forschung und Lehrerbildung. In: Ahrbeck, Bernd et al.: Evidenzbasierte Pädagogik. Sonderpädagogische Einwände. Stuttgart, S. 100-128.

Ellinger, Stephan/Koch, Katja (2016): Förderung sozial benachteiligter Kinder durch Förderung mathematischer Vorläuferfähigkeiten – Evaluation des Förderprogrammes „Kuno bleibt am Ball (KUBA)“. In: Zeitschrift für Heilpädagogik, Heft 11, S. 513-525.

Koch, Katja (2016): Ankunft im Alltag – Evidenzbasierte Pädagogik in der Sonderpädagogik. In: Ahrbeck et al. (2016): Evidenzbasierte Pädagogik. Sonderpädagogische Einwände. Stuttgart, S. 9-41.

Koch, Katja/Ellinger, Stephan (2016): Qualitätsmerkmale hochrangiger Publikationen in der Sonderpädagogik: Zur Effektivität des Evidenzparadogmas – Eine Satire. In: Sonderpädagogische Förderung heute, 61. Jg., Heft 3, S. 312-320.