Johannes Karl Schmees

Erziehungswissenschaften, Department I, Universität Vechta, Vechta, Deutschland, Johannes.Schmees@uni-vechta.de

Abstract

Politische Steuerung nach dem Modell des New Public Management haben auch im Bildungsbereich zu einem Wandel von einer Input- hin zu einer Outputsteuerung geführt. Die Messung von Bildungs-Outputs jedoch erfordert und produziert neue Messverfahren. Exemplarisch werden zunächst einzelne Messverfahren für insgesamt vier Ebenen (Micro, Meso, Makro und international) vorgestellt. In einem zweiten Abschnitt wird mit den Diskussionen um ein Berufsbildungs-PISA ein mögliches Instrument zur Messung beruflicher Qualifikationen auf internationaler Ebene vorgestellt, das so bisher nur für den allgemeinbildenden Bereich vorhanden ist.

Keywords: Evaluation, Large Scale Assessment, Berufsbildungs-PISA

1  Einleitung

Staatliche Bildungseinrichtungen sind abhängig und unabhängig zugleich. Einerseits müssen sie ihre Leistungsfähigkeit immer wieder unter Beweis stellen, um sich für staatliche Mittelzuweisungen zu qualifizieren. Andererseits wird die konkrete Arbeit vor Ort zum großen Teil autonom und ohne Überwachung durchgeführt – kein Qualitätsmanager experimentiert im physikalischen Grundpraktikum und kein Inspekteur wird im Morgenkreis der Krippe die von seinen Erlebnissen am letzten Wochenende berichten – zumindest nicht regelmäßig. Was bleibt sind in der Regel Zahlen, welche die Leistungsfähigkeit einer Einrichtung beurteilen sollen und Autonomie bei der tatsächlichen Erfüllung der Aufgaben. Solche Beziehungen können als Kopplung theoretisch gefasst werden (Meyer & Rowan, 1977; Weick, 1976).

Die Definition von Leistungsfähigkeit hat sich im Zuge der Einführung eines sogenannten New Public Management von einer Inputkennzahlen zu Outputkennzahlen verschoben: Nicht mehr Studierende zählen als Leistungsnachweis, sondern die Absolvent_innen wie auch Abiturient_innen oder die Leistungsfähigkeit der Schüler_innen im Alter von 15 Jahren. Eine solche Perspektive auf Bildungsprozesse (kritisch dazu etwa Münch, 2009; ebenso Radtke, 2003, 2009) verlangt und produziert auch neue Formen Messung dieser Leistungsfähigkeit, allgemein unter Evaluation gefasst. Die Ergebnisse solcher Evaluationen können nun sowohl Rückwirkungen auf die Ebene der Bildungseinrichtung als auch auf die Ebene der Politik haben – je nach Größe, Design und Ergebnis der Evaluation.

In dem vorliegenden Beitrag geht es um diese Evaluationen. Dabei wird zunächst ein allgemeiner Überblick zu verschiedenen Ebenen des Bildungssystems gegeben, um dann im zweiten Abschnitt detailliert auf ein mögliches Large Scale Assessment in der beruflichen Bildung einzugehen. Denn internationale Studien, die verschiedene Systeme miteinander vergleichen, gibt es bisher mit PISA und TIMSS nur für den allgemeinbildenden Bereich. In dem entsprechenden Abschnitt werden auch Reaktionen und Alternativen diskutiert, um einen Überblick des gegenwärtigen Diskussionsstands für ein Berufsbildungs-PISA zu geben.

2  Evaluationen im Bildungsbereich

Seit den beschriebenen Veränderungsprozessen sind Zahl und Art der Evaluationsverfahren sprunghaft angewachsen. Im vorliegenden Abschnitt werden zunächst exemplarisch Messinstrumente unterschiedlicher Ebenen thematisiert – von der Mikroebene (Lehr-Lern-Prozesse), über die Mesoebene (Einzelschule), bis hin zur Makroebene (Region, Bundesland oder Land) (für diese Unterteilung vgl. Wang, 2016) sowie ergänzend der internationale Vergleich.

Auf der Mikroebene versuchen bspw. Lehrer_innen mithilfe unterschiedlicher Testverfahren Lehr-Lern-Prozesse über eine Zeitspanne zu evaluieren: Das sogenannte forschende Unterrichten oder forschende Lehren, indem Lehrer_innen den eigenen Unterricht mithilfe wissenschaftlicher Beobachtungsmethoden untersuchen. Diese Form einer Evaluation der Lehr-Lernprozesse hat mittlerweile auch Einzug in die Lehrer_innenbildung erhalten bspw. im Rahmen des Praxissemesters in der niedersächsischen Lehrer_innenausbildung. Darüber hinaus gibt es auch Standardverfahren für die Evaluation der Leistungsfähigkeit von Schülerinnen, die vor allem im Bereich des Sprachenlernens schon sehr weit fortgeschritten sind (vgl. etwa Baur, Goggin & Wrede-Jackes, 2013).

Auf der Meso-Ebene, also der Ebene der Einzelschule, können Schulleitungen mithilfe moderner Evaluationsinstrumente mögliche Hinweise auf Verbesserungspotenziale erhalten. Weitgehend bekannt sind in diesem Zusammenhang jahrgangsübergreifende Vergleichsarbeiten, die in der Regel in der Sekundarstufe zum Einsatz kommen. Die möglichen Rückschlüsse auf Verbesserungsmöglichkeiten sind jedoch begrenzt. Umfassender sind Evaluationssysteme, die auf die gesamt Schule abzielen und neben Schüler_innen auch Lehrer_innen und Eltern in den Blick nehmen. Mit verschiedenen Methoden werden Daten erhoben, die dann zentral ausgewertet und an die jeweilige Schule zurückgemeldet werden – es stehen qualitative und quantitative Instrumente zur Verfügung. Beispielhaft sei hier auf das Selbstbewertungskursbuch (Regionalabteilung Braunschweig, Niedersächsische Landesschulbehörde, o.J.) als qualitatives und auf das Evaluationsverfahren „SEIS“, Selbstevaluation in Schulen, als quantitatives Instrument verwiesen (Holland, 2009; Stern, 2006); letzteres steht allerdings seit dem Ablauf des Jahres 2015 nicht mehr zur Verfügung. Grundsätzliche Überlegungen zu diesem Thema finden sich bei Granzer, Wendt und Berger (2008). Möglich sind auch externe Evaluationsverfahren, sogenannte Schulinspektionen, die regelmäßig bspw. in Hessen eingesetzt werden; der Ablauf kann auf der Internetseite der Hessische Lehrkräfteakademie (o.J.) eingesehen werden und soll hier als Beispiel dienen. Zur Bewertung und Einschätzung externer Evaluationen sei an dieser Stelle nur auf eine einschlägige Publikationen der Arbeitsgruppe Schulinspektion (2016) verwiesen.

Auf der Makroebene, also auf der Ebene des Schulsystems, wird die Leistungsfähigkeit der Bildungspolitik erhoben. In der föderal organisierten Bildungspolitik Deutschlands wird diese Ebene durch die Länder abgedeckt: Die Kultusministerien der Länder evaluieren dabei die Leistungsfähigkeit des jeweiligen Schulsystems. Hier kommen externe Evaluationsverfahren zur Anwendung, die entweder die Leistung von Schulen oder von Schülern messen sollen. Das Bundesland Hamburg soll an dieser Stelle als Beispiel dienen, da es in Deutschland im Bereich der Qualitätsmessung eine führende Stellung einnimmt. Zu den Instrumenten in Hamburg gehören landesweite Lernstanderhebungen, Erhebungen der Lernausgangslagen (auch speziell für berufliche Schulen), Kompetenzerfassungsinstrumente wie „Kompetenz-Erfassung in Kita und Schule“ (KEKS) sowie Längsschnittuntersuchungen von Kompetenzen wie „Kompetenzen und Einstellungen von Schülerinnen und Schülern“ (KESS). Auch Evaluationen punktueller Programme wie etwa die des Hamburger Schulversuchs alles»könner gehören zu dieser Ebene (Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik) wie auch wissenschaftliche Untersuchungen zum Leistungsstand der Schülerinnen in einem Schulsystem (vgl. etwa Leucht, Kampa & Köller, 2016).

Schließlich gibt es auf intra- bzw. internationaler Ebene hochstandardisierte Testverfahren, um Bildungssysteme oder -regionen miteinander vergleichen zu können– hier sind vor allem das „Programme for International Student Assessment“ (PISA) und die Studie „Trends in International Mathematics and Science Study“ (TIMSS) für den internationalen Vergleich von großem Einfluss. Auf Deutschland bezogen ist die Studie„Deutsch Englisch Schülerleistungen International“ (DESI) zu nennen (DESI-Konsortium, 2008); eine neure Studie, welche die berufliche Bildung in den Blick nimmt wird aktuell durchgeführt (Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik):„Mathematisch-naturwissenschaftliche Kompetenzen in der beruflichen Erstausbildung“ (Man Kob E).

Die beschriebenen Evaluations- und Qualitätsverbesserungsprozesse sind oftmals auf den allgemeinbildenden Bereich zugeschnitten. Im Folgenden wird ein Projekt zur Einführung eines Berufsbildungs-PISA vorgestellt, das auf internationaler Ebene Berufsschulsysteme miteinander vergleichen soll – ein Large Scale Assessment für die berufliche Bildung. Langfristig soll so ein Qualitätsverbesserungsprozess auf systemischer Ebene im Berufsschulsystem Einzug halten.

3  Large Scale Assessment in der Berufsbildung

Grundsätzlich steht das allgemeine Bildungssystem stärker im Fokus der öffentlichen Aufmerksamkeit als das Berufsbildungssystem. Fernab von öffentlicher Diskussion und medialer Berichterstattung lassen sich Innovationen oftmals leichter verwirklichen. Die für das berufsbildende Erziehungssystem zuständige Berufspädagogik zeichnet sich aus diesem Grund seit ihren Anfängen durch mehr Innovationsfähigkeit und Pragmatismus aus und steht mitunter einer Leistungsmessung offener gegen-über als Vertreter_innen der Allgemeinen Pädagogik. Umso erstaunlicher ist es, dass die PISA-Studie zunächst im allgemeinbildenden Schulsystem etabliert worden ist. Vielleicht hängt dies auch damit zusammen, dass eine Untersuchung des beruflichen Schulsystems ungleich komplexer ist.

Der zentrale Unterschied ist, dass die PISA-Studie vor allem anwendungsorientiertes Wissen untersucht, eine entsprechende Studie in der beruflichen Bildung müsste jedoch auch und vor allem praktisches Können miteinschließen. Darüber hinaus sind eine Reihe von Fächern im allgemeinbildenden Bereich weltweit sehr ähnlich: Mathematik und Naturwissenschaften und Englisch stehen fast überall auf dem Lehrplan. Im beruflichen Bereich sieht das anders aus: Der deutsche Ausbildungsberuf Altenpflger_in hat nicht nur einen anderen Namen als der Schweizer Ausbildungsberuf Fachfrau bzw. Fachmann Betreuung, sondern auch eine andere Ausrichtung in dem Spannungsfeld zwischen Gesundheit und Soziales (Wittmann & Grunau, 2009). Zuletzt sind Ausbildungsberufe in Deutschland in anderen Ländern mitunter im tertiären Sektor verankert (Sloane, 2009).

Die alle drei Jahre durchgeführte PISA-Studie testet mit abwechselnden Schwerpunkten die Bereiche Naturwissenschaft, Lesen, mathematische Grundbildung sowie Problemlösen und stellt im Unterricht erworbene Kompetenzen in den Mittelpunkt – diese Kompetenzen sind so definiert, dass mit ihrem Beherrschen Alltagsprobleme gelöst werden können. So müssen die Schüler_innen im Verlauf des PISA-Tests Grafiken interpretieren, Informationen aus Texten destillieren oder logische Schlüsse ziehen (Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik) Die Aufgaben sind so gestellt, dass kein Faktenwissen benötigt wird – die Schüler_innen werden lediglich dahingehend getestet, gegebenes Material bearbeiten zu können. Trotz der Vielfalt an untersuchten Kompetenzen kann festgehalten werden, dass die PISA-Studie allein kognitive Fähigkeiten misst.

In der beruflichen Bildung geht es jedoch auch bzw. vor allem um praktisches Können. Können in diesem Sinne beinhaltet neben kognitiven Fähigkeiten auch praktisches Tun. Dies ist auch der Grund für eine Zweiteilung der Abschlussprüfung aller deutschen Ausbildungsberufe in einen schriftlichen und einen praktischen Teil. Ein Maler bspw. muss nicht nur wissen, wie eine Wand zu streichen ist, sondern er muss sie auch streichen können– eine entsprechende Studie müsste auch letzteren Aspekt untersuchen und messbar machen. Arbeitsproben erscheinen in diesem Sinne als Königsweg. Aufgrund des hohen Aufwandes wird jedoch ebenso über die Möglichkeit diskutiert, Simulationen bzw. herkömmliche Testverfahren mit Stift und Papier zu verwenden.

Im Folgenden werden einschlägige Publikationen zu einem möglichen Berufsbildungs-PISA vorgestellt und miteinander in Verbindung gebracht. Ziel ist es, zentrale Fakten sowie die groben Entwicklungslinien in Deutschland vorzustellen. Dieses ist untergliedert in die Entwicklung einer Machbarkeitsstudie, die Reaktionen auf diese Machbarkeitsstudie bzw. Positionen bezüglich eines Large Scale Assessment und abschließend die Thematisierung von Alternativen.

3.1  Entwicklung eines Large Scale Assessment

Im Jahre 2000 wurde im amerikanischen Raum ein Sammelwerk veröffentlicht (Custer, Schell, Mc Alister, Scott & Hoepfl, 2000), in dem die Messung beruflicher Qualifikationen thematisiert wird. Aus verschiedenen Perspektiven wird beleuchtet, wie authentische Prüfungsformen in berufsbildenden Schulen Einzug erhalten könnten und wie sich diese Formen auch in einem Large Scale Assessment anwenden lassen. Stets geht es den Autoren bei den Testmethoden vor allem um die Berücksichtigung des konkreten Alltags- bzw. Berufsbezugs. Bereits kurz darauf plädiert Pütz (2002) für die Etablierung eines Berufsbildungs-PISA. Ein solches Instrument sei nötig, um das deutsche Ausbildungsmodell in Frage zu stellen und ggf. Verbesserungsprozesse einzuleiten. Gleichzeitig sollten jedoch die methodischen Schwächen der PISA-Studie vermieden werden.

Für die Entwicklung eines Berufsbildungs-PISA wurden die Göttinger Professoren Achtenhagen und Baethge beauftragt, die ihrerseits eine Machbarkeitsstudie veröffentlichten (Baethge et al., 2006). Das Ziel eines Berufsbildungs-PISA müsse es der Studie nach sein, berufliche Kompetenzen objektiv, reliabel und valide zu messen (Achtenhagen, Baethge, 2005), um die Leistungsfähigkeit des beruflichen Bildungssystems in Deutschland mit anderen Systemen vergleichbar zu machen – die internationale Einordnung und Vergleichbarkeit der Abschlüsse gelte gerade im Zeitalter der Internationalisierung als zentrales Argument für eine Vergleichsstudie. Mit dem europäischen Qualifizierungsrahmen sowie dem europäischen Leistungspunktesystem wurden bereits erste Schritte in diese Richtung unternommen (Baethge et al., 2006). Die Ziele der beruflichen Bildung werden im Rahmen der Studie betont weiter definiert als dies allgemein im anglo-amerikanischen Raum der Fall ist, wo die beruflichen Kompetenzen sehr stark im Vordergrund stehen (Achtenhagen et al., 2005). Baethge et al. (2006) gehen detailliert auf die Klärung des Untersuchungsdesigns ein und erachten die Frage nach den Instrumenten als die Entscheidende. Berücksichtigung findet auch die Problematik, die sich ergibt, wenn unterschiedliche europäische Berufsbildungssysteme miteinander verglichen werden.Daher wurde zunächst auch erhoben, ob es exemplarische Ausbildungsberufe in allen teilnehmenden Ländern gibt, die sich für einen Vergleich einigen (exemplarisch für den Bereich Social und Health Care vgl. Wittmann & Grunau, 2009). Denn Ausbildungsberufe sind weltweit viel weniger standardisiert als etwa allgemeinbildende Schulfächer und hier vor allem die Hauptfächer und die Naturwissenschaften, auf die sich die PISA-Studie bezieht.

Wie auch bei der PISA-Studie werden Kompetenzen definiert, die es zu untersuchen gilt – allerdings wird die Operationalisierung kritisch begutachtet (Baethge et al., 2006). Favorisiert wird insgesamt ein Modell aus Computersimulationen sowie ergänzend Papiertests. Dies wird damit begründet, dass die Untersuchung auf der Ebene von Kompetenzen, nicht auf der Ebene des Handelns anzusiedeln ist (Baethge, 2010). Baethge, Martin, Arends und Lena (2008) stellen diese Ergebnisse auch dem englischsprachigen Raum vor, wobei dabei vor allem die Möglichkeit des internationalen Vergleichs betont wird. In einer weiteren Publikation wird die Entstehung der einzelnen Kompetenzbereiche für die jeweiligen Berufe erläutert (Baethge & Arends, 2009). Auf einer Projektwebseite wird vor allem eine mögliche Realisierung sowie die politischen Rahmenbedingungen thematisiert (Universität Göttingen).

3.2  Reaktionen auf ein Large Scale Assessment und die Machbarkeitsstudie

Dieser Abschnitt soll die Konfliktlinien verdeutlichen, die es im Bereich der Messung von Erziehungs- und Bildungsprozessen im Allgemeinen und in Bezug auf die Machbarkeitsstudie von Baethge et al. (2006) im Besonderen gibt. Grob kann davon gesprochen werden, dass in der aktuellen Diskussion drei Positionen auszumachen sind: So gibt es erstens die Befürworter eines solchen Tests mit den vorgestellten Instrumenten; zweitens die Detailkritiker, die zwar prinzipiell für das Testen von Kompetenzen sind, die Machbarkeitsstudie jedoch zurückweisen; schließlich und drittens die Fundamentalkritiker, die sich generell gegen die Messung von Erziehungs- und Bildungsprozessen aussprechen. Stellvertretend für die erstgenannte Gruppierung soll hier das Team um Achtenhagen und Baethge angeführt werden. Auch nach vielfältiger Kritik wird bspw. an den vorgestellten Instrumentarien festgehalten (Baethge, 2010). Generell wird die Durchführung der Studie auch von Gehlert, Vorsitzender des Bundesverbandes für Lehrerinnen und Lehrer an beruflichen Schulen, aufgrund der strukturellen Probleme des dualen Systems unterstützt (Zeitschrift für Berufs- und Wirtschaftspädagogik, 2006). Da die Machbarkeitsstudie bereits im vorherigen Kapitel einen großen Raum eingenommen hat, wird an dieser Stelle auf eine weitere Vertiefung verzichtet.

Die weitaus größte Gruppierung bilden diejenigen, die einer Kompetenzmessung im Berufsbildungsbereich im Besonderen offen gegenüberstehen, jedoch deutliche Kritik an der Machbarkeitsstudie äußern. Stellvertretend ist hier das Team um Rauner zu nennen, der seinerseits die Leitung eines Projekts übernommen hat (Rauner, Heinemann et al., 2009; Rauner, Haasler, Heinemann & Grollmann, 2009; Rauner, Heinemann, Maurer, Ji & Zhao, 2014), indem es darum geht, eine Alternativstudie zu entwickeln. In dieser sollen die praktischen Arbeitsprozesse in den Mittelpunkt gerückt werden. Diesem Standpunkt haben sich auch politische und wirtschaftliche Akteure angeschlossen. Der Grund liegt auf der Hand und wird von Endres auf den Punkt gebracht: Die vorgestellten Instrumente zielten auf kognitive Kompetenzen ab und würden vollzeitschulische Berufsbildungssysteme systematisch bevorzugen. Dies ruft Kritiker auf den Plan, die für die Erhaltung und Stärkung des dualen Systems plädieren: Eine Pressemitteilung des Bundesministerium für Bildung und Forschung (2007) bekräftige nach dem Erscheinen der Machbarkeitsstudie die Forderung nach einem Berufsbildungs-PISA mit der Begründung das deutsche nicht-akademische Ausbildungssystem gegenüber der internationalen Konkurrenz zu stärken. Daher spiele es eine entscheidende Rolle, dass das praktische Können in den Mittelpunkt einer solchen Studie stehe – unabhängig von der Art und Weise wie es erworben wurde. Unklarheiten bestehen nach Kloas, Zentralverband des Deutschen Handwerks, auch nach dem Erscheinen der Studie noch hinsichtlich der Entwicklung von aussagekräftigen Messinstrumenten, der Auswahl geeigneter Berufe für einen internationalen Vergleich sowie die Zahl der Erhebungen. Insbesondere in Bezug auf die Messinstrumente wird die Befürchtung geäußert, dass eine Studie die Stärken des deutschen Systems dann nicht berücksichtigen könne, wenn sie allein auf Interviews und schriftlichen Tests beruhe. In dieselbe Kerbe schlägt auch eine Veröffentlichung des Hauptverbandes des Deutschen Einzelhandels (Hauptverband des Deutschen Einzelhandels, 2007): Es wird angemerkt, dass die vorgestellte Kompetenzmessung kaum in der Lage sei, die Vorteile des dualen Systems herauszuarbeiten. Kein Test, der mit Stift und Papier durchgeführt werde, sei in der Lage– so eine weitere Veröffentlichung – berufliche Kompetenzen komplexitätsangemessen abzubilden (Hauptverband des Deutschen Einzelhandels, 2008). Es zeigt sich, dass vor allem die in der Machbarkeitsstudie entwickelten Instrumente, zu Kritik führen.

Die massivste und globalste Kritik kommt aus dem Lager der Fundamentalkritiker:Aus einer Tagung im Oktober 2005 an der Universität Frankfurt ist die Publikation, Frankfurter Einsprüche, hervorgegangenen (Frost, 2006). Es wird kritisiert, dass der neuhumanistisch geprägte Bildungsbegriff im Verschwinden begriffen ist. Das Wort Bildung taucht bspw. in der PISA-Studie kein einziges Mal auf. Stattdessen wird von Basiskompetenzen gesprochen, die eine Teilhabe am gesellschaftlichen, wirtschaftlichen und politischen Leben garantieren sollen. Das sind nach Krautz (2007) Ziele, die auch der klassische Bildungsbegriff formuliert. Dieser werde so durch den messbaren Kompetenzbegriff ersetzt und droht zu verschwinden. Der inflationäre Gebrauch immer weitreichenderer Ökonomisierungs- und Quantifizierungsmaßnahmen im Erziehungs- und Bildungsbereich wird auch in einem Beitrag von Euler (2009) heftig attackiert.

Unabhängig von der dargestellten wissenschaftlichen Diskussion ist das vorgestellte Projekt eines Large Scale Assessment in der beruflichen Bildung in seiner ursprünglichen Konzeption gekippt worden (Kremer, 2010) – in erster Linie sind Finanzierungsprobleme in den Partnerländern dafür verantwortlich (Bundesministerium für Bildung und Forschung). Nichts desto trotz sieht Kremer (2010) in der aktuellen Entwicklung der Erziehungswissenschaft sowie der Berufspädagogik eine Tendenz hin zur empirischen Bildungsforschung. Kennzeichnend sei dabei, dass nicht nur singuläre Erhebungen gefördert werden – vielmehr würden Programme konzipiert, um eine Datenbasis für multiperspektivische Erhebungen aufzubauen. Damit sind die prinzipiellen Rahmenbedingungen für ein Large Scale Assessment im Bereich der beruflichen Bildung gegeben.

3.3  Neuere Entwicklungen und Alternativen

Auf dieser Grundlage hat sich in einem sehr viel kleineren Rahmen eine Forschungsgruppe der Universität Bremen mit der Entwicklung eines Assessments unter dem Akronym „KOMET“ beschäftigt. Zunächst im Auftrag der Bildungsressorts der Bundesländer Hessen und Bremen wurde auf Grundlage eines dreidimensionales Kompetenzmodells (Anforderungsdimension, Handlungsdimension und Inhaltsdimension) ein Testverfahren entwickelt und erprobt (vgl. Rauner, Haasler, Heinemann, Piening & Maurer, 2010). Ausführlich sind die Ergebnisse in Projektberichten der wissenschaftlichen Begleitung unter Federführung von Rauner veröffentlicht worden (Rauner, Haasler, Heinemann, Maurer & Piening, 2010; Rauner, Haasler, Heinemann, Piening & Maurer, 2009, 2010).

Es geht auch bei dieser Studie um die Erprobung eines Large Scale Assessment im berufsbildenden Bereich, der vergleichbar mit der PISA-Studie international einsetzbar ist. So sind Kooperationen mit chinesischen Berufsschulen bereits durchgeführt und Kritiken an den Instrumentarien von Achtenhagen und Baethge berücksichtigt worden. Auf der Projektwebseite wird explizit auf die realitätsnahen, offenen und komplexen Testaufgaben verwiesen und allgemein von einem schlanken Testarrangement gesprochen (FG Berufsbildungsforschung, Universität Bremen, o.J.). Das Projekt wurde als KOMET NRW im Anschluss auch in Nordrhein-Westfalen durchgeführt (Rauner et al., 2013; Rauner, Piening, Heinemann, Hauschildt & Frenzel, 2015).

Münk, Dieter, Schelten und Schmid (2010) machen den Hauptunterscheid der beiden Ansätze am Kompetenzbegriff deutlich: Während demnach eine analytische Kompetenzerfassung auf die Identifizierung hinsichtlich interner, für die Kompetenz relevanter Strukturen, Bedingungen und Prozesse zielt (Baethge, 2010), orientiert sich eine holistische Kompetenzermittlung an dem tatsächlich gezeigten Verhalten in der beruflichen Praxis, wobei Performanz die äußerlich beobachtbare Form der berufliche Kompetenz darstellt (vgl. Rauner, Haasler, Heinemann, Piening et al., 2009, 2010). Wie dargestellt wird sowohl von politischen als auch von wirtschaftlichen Akteuren Letzteres klar bevorzugt.

4  Zusammenfassung und Ausblick

Im Verlauf des Artikels wurden Evaluationen im Bildungsbereich thematisiert. Hierzu wurde ein erster Versuch unternommen, anhand einer Unterteilung in vier Ebenen jeweils exemplarisch Verfahren vorzustellen. Einzelne Instrumente wurden stichpunktartig thematisiert und wann immer vertretbar lediglich auf ein einschlägiges Werkzeug verwiesen.

Im Anschluss wurde das Thema Large Scale Assessment in der Berufsbildung thematisiert, wobei die Machbarkeitsstudie von Baethge et al. (2008) im Mittelpunkt stand. Dabei wurden die Konfliktlinien aufgezeigt und drei verschiedene Positionen vorgestellt – Befürworter der Studie, Detailkritiker und Fundamentalkritiker. Bei der Besprechung der Alternativen sticht die KOMET-Studie hervor.

Es bleibt abzuwarten, ob sich die Alternativstudie für ein Large Scale Assessment langsam durchsetzen kann und ein internationales Berufsbildungs-PISA möglich wird, nachdem die groß angelegte Machbarkeitsstudie nicht umgesetzt wurde. Für die Konkurrenzstudie aus Bremen spricht, dass Kritikpunkte in dem kontinuierlichen Entwicklungsprozess der Studie eingearbeitet wurden und werden. Ein Beispiel für die schrittweise Entwicklung ist die frühe Zusammenarbeit mit chinesischen Berufsschulen in Peking, um die internationale Tauglichkeit der Studie unter Beweis zu stellen; die internationale Ausrichtung der Studie wurde stetig erweitert (vgl. Rauner et al., 2015, S. 26)

Literaturverzeichnis

Achtenhagen, F., Baethge, M. 2005. Kompetenzentwicklung unter einer internationalen Perspektive – makro- und mikrostrukturelle Aspekte. In: Gonon, P., Klauser, F., Nickolaus R. Kompetenz, Kognition und neue Konzepte der beruflichen Bildung (Schriftenreihe der Sektion Berufs- und Wirtschaftspädagogik der DGf E). Wiesbaden: VS Verlag für Sozialwissenschaften, 25-54.

Arbeitsgruppe Schulinspektion. 2016. Schulinspektion als Steuerungsimpuls? Ergebnisse aus Forschungsprojekten (Educational Governance, Bd. 25). Wiesbaden: Springer VS.

Baethge, M., Arends, L. 2008. International Large Scale Assessment of Vocational Education and Training (VET-LSA). CESifo DICE Report, 6 (2): 29-35.

Baethge, M. 2010. Ein europäisches Berufsbildungs-PISA als politisches und methodisches Projekt. In Münk,D., Schelten, A. Kompetenzermittlung für die Berufsbildung. Verfahren, Probleme und Perspektiven im nationalen, europäischen und internationalen Raum (Schriftenreihe des Bundesinstituts für Berufsbildung, Bonn, Bd. 8, 19-36). Bielefeld: Bertelsmann. Zugriff am 10.08.2016. Verfügbar unter http://www.pedocs.de/volltexte/2010/3078/pdf/Baethge_Berufsbildungs_PISA_2010_D_A.pdf.

Baethge, M., Achtenhagen, F., Arends, L. 2006. Berufsbildungs-PISA. Machbarkeitsstudie. Stuttgart: Steiner.

Baethge, M., Arends, L. 2009. Feasibility Study VET-LSA. A comparative analysis of occupational profiles and VET programmes in 8 European countries. International report (Vocational Training Research Nr. 8). Bonn: The Federal Ministry of Education and Research (BMBF). Zugriff am 09.08.2016. Verfügbar unter https://www.bmbf.de/pub/band_acht_berufsbildungsforschung_eng. pdf

Baur, R. S., Goggin, M., Wrede-Jackes, J. 2013. Der C-Test. Einsatzmöglichkeiten im Bereich Da Z. Zugriff am 22.08.2016. Verfügbar unter https://www.uni-due.de/imperia/md/content/prodaz/c_test_einsatzmoeglichkeiten_daz.pdf.

Bundesministerium für Bildung und Forschung. 2016. Kompetenzmessung (national und international), Bundesministerium für Bildung und Forschung. Zugriff am 09.08.2016. Verfügbar unter https://www.bmbf.de/de/kompetenzmessung-national-und-international-1228.html.

Bundesministerium für Bildung und Forschung. 2007. Pressemitteilung,119/2007.

Custer, R. L., Schell, J. W., Mc Alister, B. 2000. Using Authentic Assessment in Vocational Education (Information Series Nr. 381), Columbus, OH.

Endres, G. L. 2016. Berufsbildungs-PISA für Europa. Vergleichen was nicht vergleichbar ist? Zugriff am 23.08.2016. https://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0ah UKEwi X3Zvu8df OAh XHvx QKHdn FAHc QFgge MAA&url=http%3A%2F%2 Fwww.endres-bildung.de%2Fimages%2Fbeitraege%2F73%2Fendres%2520europ%2520beruf%2520 28%2C10%2C07.doc&usg=AFQj CNFf YLnr3L-mto Dn-6UHOa XXjf A00Q.

Euler, P. 2009. Bemerkungen über die Rede von der ‚Ökonomisierung’ der Bildung – oder: Kapitalverwertung als ‚Fehltritt’ (Koneffke) bürgerlicher Gesellschaft. In: Bünger, C., Mayer, R., Messerschmidt A. Bildung der Kontrollgesellschaft. Analyse und Kritik pädagogischer Vereinnahmungen. Festschrift für Ludwig A. Pongratz. Paderborn: Schöningh, 97-107.

FG Berufsbildungsforschung, Universität Bremen. 2016. Messen, Prüfen und Entwickeln beruflicher Kompetenz, FG Berufsbildungsforschung, Universität Bremen. Zugriff am 09.08.2016. Verfügbar unter http://www.ibb.uni-bremen.de/de/komet.

Frost, U. 2006. Unternehmen Bildung. Die Frankfurter Einsprüche und kontroverse Positionen zur aktuellen Bildungsreform. Paderborn: Schöningh.

Granzer, D., Wendt, P., Berger, R. 2008. Selbstevaluation in Schulen. Theorie, Praxis und Instrumente (Pädagogik). Weinheim: Beltz.

Hauptverband des Deutschen Einzelhandels (2007, 28. Juni). Berufsbildungs-PISA: Ja, aber wie? Bildungs-Info des Handels, 7.

Hauptverband des Deutschen Einzelhandels. 2008. Berufsbildungs-PISA: Ja, aber wie? Bildungs-Info des Handels, 1.

Hessische Lehrkräfteakademie. 2016. Ablauf der Schulinspektion. Die vier Phasen der zweiten Schulinspektion, Hessische Lehrkräfteakademie. Zugriff am 22.08.2016. Verfügbar unter https://la.hessen.de/irj/LSA_Internet?uid=e135499b-f5db-f317-9cda-a2b417c0cf46.

Holland, D. 2009. Interne Evaluation der Georg-Forster-Gesamtschule Wörrstadt mit Hilfe von SEIS. In S. Appel, H. Ludwig, U. Rother & G. Rutz (Hrsg.), Leben – Lernen – Leisten (Jahrbuch Ganztagsschule, Bd.2009, S.162-175). Schwalbach, Taunus: Wochenschau. Zugriff am 13.10.2015. Verfügbar unter http://www.pedocs.de/volltexte/2011/4867/pdf/Jb G_2009_Holland_Interne_Evaluation_D_A.pdf.

Kloas, P.-W. o.J. Berufsbildungs-PISA: Noch viele Fragen offen. Zentralverband des Deutschen Handwerks.

Krautz, J. 2007. Ware Bildung. Schule und Universität unter dem Diktat der Ökonomie. Kreuzlingen: Diederichs.

Kremer, M. 2010. Kompetenzorientierung setzt valide Kompetenzmessung voraus. Berufsbildung in Wissenschaft und Praxis (1), 3. Editorial.

Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik. o.a. alles könner, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik. Zugriff am 22.08.2016. Verfügbar unter http://www.ipn.uni-kiel.de/de/das-ipn/abteilungen/didaktik-der-biologie/forschung-und-projekte/abgeschlossene-projekte/alles-koenner.

Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik. o.J.b. Beispielaufgaben aus den PISA-Testungen, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik. Zugriff am 10.08.2016. Verfügbar unter http://archiv.ipn.uni-kiel.de/PISA/fr_reload. html?beispielaufgaben.html.

Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik. o.J.c. Mathematisch-naturwissenschaftliche Kompetenzen in der beruflichen Erstausbildung. Man Kob E, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik. Zugriff am 22.08.2016. Verfügbar unter http://www.ipn.uni-kiel.de/de/forschung/projekte/mankobe.

Leucht, M., Kampa, N., Köller, O. 2016. Fachleistungen beim Abitur. Vergleich allgemeinbildender und beruflicher Gymnasien in Schleswig-Holstein (1. Aufl.): Waxmann.

Meyer, J. W., Rowan, B. 1977. Institutionalized Organizations: Formal Structure as Myth and Ceremony. American Journal of Sociology, 83 (2): 340-363.

Münch, R. 2009. Globale Eliten, lokale Autoritäten. Bildung und Wissenschaft unter dem Regime von PISA, Mc Kinsey & Co (Edition Suhrkamp, Bd. 2560, Orig.-Ausg.). Frankfurt am Main: Suhrkamp.

Münk, D., Schelten, A., Schmid, A. 2010. Perspektiven der Kompetenzmessung. Forschungsstand und Desiderate aus internationaler und europäischer sowie aus der Binnenperspektive. In Münk, D., Schelten,A. Kompetenzermittlung für die Berufsbildung. Verfahren, Probleme und Perspektiven im nationalen, europäischen und internationalen Raum (Schriftenreihe des Bundesinstituts für Berufsbildung, Bonn, Bd. 8, S.7-16). Bielefeld: Bertelsmann. Zugriff am 10.08.2016. Verfügbar unter http://scheltenpublikationen.userweb.mwn.de/pdf/muenkscheltenschmidvorwortagbfn2008.pdf.

Pütz, H. 2002. „Berufsbildungs-PISA” wäre nützlich. Berufsbildung in Wissenschaft und Praxis (3), 3-4. Zugriff am 10.08.2016. Verfügbar unter https://www.bibb.de/veroeffentlichungen/de/publication/download/id/691.

Radtke, F.-O. 2003. Die Erziehungswissenschaft der OECD. Aussichten auf die neuen Performanz-Kultur. In: Nittel, D., Seitter, W. Die Bildung des Erwachsenen,109-136. Bielefeld: Bertelsmann. Zugriff am 14.10.2013. Verfügbar unter http://dgfe-aktuell.uni-duisburg.de/hefte/heft27/beitrag6.pdf.

Radtke, F.-O. 2009. Evidenzbasierte Steuerung. Der Aufmarsch der Manager im Erziehungssystem. In: Tippelt, R. Steuerung durch Indikatoren (Vorstandsreihe der Deutschen Gesellschaft für Erziehungswissenschaft DGf E). Opladen: Budrich, 157-180.

Rauner, F., Haasler, B., Heinemann, L. 2009. Messen beruflicher Kompetenzen. Band I: Grundlagen und Konzeption des KOMET-Projektes (Bildung und Arbeitswelt, Bd. 20, 2. Aufl.). Münster: LIT.

Rauner, F., Haasler, B., Heinemann, L. 2010. Berufliche Kompetenzen messen. Das Projekt Komet (Elektroniker) des Bundeslandes Hessen. Abschlussbericht der wissenschaftliche Begleitung. Zugriff am 10.08.2016. Verfügbar unter http://berufliche.bildung.hessen.de/komet/Abschlussbericht_komplett_KOMET_Hessen_240810_final.pdf.

Rauner, F., Haasler, B., Heinemann, L. 2009. Berufliche Kompetenzen messen. Das Projekt KOMET der Bundesländer Bremen und Hessen. Zwischenbericht der wissenschaftlichen Begleitung. Zugriff am 10.08.2016. Verfügbar unter http://berufliche.bildung.hessen.de/komet/Zwischenbericht_KOMET_Feb09_druck Final.pdf.

Rauner, F., Haasler, B., Heinemann, L. 2010. Berufliche Kompetenzen messen. Das Projekt KOMET der Bundesländer Bremen und Hessen. Zweiter Zwischenbericht der wissenschaftlichen Begleitung. Zugriff am 10.08.2016. Verfügbar unter http://berufliche.bildung.hessen.de/komet/2. Zwischenbericht_KOMET_040510.pdf.

Rauner, F., Heinemann, L., Maurer, A. 2014. Messen beruflicher Kompetenzen. Band III; Drei Jahre KOMET-Testerfahrung (Bildung und Arbeitswelt, Bd. 24, 2. Aufl.). Berlin: LIT.

Rauner, F., Heinemann, L., Piening, D. 2009. Messen beruflicher Kompetenzen. Band II: Ergebnisse KOMET 2008 (Bildung und Arbeitswelt, Bd. 22, 2. Aufl.). Münster: LIT.

Rauner, F., Piening, D., Heinemann, L. 2015. KOMET NRW. Ein ambitioniertes Projekt der Qualitätssicherung und -entwicklung in der dualen Berufsausbildung. Abschlussbericht: Zentrale Ergebnisse. : Forschungsgruppe Berufsbildungsforschung, Universität Bremen. Verfügbar unter http://www.ibb.uni-bremen.de/files/upload/documents/publications/KOMET_NRW_Abschlussbericht_Zentrale%20Ergebnisse.pdf.

Rauner, F., Zhao, Z., Martens, T.2013. Berufliche Kompetenzen messen. Das Modellversuchsprojekt KOMET (Metall). Abschlussbericht. Zugriff am 10.08.2016. Verfügbar unter http://www.fes-wbn.de/uploads/media/__KOMET_Metall_Abschluss_01072013_fin_klein.pdf.

Regionalabteilung Braunschweig, Niedersächsische Landesschulbehörde. 2016. Das Selbstbewertungskursbuch Orientierungsrahmen Schulqualität, Regionalabteilung Braunschweig, Niedersächsische Landesschulbehörde. Zugriff am 10.08.2016. Verfügbar unter http://www.nibis.de/nibis.php?menid=3439.

Sloane, P. F. E. 2009. Berufsbildungs-PISA – Ein neuer Turm in der Bildungslandschaft? Berufsbildung. Zeitschrift für Praxis und Theorie in Betrieb und Schule, 63 (119): 2-3.

Stern, C. 2006. Bessere Qualität in allen Schulen. Praxisleitfaden zur Einführung des Selbstevaluationsinstruments SEIS in Schulen. Gütersloh: Bertelsmann-Stiftung.

Universität Göttingen, Arends, L., Winther, E. 2016. Large Scale Assessment for Vocational Education and Training, Universität Göttingen. Zugriff am 10.08.2016. Verfügbar unter http://www. uni-goettingen.de/en/71730.html.

Unterricht und Kompetenzerwerb in Deutsch und Englisch. Ergebnisse der DESI-Studie. 2008. (Beltz Pädagogik). Weinheim: Beltz.

Wang, J. 2016. Qualitätssicherung der Lehrerausbildung für berufsbildenden Schulen in China. Alte Lösung für neue Probleme?! Chinesisch-Deutscher Workshop zur Berufsbildungsforschung, Darmstadt. Zugriff am 22.08.2016. Verfügbar unter http://www.abpaed.tu-darmstadt.de/media/abpaed/chinesisch_deutsche_kooperation/vortraege_4th_vet_workshop/Wang_Jiping_QS_Lehrerausbildung_China.pdf.

Weick, K. E. 1976. Educational Organizations as Loosely Coupled Systems. Administrative Science Quarterly, 21 (1):1-19.

Wittmann, E., Grunau, J. 2009. Berufsbildungs-PISA. Herausforderungen und Perspektiven im Bereich Social und Health Care. Berufsbildung. Zeitschrift für Praxis und Theorie in Betrieb und Schule, 63 (119):14-17.

Zeitschrift für Berufs- und Wirtschaftspädagogik. 2006. Ein „Berufsbildungs-PISA“ als Prüfstand für unser Berufsbildungssystem ist notwendig. Interview mit dem Vorsitzenden des Bundesverbandes für Lehrerinnen und Lehrer an beruflichen Schulen e.V. (BLBS), Berthold Gehlert. Zeitschrift für Berufs- und Wirtschaftspädagogik, 102 (4):490-498.