Lars Balzer, Wolfgang Beywl

evaluiert

erweitertes Planungsbuch für Evaluationen im Bildungsbereich

ISBN Print: 978-3-0355-0872-7

ISBN E-Book: 978-3-0355-0873-4

Gestaltung und Satz: tiff.any GmbH, Berlin, www.tiff.any.de

Umschlagfoto: Peter Bachmann, Bern, www.pbfotografie.ch

2. Auflage 2018

Alle Rechte vorbehalten

© 2018 hep verlag ag, Bern

www.hep-verlag.com

Inhaltverzeichnis

Vorwort

1 Einstieg ins Thema

2 Was ist Evaluation?

2.1 Wissenschaftliche Evaluation statt Alltagsbewertung

2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-) Forschung

2.3 Evaluation als Qualitätsmanagement bzw. Controlling?

2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung

3 Evaluationsprozess und Auftrag

4 Bestimmung des Evaluationsgegenstandes

5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

5.1 Geld- und Auftraggebende der Evaluation

5.2 Finanzierende und Träger des Bildungsangebots

5.3 Programmleitende und -mitarbeitende

5.4 Teilnehmende

5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen

5.6 Sonstige Akteure

5.7 Evaluierende

5.8 Akteure im Zusammenspiel

6 Bestimmung der Evaluationszwecke und -fragestellungen

6.1 Evaluationszwecke

6.1.1 Evaluationszwecke nach Funktionen

6.1.2 Evaluationszwecke nach Verwendungsabsichten

6.1.3 Zusammenspiel von Zwecken nach Funktion, nach Verwendungsabsicht sowie Rolle der Evaluation

6.1.4 Verdeckte Zwecksetzungen

6.2 Evaluationsfragestellungen

6.2.1 Festlegen der Evaluationsfragestellungen

6.2.2 Formulierung von Evaluationsfragestellungen

6.2.3 Arten von Evaluationsfragestellungen

7 Festlegung der Bewertungskriterien

8 Auswahl von Erhebungsdesign und -methoden

8.1 Erhebungsdesigns

8.2 Datenerhebungsmethoden

8.3 Erhebungsdesign und Datenerhebungsmethoden im Zusammenspiel

9 Durchführung der Erhebungen

10 Datenauswertung, Interpretation und Bewertungssynthese

11 Berichterstattung

11.1 Adressierte

11.2 Zeitpunkte

11.3 Verantwortung und Zuständigkeiten

11.4 Auswahl geeigneter Berichterstattungsformate

11.4.1 Schriftliche Berichte

11.4.2 Mündliche Berichterstattungsformate

12 Nutzung der Ergebnisse

13 Evaluation der Evaluation

14 Fragebogen erstellen

14.1 Inhalt von Fragebogen und Verbindung zum Evaluationszweck

14.2 Aufbau und Gestaltung von Fragebogen

14.3 Zwei Grundformen der Frage

14.4 Herausforderungen bei Antwortvorgaben

14.5 Hinweise zur Frageformulierung

14.6 Checkliste für den Vorabtest

15 Text-Sortier-Technik (TST)

16 Fallbeispiele

16.1 Evaluation «Jugendprojekt LIFT»

16.1.1 Bestimmung des Evaluationsgegenstandes

16.1.2 Bestimmung der Interessierten Akteure und die Rolle der Evaluierenden

16.1.3 Bestimmung der Evaluationszwecke und -fragestellungen

16.1.4 Festlegung der Bewertungskriterien

16.1.5 Auswahl von Erhebungsdesign und -methoden

16.1.6 Durchführung der Erhebungen

16.1.7 Datenauswertung, Interpretation und Bewertungssynthese

16.1.8 Berichterstattung

16.1.9 Nutzung der Ergebnisse

16.1.10 Evaluation der Evaluation

16.2 Evaluation der Campusbibliothek Brugg-Windisch

16.2.1 Bestimmung des Evaluationsgegenstandes

16.2.2 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

16.2.3 Bestimmung der Evaluationszwecke und -fragestellungen

16.2.4 Festlegung der Bewertungskriterien

16.2.5 Auswahl von Erhebungsdesign und -methoden

16.2.6 Durchführung der Erhebungen

16.2.7 Datenauswertung, Interpretation und Bewertungssynthese

16.2.8 Berichterstattung

16.2.9 Nutzung der Ergebnisse

16.2.10 Evaluation der Evaluation

Literaturverzeichnis

Verzeichnis der Abbildungen

Verzeichnis der Tabellen

Verzeichnis der Übungsaufgaben

Onlineressourcen für die Evaluation

Musterlösungen zu den Übungsaufgaben

Glossar

Vorwort

Evaluation hat in den letzten 25 Jahren auch im deutschsprachigen Raum eine steile Karriere gemacht. Ihre Wurzeln und großen Potenziale liegen insbesondere auch im Bildungsbereich. Evaluation kann helfen, Angebote vom Eltern-Kind-Turnen über den Computerkurs bis hin zur Facharzt-Weiterbildung und viele Hunderte mehr systematisch zu beschreiben und zu bewerten, meist mit dem Zweck, diese zu verbessern.

Diejenigen, die Bildungsprogramme finanzieren oder verantwortlich leiten, geben eine Evaluation in Auftrag, sei es an interne Mitarbeitende oder an Externe. Diese Evaluierenden müssen über einschlägiges Evaluationswissen und -können verfügen: wie sie zu relevanten und beantwortbaren Evaluationsfragestellungen kommen; wie sie Evaluationspläne an diese Fragestellungen anpassen; wie sie Evaluationskriterien festlegen; welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben; welche methodischen Herausforderungen sie meistern müssen; wie sie gewonnene Daten verarbeiten; wie sie die Nutzung der erzielten Ergebnisse fördern können und vieles Weitere mehr.

Dieses Buch ist ein praxisnaher Leitfaden für die Planung, Durchführung und Bewertung einer Evaluation und bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der dafür erforderlichen Kompetenzen.

Wenn Sie sich mit Unterstützung dieses Buches erarbeiten, wie Sie nützliche und glaubwürdige Evaluationen planen und durchführen, dann nutzen Sie Erfahrungen aus vielen erfolgreichen und oft herausfordernden Lerngeschichten. Personen, die mit verschiedenen Vorgängerversionen dieses Buches autodidaktisch oder in einer der zahlreichen Aus- und Weiterbildungsveranstaltungen gearbeitet haben, hatten es mit unterschiedlichen Problemstellungen und Hindernissen der Evaluation zu tun, und konnten vielfach entsprechende Lösungen für diese finden.

Der vorliegende Text hat seine Wurzeln in Veranstaltungsskripten und Studienbriefen (z.B. Beywl & Balzer, 2009, Balzer & Beywl, 2014) und natürlich in seiner ersten Auflage (Balzer & Beywl, 2015), die mit dem vorliegenden Text grundlegend überarbeitet und erweitert worden ist: Dazu gehören einerseits Ergänzungen und Präzisierungen vorhandener Kapitel. So wird die einheitliche Begriffsverwendung weiter geschärft – z.B. wird nun konsequent die Bezeichnung «Evaluationsprojekt» verwendet, wenn eine geplante oder realisierte Evaluation gemeint ist. Das Wort «Projekt» als eine Klasse von Evaluationsgegenständen wird hingegen wenn immer möglich durch Bezeichnungen wie «Programm» oder «Maßnahme» ersetzt. Ebenso ist das Designkapitel grundlegend überarbeitet, und Evaluationszwecke werden nun konsistenter als verbesserungsorientiert, rechenschaftslegungsorientiert, grundsatzentscheidungsorientiert und wissensgenerierend unterschieden. Die aktuellen Revisionen der DeGEval- und SEVAL-Evaluationsstandards sind eingearbeitet. In der deutschsprachigen Fachliteratur bislang wenig ausgeführte Themen wie die Typisierung von Evaluationsfragestellungen, das Verständnis von «Daten» in der Evaluation, die Festlegung der Evaluationskriterien, die Bewertungssynthese sowie der Einfluss durch Evaluation sind weiter vertieft. Darüber hinaus kommen Kapitel zur Fragebogenkonstruktion und zur Text-Sortier-Technik sowie zwei ausführliche Fallbeispiele hinzu. Sowohl neue wie aktualisierte Literatur ist eingearbeitet.

Der Titel dieses Buches ist ein Vorgriff auf das, was Sie nach einer systematisch durchgeführten Evaluation erreicht haben, und markiert den Abschluss eines Dreischritts:

❙ evaluiert? – Ein legitimer, vielfach notwendiger Checkpunkt, der in der Lebensphase eines Programms anzuwenden ist.

❙ evaluiert! – Ein Planungsentschluss, der gefasst wird, wenn die Evaluation einer Maßnahme als möglich und nutzenversprechend eingeschätzt wird.

❙ evaluiert. – Der Schlusspunkt hinter der Durchführung einer Evaluation, an den sich gelegentlich ein neuer Dreischritt anschließt.

Mit dem im Untertitel genannten «Bildungsbereich» sind auch zahlreiche benachbarte Felder angesprochen. Zum einen sind dies alle Bildungsstufen von der frühen Bildung über die allgemeinbildenden Schulstufen und die grundständige Berufsbildung bis hin zur hochschulischen Bildung sowie der allgemeinen und beruflichen Weiterbildung. Zum anderen sind dies Handlungsfelder der Sozialen Arbeit, des Gesundheitsbereichs, der Verbraucherarbeit, der Beratung, des Coachings und viele andere mehr. Wichtig ist, dass es zumindest im weitesten Sin- ne um intentionales, also zielgerichtetes Lernen geht, das im Rahmen von Programmen stattfindet. Was hier unter einem Programm verstanden wird, schlagen Sie am besten gleich im ➞ Glossar am Ende des Buches nach – das Wort bzw. der Wortbestandteil wird über 500-mal in diesem Buch genutzt. Sie werden das Buch auch nutzen können, wenn das Gegenstandsfeld ein anderes ist als Bildung – vieles lässt sich 1:1 übertragen. Die Erarbeitung der für Evaluationen kennzeichnenden Methodologie wird dadurch erleichtert, dass die Beispiele aus dem Bereich Bildung aus einem für viele bekannten Kontext stammen.

Adressierte dieses Buches sind alle, die sich die fachlichen Grundlagen der Evaluation erarbeiten wollen, um Evaluationen Schritt für Schritt planen und schließlich erfolgreich umsetzen zu können. Angesprochen sind zum einen Studierende in den grundständigen Bachelor-, besonders den Masterstudiengängen im Bereich der Bildungswissenschaften und auch der sozialen Arbeit sowie ihrer Bezugsdisziplinen, u.a. Psychologie, Soziologie und Wirtschaftswissenschaft. Zum anderen richtet sich das Buch an Weiterbildungsstudierende in Programmen, die ein substanzielles Element zur Evaluation enthalten, z.B. im Bereich des Projekt-, Change- oder Qualitätsmanagements. Schließlich gehören auch Fachpersonen in Bildungsorganisationen und -abteilungen, die ihr Wissen und Können im Prozess der Arbeit auf- und ausbauen wollen, zu den Hauptadressierten.

Erfahrene Evaluierende können dieses Buch im Rahmen eines kombinierten Schulungs- und Beratungsangebotes einsetzen. Präsenzzeiten der Teilnehmenden können – wie schon vielfach mit den Vorläufern dieses Buches umgesetzt – durch die vorbereitende Lektüre und evtl. in Kombination mit der Bearbeitung der Übungsaufgaben reduziert werden. Durch ein solches Konzept eines «inverted classroom» kann diese Präsenzzeit effektiver für kollegiale Beratung und Coaching durch Evaluationsexpertinnen und -experten genutzt werden. Dabei kann z.B. eine reale Evaluation über zehn – jeweils durch ein Buchkapitel erläuterte – Schritte geplant und gegebenenfalls danach tatsächlich umgesetzt werden.

Detaillierte Lernziele dieses Buches finden sich je zu Beginn der ➞ Kapitel 2–13. Durch ein intensives Studium dieses Buches können Sie u.a.:

❙ wissenschaftliche Evaluation definieren,

❙ eine systematische Schrittfolge für eine für den Auftrag maßgeschneiderte Evaluation planen,

❙ den jeweiligen Evaluationsgegenstand differenziert beschreiben,

❙ die im Rahmen einer Evaluation zu berücksichtigenden Akteure identifizieren,

❙ Evaluationszwecke und -fragestellungen präzise formulieren,

❙ Kriterien für die systematische Bewertung klären und anwenden,

❙ geeignete Erhebungsdesigns auswählen und Erhebungsmethoden bestimmen,

❙ die Erhebungsarbeiten effizient und flüssig in den Bildungsalltag einbetten, mit einem Schwerpunkt bei Fragebogen,

❙ Auswertungs- und Bewertungsarbeiten konzipieren und abstimmen, mit einer Vertiefung bei qualitativen Daten,

❙ Evaluationsberichte auf die Adressierten zeitlich und inhaltlich abstimmen,

❙ die effektive Nutzung der Evaluation und ihrer Ergebnisse vorbereiten,

❙ sowie Voraussetzungen für eine Evaluation der Evaluation – die sogenannte Meta-Evaluation – schaffen.

Es empfiehlt sich, das Buch von vorne nach hinten durchzuarbeiten. ➞ Kapitel 1 enthält eine kleine Fallbeschreibung dazu, welche Herausforderungen sich schon ganz zu Beginn der Evaluation einer Bildungsmaßnahme stellen. Das Beispiel ist bewusst einfach gewählt. Dennoch entfaltet sich in seinen fiktiven Dialogen bereits die Komplexität, deren Bewältigung auch für erfahrene Evaluierende immer wieder eine große Herausforderung darstellt. In vielen der 39 Beispielkästen der nachfolgenden Kapitel wird auf dieses Eingangsszenario zurückgegriffen. Andere enthalten verdichtete kurze Fallbeispiele von Evaluationen, jeweils bezogen auf das im Kapitel behandelte Thema.

Die folgenden ➞ Kapitel 2–13 führen in die Methodologie und Fachsprache der Evaluation ein. Die Kompetenzen der Datenerhebung müssen Sie entweder bereits aus anderen Studien mitbringen oder durch Bearbeitung von einschlägigen Lehrbüchern zu empirischen Methoden evtl. in Kombination mit entsprechenden Studienangeboten erwerben. Gleiches gilt für die qualitativen und quantitativen Auswertungsverfahren. In den entsprechenden Kapiteln dieses Buches geben wir Literaturempfehlungen, welche durch Internetquellen ergänzt werden.

Für die zweite Auflage wurden alle Kapitel überarbeitet. Das gilt besonders für die ➞ Kapitel 7 (Bewertungskriterien) und 8 (Erhebungsdesign). In ➞ Kapitel 10 ist die Bewertungssynthese ausführlicher behandelt. Neu erarbeitet sind auch die Übungsaufgabe zur Unterscheidung von Fragestellungs-Arten sowie die Ausführungen zur Verbindung von Evaluationsfragestellungen und Erhebungsmethoden in ➞ Kapitel 6. Von den knapp 320 Literaturangaben ist mehr als ein Viertel neu hinzugekommen oder aktualisiert.

Eine exemplarische Erweiterung und Vertiefung bei Erhebung und Auswertung bilden die neu aufgenommenen ➞ Kapitel 14 und 15, welche unter einer evaluationsspezifischen Perspektive in die Konstruktion von Fragebogen sowie in die qualitative Auswertungsmethode Text-Sortier-Technik einführen. Ebenfalls neu ist ➞ Kapitel 16, in dem zwei reale Fallbeispiele den zuvor geschilderten zehnschrittigen Evaluationsprozess illustrieren.

Vielfach wird in späteren Kapiteln das Wissen der vorangehenden vorausgesetzt. Eine Besonderheit besteht darin, dass alle Fachbegriffe nach bestimmten Regeln definiert sind und sie bei jeder Verwendung im Buch stets dieselbe Bedeutung haben. Sie finden die Begriffserklärungen im angehängten Glossar, das – wie einige andere im Literaturverzeichnis aufgeführte aktuelle Publikationen – auf dem noch umfangreicheren Online-Glossar des Evaluationsinstituts Univation basiert (vgl. Schobert, Beywl & Niestroj, 2016). Es ist unter http://eval-wiki.org/glossar/Eval-Wiki:_Glossar_der_Evaluation verfügbar.

Die meisten Kapitel des Evaluationsprozesses enthalten Übungsaufgaben. Diese ermöglichen es, Ziele unterschiedlicher Anspruchsniveaus zu verfolgen, von der Erarbeitung des Begriffsverständnisses über die Anwendung von Wissen auf vorgegebene Fallbeispiele bis hin zum Transfer auf reale Praxisbeispiele aus den Bildungsfeldern, in denen Sie tätig sind. Im Anhang des Buches finden Sie passende Musterlösungen. Für am Selbststudium Interessierte empfiehlt es sich, alle Übungsaufgaben durchzuarbeiten. Wenn Sie in Lerngruppen arbeiten, tauschen Sie sich zu Ihren Lösungen aus. Wenn Sie an einer Präsenzweiterbildung teilnehmen, in der Sie von Evaluationsexpertinnen und -experten begleitet werden, ist auf die Bearbeitung der Übungsaufgaben eventuell zu verzichten.

Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum leichteren Verständnis haben wir diese sinngemäß ins Deutsche übersetzt und die übersetzten Textteile in den Text integriert. In den Kapiteln zur Fragebogenerstellung und zur Text-Sortier-Technik sowie in den beiden Fallbeispielen werden Originaldokumente aus Evaluationen in der Deutschschweiz genutzt, mit leicht abweichender Rechtschreibung.

Sollten Sie bei der Lektüre des Buches auf Fehler oder unklare Passagen stoßen, schreiben Sie uns bitte eine E-Mail an: evaluiert@lars-balzer.info.

Lars Balzer und Wolfgang Beywl, Zollikofen und Bern, im Oktober 2018

1 Einstieg ins Thema

Was ist eigentlich eine Evaluation?

Fallbeispiel

Stellen Sie sich einen Weiterbildungskurs zum Thema «Wie erstelle ich meine erste Homepage?» vor, in dem an vier Abenden Basiswissen über die Erstellung von Internetseiten vermittelt wird.

Nachdem dieser Kurs als Pilot gestartet ist, fragen sich die Weiterbildungsverantwortlichen in einem Teamgespräch, wie gut ihre Arbeit eigentlich ist. Nach Kursende gehen die Teilnehmenden ihrer Wege, man trifft sie nicht mehr. Ob mehr Wissen vorhanden ist als zuvor und ob tatsächlich eigene Internetseiten erstellt worden sind, ist den Weiterbildungsverantwortlichen normalerweise nicht bekannt. «Wir brauchen eine Evaluation, um zu überprüfen, ob wir gute Arbeit leisten», schlägt einer der Verantwortlichen vor. Bevor sie einen Evaluationsauftrag an eine interne oder eine externe Evaluationsfachperson formulieren, diskutieren sie die Möglichkeiten.

Erfolg = Zufriedenheit?

Herr Schmidt ist von dieser Idee sogleich begeistert: «Lasst uns doch am Ende des Kurses unsere Teilnehmenden fragen, ob sie mit uns und unserer Arbeit zufrieden sind. Wenn z.B. 85 Prozent von ihnen mit unseren Veranstaltungen zufrieden sind, gerne zu weiteren Veranstaltungen kommen würden und uns weiterempfehlen, können wir doch mit Recht sagen, dass wir Gutes geleistet haben.» – «Ja, das stimmt», ist man sich schnell einig, «doch hilfreicher und interessanter wäre zu wissen, was den restlichen 15 Prozent oder auch den Zufriedenen nicht gefallen hat, damit wir uns weiter verbessern können!»

Erfolg = kurzfristiges Wissen?

«Darüber hinaus», stellt Frau Zbinden fest, «sollten wir mehr wissen als nur, wie zufrieden unsere Teilnehmenden sind. Ich glaube, bei uns geht es auch mal ganz lustig zu und her, und das gefällt allen. Zufriedenheit ist wichtig, denn das erhöht die Chance, dass unsere Kunden wiederkommen. Aber hauptsächlich sollen sie doch etwas lernen.» Kopfnicken macht die Runde. «Wir könnten unsere Teilnehmenden also ergänzend befragen, ob sie etwas gelernt haben.» – «Wobei: Können das unsere Teilnehmenden wirklich selbst beurteilen? Wie wäre es anstelle dessen mit einem Wissenstest am Ende der letzten Stunde? So könnten sie sich einerseits selbst überprüfen, und wir könnten andererseits erkennen, was von den Inhalten tatsächlich behalten worden ist!» – «Ja, das würde uns sicher helfen», ist die einhellige Meinung.

Erfolg = nachhaltiges Wissen?

«Aber was heißt eigentlich ‹behalten›?», wirft Frau Lavric ein. «Ein Wissenstest im Anschluss an eine intensive Fortbildung überprüft vielleicht das Kurzzeitgedächtnis oder den Fleiß, also wie intensiv sich jemand auf die Abschlussprüfung vorbereitet hat. Ist aber nicht vielmehr interessant, was längerfristig noch gewusst wird?» Ratlosigkeit macht sich breit. «Sollen wir unsere Teilnehmenden vielleicht zwei Monate später noch einmal testen?», fragt Herr Schmidt ungläubig, gar nicht mehr so begeistert wie noch zu Beginn der Diskussion. «Und wie sollen wir sie dazu motivieren? Der ganze Aufwand!» Ein leises Stöhnen in der Runde ist nicht zu überhören.

Erfolg = Anwendung?

«Es wird noch viel schwieriger, bei genauer Überlegung.» Frau Lavric spricht sich in Fahrt: «Selbst wenn nach zwei Monaten noch alles richtig gewusst wird, ist das zwar schön, aber unser eigentliches Ziel ist doch, dass die Teilnehmenden nicht nur bei einem Wissenstest gut abschneiden, sondern dieses Wissen auch tatsächlich anwenden. Denn selbst wenn der Wissenstest zu einem späteren Zeitpunkt erfolgreich ablaufen sollte: Wer sagt uns, dass jemand auch vernünftige Internetseiten erstellen kann? Und vielleicht auch tatsächlich solche erstellt hat? Wissensvermittlung ist nur ein Zwischenziel; schöne, funktionelle, sichere und suchmaschinenoptimierte Internetseiten sind hingegen das, was wir eigentlich erreichen wollen.» – «Stimmt, also lasst uns doch die Teilnehmenden zwei Monate nach Abschluss des Kurses anrufen und fragen, ob sie Internetseiten erstellt haben.» Damit ist Herr Malte überhaupt nicht einverstanden: «Das ist zwar eine gute Idee, aber zwei Monate sind eine zu kurze Zeitspanne, und einfach ein paar Internetseiten zu erstellen, ist keine große Herausforderung. Wir müssen die Internetseiten anschauen und selbst nach gewissen Usability-Kriterien überprüfen. Also müssen wir nach den Internetadressen fragen.» – «Das stimmt. Und vielleicht können wir uns schon ein wenig auf die Schultern klopfen, wenn die einfachsten Regeln der Internetseitenprogrammierung eingehalten worden sind. Und wer weiß, vielleicht haben sie nach einer gewissen Zeit auch eine sehr gute Platzierung in diversen Suchmaschinen?!» – «Das Problem ist nur: Wie bekommen wir das heraus?» – «Was wir also brauchen, ist eine Datenerhebung längere Zeit nach Ende unserer Veranstaltung.» Erneutes Kopfnicken: «Hiermit würden wir weiterkommen!»

Was genau löst den Erfolg aus?

«Aber was wüssten wir dann eigentlich genau?», meldet sich Frau Lavric wieder zu Wort: «Selbst wenn wir das alles in Erfahrung bringen können und feststellen sollten, dass 46 Prozent unserer Teilnehmenden gute Internetseiten erstellt haben: Was bedeutet ein solcher Prozentsatz? Sind das viele, sind das wenige? Wie viele Personen hätten auch ohne Weiterbildung Internetseiten erstellt? Ihr wisst, das Thema ist aktuell, und überall gibt es Do-it-yourself-Bausätze. Könnten wir also mit 46 Prozent zufrieden sein? Und hat unsere Weiterbildung eigentlich einen Anteil am möglichen Erfolg?» – «Wir brauchen einen Vergleichsmaßstab», ist die einstimmige Schlussfolgerung. Doch das ist leichter gesagt als getan. «Wie wäre es, wenn wir uns mit unseren Kolleginnen und Kollegen in Düsseldorf vergleichen würden? Die haben ein sehr ähnliches Konzept und eine ähnliche Klientel.» – «Das führt uns zwar weiter, aber ob wir absolut betrachtet Erfolg haben, wissen wir nicht. Vielleicht sind wir besser als das Team in Düsseldorf, aber was nutzt das, wenn wir alle eigentlich recht schlecht sind? Umgekehrt könnte ich gut damit leben, im Vergleich etwas schlechter zu sein, aber absolut betrachtet ein gutes Weiterbildungsprogramm anzubieten.»

Wie kann man Wirksamkeit messen?

Jemand hat eine Idee: «Wir brauchen eine andere Personengruppe, die unsere Weiterbildung nicht besucht hat. Dann vergleichen wir die Internetseiten unserer Teilnehmenden mit denjenigen besagter Gruppe. Fällt der Vergleich positiv aus, können wir doch sagen, dass unsere Weiterbildung Erfolg hatte, oder?» Zufriedenheit ist auf den Gesichtern abzulesen. «Und wen nehmen wir als Vergleichsgruppe?» – «Wie wäre es mit den Teilnehmenden des Englischkurses? Die erfahren dort sicher nichts über Internetseitenerstellung.» – «Das stimmt zwar», wirft einer ein, «aber ist das wirklich ein fairer Vergleich? Unsere Teilnehmenden sind motiviert, Internetseiten zu erstellen. Die Teilnehmenden des Englischkurses teilen dieses Interesse nicht. Also könnte es auch sein, dass ein möglicher Erfolg auf diese Motivation zurückzuführen ist und sich dieser auch ohne unseren Kurs eingestellt hätte.»

Systematische Evaluationsplanung ist erforderlich

Ein Kollege mit Wissen über sozialwissenschaftliche Forschung hat dazu einen Einfall: «Wir brauchen eine Vergleichsgruppe, die sich hinsichtlich aller für das Erreichen der Weiterbildungsziele wichtigen Bedingungen wie Motivation oder Vorwissen nicht von den Teilnehmenden unserer Kurse unterscheidet. Eine solche Gruppe können wir ganz leicht auftreiben. Wir haben doch ohnehin mehr Anmeldungen, als wir in einem Monat bedienen können. Wenn wir von den nächsten 100 Anmeldungen 50 zufällig aussuchen, die wir sofort aufnehmen, und die anderen eben ein wenig später, haben wir die Gruppe bereits gebildet. Nach den Gesetzen der Wahrscheinlichkeit haben wir nämlich eine gute Chance, durch diese fast schon zufällige Zuordnung die relevanten Eigenschaften, die wir nicht einmal kennen müssen, gleich auf beide Gruppen zu verteilen. Beide Gruppen unterscheiden sich dann in nichts außer in der Tatsache, dass die eine an der Weiterbildung teilnimmt und die andere eben nicht. Ist unsere Gruppe dann besser, können wir recht sicher sein, dass wir mit unserer Weiterbildung einen Effekt erzielen.»

Doch der nächste Einwand folgt sofort: «Moment! Ich glaube nicht, dass wir lange genug warten können mit unserer Vergleichsgruppe, um längerfristige Resultate überprüfen zu können. Die wollen doch bald loslegen, und wer weiß, was sie in der Wartezeit unternehmen, um schnell ihre gewünschten Internetseiten erstellen zu können.»

«Eigentlich ist mir das zu kompliziert. Das Überprüfen des Erfolges unserer Weiterbildung ist schon wichtig, aber eigentlich hätte ich einfach gerne ein paar Informationen für mich und meine weiteren Planungen, sodass ich von den Teilnehmenden gerne gewusst hätte, welche konkreten Verbesserungsvorschläge sie haben. Es gibt schließlich keine Weiterbildungsmaßnahme, die so gut wäre, dass man sie nicht noch verbessern könnte!»

«Ach, worauf lassen wir uns mit einer solchen Evaluation nur ein? Wie soll eine solche Evaluation jemals abgeschlossen werden?»

Es bietet sich an, einen Evaluationsauftrag an hierfür qualifizierte interne Mitarbeitende oder Externe zu vergeben, die über Wissen und Können verfügen, wie sie zu beantwortbaren Evaluationsfragestellungen kommen, wie sie Evaluationspläne an diese Fragestellungen anpassen, welche Rahmenbedingungen sie bei der Realisierung einer Evaluation zu beachten haben, welche methodischen Klippen sie umschiffen müssen, wie sie gewonnene Daten verarbeiten, was mit den erzielten Ergebnissen zu geschehen hat und vieles Weitere mehr.

Dieses Buch bietet Ihnen eine systematische Anleitung zum Erwerb bzw. Ausbau der hierfür erforderlichen Kompetenzen.

2 Was ist Evaluation?

| Lernziele von Kapitel 2: |
| ❙ Den Begriff der wissenschaftlichen Evaluation definieren können❙ Evaluation von Forschung abgrenzen können❙ Werte und Bewertung als Besonderheiten von Evaluation an Beispielen erläutern können

Auf dem Weg zur Definition

Auf die Frage, was Evaluation genau ist, gibt es keine einfache Antwort. Die Aussage von Franklin und Thrasher (1976), wonach es so viele Evaluationsdefinitionen wie Evaluierende gibt¹ («To say that there are as many definitions as there are evaluators is not too far from accurate», S. 20), hat an Gültigkeit eingebüßt. Theoriebildung und Professionalisierung haben in der vergangenen Jahrzehnten zu einer Schärfung des Begriffs geführt. Doch wird in der Bildungspraxis weiterhin vieles unter dem Begriff subsumiert, was in der Evaluationsgemeinschaft nicht oder allenfalls als schlechte Evaluation gelten würde. Daher ist es wichtig, ein fundiertes Verständnis davon zu entwickeln, was wissenschaftliche Evaluation ausmacht. Doch auch das ist nicht einfach, denn Evaluation wird nach Glass und Ellet (1980, S.211) sehr unterschiedlich definiert und abgegrenzt – und das gilt heute noch ebenso wie damals. Viele theoretische wie auch praktische Aktivitäten werden darunter gefasst, ohne dass ein allgemeingültiges Evaluationsparadigma vorherrschen würde: «Evaluation is a set of theoretical and practical activities without a widely accepted paradigm.» Und je nach Zuordnung zu einer bestimmten wissenschaftlichen Disziplin wird der Begriff zudem unterschiedlich akzentuiert (Götz, 1998, S.20). Erschwerend kommt hinzu, dass «allzu leicht […] heute auch triviale Formen der Rückmeldung zu Evaluationen» werden (Böttcher, Kerlen, Maats, Schwab & Sheikh, 2014, S.7).

Diese beinahe beliebige Möglichkeit der Inanspruchnahme macht Evaluation für viele attraktiv, bietet aber auch schier unüberschaubare Ansatzpunkte für Kritik und Polemik. Unterschiedliche Ausdrücke und Aussagen werden in diesem Zusammenhang verwendet und diskutiert, wie «Evaluation als modernes Ritual» (Schwarz, 2006), Evaluation als notwendiges Übel (evaluation as a «necessary evil», Sullivan, 2011), «Evaluations Mania» (Frey, 2007a), oder auch «von der Inquisition zur Evaluation» (Hornbostel, 2008). Schon 2000 beschreibt Simon die «Evaluitis» als «eine fiebrige Erkrankung, die unversehens den Körper der Wissenschaft in seiner Gesamtheit erfasst hat» (S. 15). Umbach (2002) fragt wegen dramatisch ansteigender Evaluierungswünsche im Wissenschaftssystem, ob «Evaluitis» heilbar sei. Stoellger (2005a, 2005b, 2005c) spricht von einem akuten «Morbus Evaluitis» aufgrund einer epidemischen Breite der Evaluationstätigkeit. Für qualitativ hochwertige Evaluationen und gegen eine «Evaluitis» im Sinne von reinen Befragungsroutinen spricht sich Döring (2005) im Bereich der Lehrevaluation aus, und Frey (2007b, 2008) greift die Krankheitsmetapher auf, indem er insbesondere der Wissenschaft die Diagnose «Evaluitis» für Evaluation als sich epidemisch ausbreitende, neue Krankheit stellt – dieser Begriff ist seitdem immer wieder in der Literatur anzutreffen (z. B. Burzan & Jahnke, 2010; Hornbostel, 2016; Munske, 2014; Niggli, 2011). Es werden auch Warnungen ausgesprochen: «Vorsicht vor Evaluationismus!» (Kappler, 2010). Oder ist es gar so, dass wir uns zu Tode evaluieren, wie Preußler (2008) fragt – oder dass ein «Evaluationsnotstand» herrscht (Niedermair, 2012, S.8)?

Für einen differenzierten Umgang mit diesem vermeintlichen Unwort ist es notwendig, einige Definitionen vorzustellen und eine Arbeitsdefinition für dieses Buch zu formulieren.

Wortstamm

Auf der Suche nach einer adäquaten Definition gibt der Wortstamm einen ersten Hinweis. Auch wenn eine unmittelbare Herleitung aus dem Lateinischen nicht angebracht ist (entgegen der weitverbreiteten Meinung existiert das Wort «evaluare» im Lateinischen nicht), legt das Lateinlexikon erste Spuren. Wurzeln finden sich nämlich im lateinischen Wort «valor», das im Deutschen so viel bedeutet wie «bei Kräften sein», «wert sein» oder «gültig sein». Man beachte hierbei die eindeutig positive Konnotation.

Den etymologischen Herleitungen des Begriffes von Karbach (1998) folgend, entwickelte sich daraus zunächst das französische «valoir», woraus die Substantivierung «valeur» (im Sinne vom «prix», also auch Wert) entstand. Daraus wurde wiederum das Verb «évaluer» abgeleitet und von diesem das Substantiv «évaluation» («Schätzung», «Ermittlung» oder «Wertbestimmung») gebildet.

Die daraus hervorgegangenen englischen Wörter «evaluate» («bewerten») sowie «evaluation» («Einschätzung», «Auswertung») bilden die Grundlage für die heute im Deutschen gebräuchliche Form des Begriffes.

Eine erste, vom Wortstamm ausgehende Umschreibung von Evaluation lautet also:

«Bestimmung des Wertes einer Sache»

(Bedeutung nach Wortstamm).

Folgt man dieser Bestimmung, so ist Evaluation – zumindest im französischen oder angelsächsischen Sprachraum – eine Bezeichnung für alltägliches menschliches Handeln. Denkend oder sprechend wird auf Basis eines Sinneseindruckes, z.B. des Blicks aus dem Fenster oder der herausgehaltenen Hand, ein Urteil – hier: über das Wetter – abgegeben. Es handelt sich um eine einfache Alltagsbewertung. Obwohl es sich auch in der deutschen Alltagssprache – z.B. in Tageszeitungen, Fernsehinterviews oder Talkrunden – seit einigen Jahren zu etablieren begonnen hat, solche subjektiven Ad-hoc-Bewertungen als «Evaluationen» zu bezeichnen, wird an dieser Stelle dafür plädiert, «Evaluation» und «evaluieren» für das wissenschaftlich abgestützte, systematische Beschreiben und Bewerten zu reservieren. Was darunter zu verstehen ist, wird nachfolgend präzisiert.

2.1 Wissenschaftliche Evaluation statt Alltagsbewertung

Kromrey (2001) unterscheidet den alltäglichen und den wissenschaftlichen Sprachgebrauch von Evaluation danach, was von wem wie und nach welchen Kriterien bewertet wird. Auf dem Weg zu unserer Definition von Evaluation für dieses Buch gilt es nun, diese und andere relevante Dimensionen zu konkretisieren.

Wer oder was? – Der Evaluationsgegenstand

Zunächst ist zu klären, wer oder was evaluiert werden soll. Dies wird als Evaluationsgegenstand bezeichnet.

Die Menge an potenziellen Evaluationsgegenständen ist beinahe unüberschaubar. Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und haben der Evaluation damit ein bereits sehr breites Tätigkeitsfeld eröffnet. Scriven (1981, S.4) weitet dieses noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem möglichen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt (1990, S.15) bringen es auf den Punkt: «Alles kann evaluiert werden.»

Wie? – Die Evaluations-methoden

Entscheidend für die Abgrenzung zur Alltagsbewertung ist, dass die Bestimmung des Wertes (Güte und Tauglichkeit) eines Evaluationsgegenstandes systematisch, umfassend und objektiv durchgeführt werden soll, was folgende Definitionen festhalten:

«Evaluation: The systematic investigation of the worth or merit of an object»

(Joint Committee on Standards for Educational Evaluation, 1994, S.3).

«Good evaluation is the systematic, comprehensive, objective determination of merit or worth»

(Scriven, 1974, S.23).

Andere Autorinnen und Autoren gehen einen Schritt weiter und fordern explizit sozialwissenschaftliche Methoden:

«wissenschaftliche Evaluation nutzt sozialwissenschaftliche Methoden [...]»

(Döring & Bortz, 2016, S. 979).

Evaluation, evaluative research und Evaluationsforschung

Schon früh gab es aber auch Positionen, die mit dem Begriff «Evaluation» einen eher alltäglichen Bewertungsvorgang bezeichneten, ohne die Notwendigkeit, systematisch vorzugehen: «While it implies some logical or rational basis for making such judgments, it does not require any systematic procedures for marshaling and presenting objective evidence to support such judgment. Thus, we retain the term «evaluation» in its more common-sense usage as referring to the general process of assessment or appraisal of value» (Suchman, 1967, S.7). Der Begriff «evaluative research» wurde hingegen reserviert für eine Bewertung, die auf wissenschaftlichen Forschungsmethoden basiert: «‹Evaluative research› on the other hand, will be restricted to the utilization of scientific research methods and techniques for the purpose of making an evaluation» (Suchman, 1967, S.7).

Dieses Begriffsverständnis wurde auch im deutschsprachigen Raum diskutiert, allerdings eher unter Verwendung des Begriffspaares «Evaluation – Evaluationsforschung» (Wottawa & Thierau, S.13). Eine strikt akademisch wissenschaftliche Vorgehensweise als Evaluationsforschung zu bezeichnen, ist insbesondere in methodisch orientierten Texten anzutreffen (z.B. Döring & Bortz, 2016; Gollwitzer & Jäger, 2014; Häder, 2010). Stufflebeam und Coryn (2014, S.133–172) zählen solche Ansätze zu den «Quasi-Evaluationen», wegen ihrer Verengung bei Evaluationsfragestellungen bzw. methodischen Zugängen: «A quasi-evaluation approach provides direction for performing a high-quality study that is narrow in terms of the scope of questions addressed, the methods employed, or both» (S.133).

Manches spricht gegen diese Art der Begriffsverwendung. So legen semantisch ähnliche Wortkonstruktionen wie Sozialforschung, Genforschung oder Bildungsforschung keine soziale, genetische oder gebildete Forschung nahe, sondern eine Forschung über Soziales, Gene oder Bildung (vgl. Beywl, 1991; Hense, 2006, S.26). Vermutlich hatte Suchman Ähnliches im Sinn, als er mit «evaluative research» ebenfalls eine Adjektiv-Konstruktion verwendete: «In this sense, ‹evaluative› becomes an adjective specifying a type of research» (Suchman, 1967, S.7).

Eine explizite Differenzierung zwischen Evaluation und Evaluationsforschung im beschriebenen Sinn ist eher rückläufig, wie an den letzten Auflagen des international meistverkauften Lehrbuchs zur Evaluation exemplarisch aufgezeigt werden kann. So wird in der fünften Auflage aus dem Jahr 1993 Evaluationsforschung als eine systematische Anwendung von sozialwissenschaftlichen Verfahren zur Einschätzung/Bewertung der Konzeption, Gestaltung, Umsetzung und Nützlichkeit sozialer Interventionsprogramme definiert:

«Evaluation research is the systematic application of social research procedures for assessing the conceptualization, design, implementation, and utility of social intervention programs»

(Rossi & Freeman, 1993, S.5).

Demgegenüber lassen die Autoren seit der sechsten Auflage den Forschungszusatz «research» bei ihren zentralen Definitionen weg und definieren Programmevaluation als den Einsatz sozialwissenschaftlicher Verfahren zur systematischen Untersuchung der Wirksamkeit sozialer Interventionsprogramme:

«Program evaluation is the use of social research procedures to systematically investigate the effectiveness of social intervention programs […]»

(Rossi, Freeman & Lipsey, 1999, S.4).

In der aktuellen siebten Auflage schreiben die Autoren explizit, dass die Begriffe «Evaluation», «Programmevaluation» und «Evaluationsforschung» beliebig austauschbar verwendet werden: «Note that throughout this book we use the terms evaluation, program evaluation, and evaluation research interchangeably» (Rossi, Lipsey & Freeman, 2004, S.6).

Auch andernorts ist diese Gleichsetzung zu beobachten: «Furthermore, I will make no distinction between evaluation research and evaluation» (Vedung, 2004, S.112). Ähnliches wird ebenfalls in vielen deutschsprachigen Lehrtexten zum Ausdruck gebracht. So schreibt Stockmann (2004, S.13): «Die Begriffe ‹Evaluierung›, ‹Evaluation› und ‹Evaluationsforschung› werden hier synonym verwendet», Döring (2014, S.167) beginnt ihren Text mit den Worten «Mit ‹Evaluationsforschung›, ‹wissenschaftlicher Evaluation› oder kurz ‹Evaluation› […]» und Döring und Bortz (2016, S.977) halten fest: «Wir verwenden den Begriff der Evaluationsforschung synonym mit wissenschaftlicher Evaluation (kurz: Evaluation) [...].».

Was beim Lesen dieses Textes vielleicht als Wortklauberei erscheint, markiert einen tiefen Umbruch im Verständnis von Evaluation. Dieser nahm Ende der 1960er-Jahre im Bildungsbereich in den USA seinen Anfang und hat dazu geführt, dass sich Evaluation zu einem eigenständigen, von der Alltagspraxis, von der Forschung und von weiteren Verfahren unterscheidbaren Ansatz der wissenschaftlichen Beschreibung und Bewertung pädagogischer und anderer komplexer Gegenstände entwickelt hat (vgl. Beywl, 1988, S.127–135). Dies geht mit eigenen Lehrbüchern, Fachzeitschriften, Berufsverbänden, Ausbildungsgängen sowie berufsethischen Grundlagen einher. Auf einen Ausschnitt davon wird in diesem Buch eingegangen.

Im vorliegenden Buch wird der Terminus «Evaluation» verwendet und von dem der «Forschung» abgegrenzt (➞ Kapitel 2.2). Der Begriff «Evaluationsforschung» bleibt der Forschung über Bedingungen, Praxis, Methoden, Nutzung und Auswirkungen von Evaluation vorbehalten.

Wer? – Die Evaluierenden

Wodurch genau sich das systematische, methodische Vorgehen einer Evaluation auszeichnet, ist Kernthema dieses Buches. Die hierfür notwendigen Kompetenzen gehen über eine korrekte Anwendung der empirischen Forschungsmethoden deutlich hinaus und schließen auch persönliche und soziale Qualifikationen ein, die sich Evaluierende aneignen müssen, sodass Evaluation mehr ist als nur Sozialwissenschaft (Scriven, 2006).

Im Gegensatz zur Alltagsevaluation erfordert wissenschaftliche Evaluation spezielle Kenntnisse und Fertigkeiten: «Ein weiteres Unterscheidungsmerkmal besteht darin, dass wissenschaftliche Evaluationen von ‹Experten› durchgeführt werden» (Stockmann, 2004, S.14), die für die Anforderungen besonders ausgebildet sind. Die DeGEval – Gesellschaft für Evaluation e.V. hat Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008, S.7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur Durchführung empirischer Untersuchungen werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S.333–335). Eine Liste der Schweizerischen Evaluationsgesellschaft (2012), die an Evaluationsteams und nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, formuliert ähnliche Anforderungen: Grundkenntnisse (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodische Kenntnisse (Konzepte und Designs von Evaluationen, Methoden und Instrumenten der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie soziale und diverse persönliche Kompetenzen.

➞ Lösung auf Seite 227

Übungsaufgabe 1:

«Merkmale wissenschaftlicher Evaluation»Lösen Sie nun die Übungsaufgabe 1: Stellen Sie fest, bei welchen der folgenden Vorgehensweisen es sich zumindest näherungsweise um wissenschaftliche Evaluation handelt, also nicht um Alltagsevaluation, und begründen Sie Ihre Zuordnung kurz. Zu bewerten ist in diesem Fall ein Kurs, in dem Informatikstudierende lernen sollen, vor einem Fachpublikum zu präsentieren.

a) Die zwanzigminütigen Präsentationen der Studierenden werden von drei verschiedenen Beobachtenden entlang eines einheitlichen, strukturierten Beobachtungsschemas protokolliert. Nachfolgend werden die festgehaltenen Beobachtungsdaten miteinander verglichen. Als Zusammenfassung werden für jede Beobachtungsdimension ein numerisch abgestuftes Urteil und eine kurze Begründung angegeben.b) Ein besonders erfahrener Projektmanager eines mittelgroßen Softwareanbieters hält zu jeder Studierendenpräsentation seine persönlichen Eindrücke in Stichworten fest. Er notiert hauptsächlich aussagekräftige Adjektive (z.B. «exzellent», «unvollständig»), um die Besonderheiten der jeweiligen Präsentationen zu kennzeichnen.c) Die PowerPoint-Präsentationen werden als Dokumente nach bestimmten Kriterien ausgewertet, z.B. Strukturiertheit des Aufbaus der gesamten Präsentation, erkennbarer Fokus der Präsentation, deutliche Botschaften an das Zielpublikum, korrekte Verwendung von Fachbegriffen. Falls möglich werden Zitate als Ankerbeispiele festgehalten. Diese werden als eine Basis für die Bestimmung des Lernerfolgs der Präsentierenden genutzt.d) Die zwanzigminütigen Präsentationen werden von den Zuschauenden bewertet. Dabei wird jeder/jede gefragt, wie es ihm/ihr gefallen habe, was es zu verbessern gebe und welche Anmerkungen er/sie außerdem habe.e) Zu jeder der zwanzigminütigen Präsentationen werden an die Zuschauenden Fragebogen ausgeteilt, die Dimensionen wie «inhaltliche Angemessenheit», «Verständlichkeit» oder «Präsentationstechnik» behandeln, bestehend aus je fünf Items mit sechs Antwortalternativen von «trifft gar nicht zu» bis «trifft voll und ganz zu». Die zusammengefassten Daten aus den eingesammelten Fragebogen werden für eine Bewertung der Präsentation genutzt.

2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-) Forschung

Bei aller Ähnlichkeit und auch angesichts gleicher Wurzeln unterscheidet sich Evaluation substanziell in ihrer typischen Zwecksetzung von Forschung.

Wofür? – Die Evaluationszwecke

Patton (2008, S.40) bringt dies auf den Punkt. Forschung suche nach Wissen und Wahrheit, nützliche Evaluation unterstütze praktisches Handeln: «Research aims to produce knowledge and truth. Useful evaluation supports action.»

Auch Forschung verfolgt nicht selten soziale Anwendungsziele (vgl. Mertens, 2015, S.52). Ihr zentrales Interesse besteht jedoch darin, («wahres») Wissen zu generieren und darauf aufbauend Theorien aufzustellen bzw. zu testen sowie auf möglichst unterschiedliche Personengruppen, Zeitpunkte, Situationen und geografische Räume zu verallgemeinern. Grundlagenforschung kann praktisch nützlich sein, aber ihre Nutzung ist zufällig und ungeplant: «Basic research may be useful, but its use is accidental and unplanned» (Vedung, 2004, S.118).

Bei Evaluationen geht es hingegen selten um Theoriebildung. Es geht ihnen primär, wie auch Ansätzen der anwendungsbezogenen Forschung, um instrumentellen Nutzen für bestimmte Stakeholder in einem konkreten Kontext (vgl. Beywl, Künzli, Messmer & Streit, 2015). Das durch Informationen gesicherte Handeln in der Praxis steht im Vordergrund. Die Ergebnisse sollen binnen kurzer Frist handlungsrelevant und verwertbar sein:

«Zur Evaluation wird empirische Wissenschaft […] durch ein spezifisches Erkenntnis- und Verwertungsinteresse»

(Kromrey, 2001, S.112).

Generalisierbarkeit von Ergebnissen spielt bei Evaluationen selten eine Rolle, denn Nutzen soll für konkrete Maßnahmen oder Programme erzielt werden. Evaluation kann analog zur Erwachsenenpädagogik als «Handlungswissenschaft» bezeichnet werden.

SCHLÜSSELAUSSAGE

Forschung im Bereich Bildung will möglichst verallgemeinerbare Erkenntnisse über Lernendentypen, Mechanismen des Lernens, Zusammenhänge von Bildungsinstitutionen, Lernarrangements und Lernmethoden, Strategien der Bildungsfinanzierung etc. erzielen, will diese auf Theorien und Begriffssysteme abstützen und gesicherte verallgemeinerte Erkenntnis in der wissenschaftlichen Gemeinschaft der Bildungsforschenden vorantreiben.

Bildungsevaluation will für konkrete, raumzeitlich meist begrenzte Bildungsprogramme, -studiengänge oder -kurse bestimmter Bildungsanbieter oder -träger und auf deren Informationsbedarfe zeitgenau abgestimmte Daten, Schlussfolgerungen und Bewertungen bereitstellen, sodass jene Akteure Grundsatzentscheidungen treffen, Rechenschaft ablegen oder Optimierungsschritte einleiten können.

Im zweiten Fall ist präzise vorausgedacht, wozu und wann sowie über welche Kommunikationskanäle und Schnittstellen die Ergebnisse der Evaluation genutzt werden sollen: Leviton und Hughes (1981, S.528) nennen diese Art der vorgesehenen Nutzung «instrumentell». Auf die damit verbundenen Evaluationszwecke wird später ausführlich eingegangen (➞ Kapitel 6.1).

Evaluation am Beispiel des Bildungsbereiches ist die Sammlung und Nutzung von Informationen, um über ein Bildungsprogramm Entscheidungen zu treffen, wie einer der Pioniere der Bildungsevaluation schreibt:

«[…] collection and use of information to make decisions about an educational program»

(Cronbach, 1963, S.672).

Dass die Nutzung von Evaluationsergebnissen zwar theoretisch gefordert, aber praktisch nicht immer vollzogen wird, unterstreicht Patton, indem er der allgemeinen Programmevaluation ein Konzept gegenüberstellt, welches einen vorgesehenen Evaluationsnutzen für vorgesehene Nutzende zugrunde legt:

«Utilization-focused program evaluation (as opposed to program evaluation in general) is evaluation done for and with specific, intended primary users for specific, intended uses»

(Patton, 2008, S.37).

Auf welcher Basis? – Die Evaluationskriterien

Das nachfolgende Zitat von Weiss, die zu den herausragenden Evaluationstheoretikerinnen des letzten Jahrhunderts zählt, betont die Wichtigkeit des Bewertens auf Basis von Bewertungskriterien. Sie definiert Evaluation als eine systematische Bewertung der Durchführung und/oder der Resultate eines Programms oder einer Politik auf der Basis einer Reihe von expliziten oder impliziten Normen – und dies als Mittel zur Förderung der Verbesserung des Programms oder der Politik:

«Evaluation is the systematic assessment of the operation and/or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy»

(Weiss, 1998a, S.4).

Indem Evaluation als nicht direkt zu einer Bewertung führend, sondern zunächst als die Identifikation, Klärung und Anwendung von belastbaren Kriterien definiert wird, um daraufhin den Wert (Güte und Tauglichkeit) eines Gegenstandes in Bezug auf diese Kriterien zu bestimmen, werden die Bewertungskriterien stark betont:

«[…] we define evaluation as the identification, clarification, and application of defensible criteria to determine an evaluations object’s value (worth and merit) in relation to these criteria»

(Fitzpatrick, Sanders & Worthen, 2012, S.7).

Stufflebeam und Coryn definieren Evaluation als einen systematischen Prozess der Bestimmung, Beschaffung, Berichterstattung und Nutzung von beschreibenden und bewertenden Informationen. Dabei benennen sie die sieben Kriteriendimensionen Güte, Tauglichkeit, Integrität (Rechtschaffenheit/Redlichkeit), Umsetzbarkeit, Sicherheit, Bedeutsamkeit und/oder Gerechtigkeit, auf deren Basis die Beschreibung und Bewertung des Evaluationsgegenstandes erfolgt:

«[…] evaluation is the systematic process of delineating, obtaining, reporting and applying descriptive and judgemental information about some object’s merit, worth, probity, feasibility, safety, significance and/or equity»

(Stufflebeam & Coryn, 2014, S.12).

Evaluation als Wissenschaft!

Patton argumentiert, dass Evaluation als Wissenschaft angesehen werden kann. Das Ziel von Wissenschaft sei es zu verstehen und zu erklären, wie die Welt funktioniert. Die Besonderheit der Evaluation bestehe darin, klären zu wollen, wie und wie gut Programme, Maßnahmen oder Interventionen funktionieren, die Veränderungen – zu ergänzen wäre: Stabilisierungen – auslösen sollen. Der Evaluation als Wissenschaft liegt eine systematische Vorgehensweise zur Bestimmung von Güte, Wert, Tauglichkeit, Nutzen und Bedeutsamkeit des Evaluationsgegenstandes zugrunde, die sich an wissenschaftliche Normen hält, zu denen die Anwendung von Logik, die Verwendung transparenter Methoden, die Überprüfung der Ergebnisse und die Bereitstellung von Belegen und expliziten Begründungen gehören, um vernunftgemäße Interpretation, Bewertung und Beurteilung zu unterstützen.

«Evaluation science is systematic inquiry into how, and how well, interventions aimed at changing the world work. Evaluation science involves systematic inquiry into the merit, worth, utility, and significance of whatever is being evaluated by adhering to scientific norms that include employing logic, using transparent methods, subjecting findings to review, and providing evidence and explicit rationales to support reason-based interpretation, valuing, and judgment»

(Patton, 2018a, S. 187).

Im Vergleich von Evaluation und Forschung ergibt sich darüber hinaus ein für die Praxis höchst relevanter, geradezu dramatischer Punkt: «Grundlagenforschung darf sich ‹irren›. Damit ist gemeint: Hypothesen, die als Ausgangspunkt gewählt werden, dürfen sich im Verlauf der Forschung als falsch erweisen. […] Deren informationsreiches Scheitern ist nicht selten der Startpunkt für grundlegende Erkenntnisse, die eine neue Forschungslinie begründen» (Kromrey, 2003, S.98).

Eine solche, die Fehlbarkeit preisende Haltung gefährdet hingegen Legitimität und Akzeptanz von Evaluation: «Bei der Konzipierung des […] Designs ist große Sorgfalt darauf zu verwenden, dass die zugrunde liegenden Annahmen und Hypothesen einen hohen Grad empirischer Bewährung aufweisen und dass der Prozess der Gewinnung, Auswertung und Interpretation aller Informationen methodisch abgesichert und mit begleitender Qualitätskontrolle abläuft. Jede falsche Schlussfolgerung im Verwertungskontext, die wegen fehlerhafter […] Daten gezogen wird, hat Konsequenzen für einen nicht absehbaren Kreis von Betroffenen» (Kromrey, 2003, S.98).

Wenn also grundlegende Skepsis, Misstrauen gegenüber jedem sicheren Befund sowie ständiges und wiederholendes Infragestellen einer Vorannahme hohe Tugenden der Grundlagenforschenden sind (gegen die allerdings nicht selten in unethischer Weise verstoßen wird), würde eine solche Haltung – zumindest, wenn in übertriebenem Maße praktiziert – die Akzeptanz und das wirtschaftliche Überleben eines Evaluationsbüros gefährden. Hier deutet sich ein erstes der vielen Dilemmata an, mit denen in Evaluationen umgegangen werden muss.

Für die angemessene Planung und Durchführung einer Untersuchung ist es unverzichtbar, eine klare Priorität auf Forschung oder Evaluation zu setzen: «Eine (unklare) Mischung schadet zumeist in beide Richtungen» (Reischmann, 2006, S.30).

Auf wessen Initiative – autonom oder beauftragt?

Der Weg zu Fragestellungen ist bei Evaluation und Forschung oft sehr unterschiedlich: In der Forschung bestimmen – zumindest vom Ideal her – die Forschenden die Fragestellungen und die wissenschaftlichen Hypothesen. Auf der Suche nach Erkenntnis sollen sie allein sich selbst und den Ansprüchen ihrer Disziplin gegenüber verantwortlich sein. In der Ausrichtung von Forschungsthemen sind sie dabei nicht selten intuitiv, durch biografische oder zeitgeschichtliche Besonderheiten geleitet. Friedrichs (1973, S.50–55) nennt dies in seiner, für die sozial- und erziehungswissenschaftliche Forschung prägenden Dreigliederung den «Entdeckungszusammenhang». Diesem widmen die Forschenden relativ wenig Aufmerksamkeit, ebenso wie dem «Verwertungszusammenhang». Für sie zentral ist hingegen der «Begründungszusammenhang» mit seinen Theorien, Hypothesen, Begriffen und dem gesamten forschungsmethodischen Inventar. Was in der Forschung eine nebensächliche Aufgabe ist – die genaue Festlegung des Evaluationsgegenstandes (➞ Kapitel 4) inklusive der Fragestellungen –, ist in der Evaluation die erste Kernleistung, für die genügend Ressourcen zur Verfügung stehen müssen.

➞ Lösung auf Seite 228

Übungsaufgabe 2:

«Risiken pragmatischer Evaluationen»Lösen Sie nun die Übungsaufgabe 2:

a) Notieren Sie Gefahren und Risiken, wenn Sie sich – z.B. wegen Zeitknappheit – von wissenschaftlichen Anforderungen an Evaluation lösen und auf «Evaluationen» ausweichen, die allein pragmatischen Überlegungen folgen.b) Machen Sie einige Stichworte dazu, wie Sie sich – in Ihrer aktuellen oder künftigen Arbeitssituation – gegen solche Risiken schützen können.

Bedeutung des Kontextes

Bei Evaluationen läuft es oft anders ab: Sie sind zumeist Auftragsarbeiten, und ihre Zwecke und Fragestellungen sind zumindest grob vorgegeben. Sie werden nicht durch die Evaluierenden in eigener Regie nach ihrer Neugier und Kreativität konzipiert, sondern in enger Abstimmung mit den Auftraggebenden und weiteren Beteiligten aus dem Bereich des Evaluationsgegenstandes. Evaluationsvorhaben finden in einem kontrollierten Rahmen als Auftrag von Entscheidungsträgerinnen und -trägern statt und sind oft in politische Settings eingebunden. Mertens hebt als Besonderheit von Evaluation hervor, dass in ihr Politik und Wissenschaft von Natur aus miteinander verflochten seien. Evaluationen werden zur Bestimmung der Güte und Tauglichkeit öffentlicher Programme durchgeführt, die wiederum selbst Antworten auf – durch politische Entscheidungen bevorzugte – individuelle und gemeinschaftliche Bedürfnisse sind: «what distinguishes evaluation from other forms of social inquiry is its political inherency; that is, in evaluation, politics and science are inherently intertwined. Evaluations are conducted on the merit or worth of programs in the public domain, which are themselves responses to prioritized individual and community needs that resulted from political decisions» (Mertens, 2015, S. 52, auf Basis von Greene, 2000). Auch die nachfolgend geschilderte Möglichkeit, eine Vielzahl an Perspektiven auf den Evaluationsgegenstand einzunehmen, indem man Beteiligte und Betroffene einbezieht, kann der Vereinseitigung einer Evaluation vorbeugen, deren Vermeidung aber nicht garantieren.

Aktive Stakeholder als Partner

Beteiligte und Betroffene – Stakeholder – im Bildungsbereich sind z.B. Bildungsverantwortliche, Kursleitende, Bildungsteilnehmende und ihre Angehörigen/Vorgesetzten. Ihnen soll ein hoher Einfluss auf die Gegenstandsbestimmung und Themenfindung in der Evaluation eingeräumt werden. Im Vergleich zu deren Informationsinteressen spielen diejenigen der Evaluierenden keine oder höchstens eine untergeordnete Rolle.

Wie verwenden? – Nutzung der Evaluationsergebnisse

Bereits in der ersten Evaluationsphase wird in den Blick genommen, wer wann was konkret mit den erzeugten Evaluationsergebnissen tun soll – Pattons vorgesehener Evaluationsnutzen für vorgesehene Nutzende: «intended use for intended users» (2008, S.59). Die Ergebnisverwendung wird vorbereitet und eingeleitet in Abstimmung zwischen Evaluierenden, Auftraggebenden und Akteuren aus dem pädagogischen Feld.

Die darauffolgende Phase der Evaluation ist die Domäne der Evaluationsspezialistinnen und -spezialisten. Hier erfolgen die Auswahl der passenden Erhebungs- und Auswertungsmethoden, die Entwicklung und der Einsatz von empirischen Datenerhebungsinstrumenten, die Anwendung qualitativer und quantitativer Auswertungstechniken etc. Allerdings handeln die Evaluierenden auch hier nicht abgeschottet und isoliert von den Beteiligten und Betroffenen. Gelingende Nutzung von Evaluationsergebnissen setzt voraus, dass die Datengebenden und späteren Ergebnisnutzenden zumindest in groben Zügen verstehen, wie die Daten entstehen, und dass Transparenz und Nachvollziehbarkeit geschaffen werden.

Wertfreiheit versus Bewerten als zentrale Aufgabe

Was zunächst unproblematisch scheint, erweist sich in der Konfrontation mit dem klassischen Verständnis von Forschung, wie es in der verbreiteten analytisch-nomologischen Wissenschaftstheorie vorliegt, als höchst problematisch: Hier beschränkt sich das «Wissenschaftliche» auf den Begründungszusammenhang, also auf Theorie und daran anschließende Empirie. Werturteile sind in diesem Verständnis aus dem Kern des Forschungsprozesses fernzuhalten. Letzterer verläuft objektiviert, ganz unabhängig von Vorlieben, Interessen sowie sozialen oder moralischen Überzeugungen der Forschenden und weiterer Mitglieder des Forschungsfeldes. Werte spielen nur im Entstehungskontext – also: «Was wird geforscht und welche Forschung wird gefördert?» – und dem Verwertungskontext – «Wer macht mit Ergebnissen von Forschung was?» – eine Rolle. Für deren Behandlung hält Forschung keine systematischen Verfahren bereit, sie gelten im Forschungsprozess als unberührbar, bleiben folglich dem Spiel politisch-gesellschaftlicher Kräfte überlassen und werden dem Bereich wissenschaftsethischer Reflexion zugewiesen.

Wenn Evaluation darauf abzielt, Gegenstände der sozialen Realität zu bewerten (also sie als mehr oder weniger «gut» einzustufen), hierfür – bereits in der Phase der Gegenstandsbestimmung (Entstehungszusammenhang) – Kriterien festzulegen (z.B. Bildungsziele, Bildungsbedarfe, vermiedene unerwünschte Nebenfolgen, Kosten-Nutzen-Relationen, Gerechtigkeit bzw. eine Kombination aus diesen Kriterien) und im Verwertungszusammenhang dazu beizutragen, dass die erzeugten Evaluationsergebnisse in Richtung der zugrunde liegenden Werte genutzt werden, verstößt sie damit nicht diametral gegen Grundüberzeugungen wissenschaftlicher Forschung (vgl. ausführlich Kromrey, 2007a)?

Keine Evaluation ohne Bewertung!

Es zeigt sich ein weiterer Grundkonflikt: Evaluation will, soll und muss bewerten (sonst ist sie keine Evaluation). Sie überschreitet dabei bewusst das sichere Terrain des Begründungszusammenhangs und verwendet systematische Verfahren auch für die Festlegung von Evaluationsfragestellungen und Bewertungskriterien. Sie will die Erarbeitung von Interpretationen und Bewertungen transparent und nachvollziehbar, auf Daten basierend und die verschiedenen Perspektiven der Beteiligten und Betroffenen einbeziehend gestalten. Der Anspruch des systematischen, regelgeleiteten, wissenschaftlichen Vorgehens wird ausgedehnt vom Begründungszusammenhang auf den vorgelagerten Entdeckungszusammenhang und den nachgelagerten Verwertungszusammenhang. Dabei droht, dass Evaluation an distanzierter Objektivität verliert. Ein weiteres Dilemma, dem sich Evaluation stellen muss.

➞ Lösung auf Seite 229

Übungsaufgabe 3:

«Bewertungsmaßstäbe verschiedener Beteiligter»Lösen Sie nun die Übungsaufgabe 3: Versetzen Sie sich in die folgende Situation und schreiben Sie auf, nach welchen Bewertungsmaßstäben aus der Sicht der verschiedenen Beteiligten diese Bildungsmaßnahme zu bewerten sein könnte. Ergänzen Sie z.B. folgenden Satz: «Für Person x ist besonders wichtig, dass …»Die Volkshochschule in Musterstadt bietet einen Kurs «Internet für Einsteiger» an. Die Teilnehmerschaft, die sich zur ersten Unterrichtsstunde im Kursraum einfindet, ist sehr heterogen. Da sitzt Frau Wunder, die mit ihren 70 Jahren einfach einmal wissen möchte, was es mit diesem ominösen Internet auf sich hat. Sie hat schon viel darüber gelesen, aber wirklich vorstellen kann sie sich nichts darunter.Mitgebracht hat sie ihren Enkel Lukas, der schon toll mit seinem Tablet umgehen kann, dessen Eltern aber wünschen, dass er sich einmal systematisch mit diesem Thema auseinandersetzt.Herr Mazzini wurde von seinem Chef geschickt. Er soll über kurz oder lang die Firmenhomepage betreuen, die schon eine ganze Weile nicht mehr aktualisiert worden ist.Frau Schulze hat ein eigenes Geschäft, und sie sucht nach Möglichkeiten, neue Kundenkreise zu erschließen. Ihr wurde geraten, sich einmal intensiv mit den Möglichkeiten des Internets auseinanderzusetzen.Herr Scheid ist ebenfalls Senior, und dieser neumodische Kram war ihm schon immer suspekt. Da will er doch einmal sehen, was das für Leute sind, die sich stundenlang vor den Computer setzen wollen, und welche vielleicht unlauteren Beweggründe dahinterstecken.Frau Özoğuz ist die Dozentin im Kurs. Sie hat viele Jahre Erfahrung im IT-Unterricht und hat auch schon Senioren- und Kinderkurse gegeben. Am meisten Spaß macht es ihr aber, wenn alle zusammen bei ihr im Unterricht sitzen. Diese Heterogenität sei eine ganz besondere Herausforderung, sagt sie.Herr Felix hat nichts direkt mit dem Unterrichtsgeschehen zu tun, aber als IT-Verantwortlicher in der Volkshochschule Musterstadt ist er für ein kundengerechtes IT-Angebot verantwortlich. Für ihn sind es schwierige Zeiten, denn die Belegungszahlen sind schon seit einigen Semestern rückläufig. Die goldenen Computerzeiten im Schulungsbereich scheinen vorbei zu sein.

Die nachfolgende Definition schließt an die vorangegangenen Ausführungen an und verdichtet die Besonderheiten von Evaluation in den diskutierten Dimensionen. Bei der Verwendung der Definition wird auf die vorangegangenen Abschnitte zurückgegriffen.

DEFINITION

Evaluation ist eine wissenschaftliche Dienstleistung, die für festgelegte Zwecke und nach begründeten Kriterien insbesondere Programme und Maßnahmen beschreibt und bewertet. Die Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.

Nach unserem Verständnis müssen Personen für diese Tätigkeit besonders qualifiziert sein. Das bedeutet aber nicht, dass ausschließlich Personen aus dem Umfeld von Hochschulen und Forschungseinrichtungen mit hoher wissenschaftlicher Expertise für diese Aufgabe infrage kommen. Auch Daten von Evaluationen, die nicht von solchen Forschenden oder in anderen Zusammenhängen als großen Forschungsprojekten erhoben worden sind, können sehr nützlich sein (vgl. Gutknecht-Gmeiner, 2009). Allerdings sind an jede Evaluation Qualitätsansprüche zu stellen, die Thema dieses Buches sind.

Wie ein roter Faden zieht sich dabei die Idee durch das Buch, sowohl bei der Festlegung von Evaluationsfragestellungen und Bewertungskriterien als auch bei der Gewinnung von Informationen und besonders bei der Rückmeldung und Vermittlung der Evaluationsergebnisse Beteiligte wie auch Betroffene angemessen einzubeziehen. So kann eine hohe Nützlichkeit nicht erst der Evaluationsergebnisse (Ergebnisnutzen), sondern bereits des Evaluationsprozesses selbst (Prozessnutzen) unterstützt werden. Dies erfordert eine frühzeitige Planung auch dazu, wie die Verwendung der Evaluation eingeleitet werden soll.

2.3 Evaluation als Qualitätsmanagement bzw. Controlling?

Evaluation wird in diesem Buch als Ansatz dargestellt, der eigenständige wissenschaftliche Grundlagen, ein spezifisches Leistungsspektrum, typische Einsatzfelder und besondere Qualifikationsanforderungen hat und sich darin von anderen Ansätzen substanziell unterscheidet.

Manche Autorinnen und Autoren sehen dies anders, was hier kurz referiert sei.

Evaluation – ein Hilfsmittel der Steuerung?

Stockmann (2007, S.97) subsumiert Evaluation in einem umfassenden Vergleich von Ansätzen – wie anderen «Instrumenten» zur Steuerung im öffentlichen und privatwirtschaftlichen Sektor – unter die Hilfsmittel des Qualitätsmanagements wie Controlling, Balanced Scorecard, Benchmarking, Audit und außerdem das Monitoring, welches wie Evaluation einen stärker sozialwissenschaftlichen Entstehungshintergrund habe. All diese «Managementwerkzeuge […] stellen Instrumente einer modernen an Rationalitätskriterien orientierten Unternehmensführung bzw. Politiksteuerung dar».

Hummel (2001, S.23) schließt sich der Auffassung anderer Vertreterinnen und Vertreter des Bildungscontrollings an, dass Evaluation eine Teilmenge des Controllings sei. Schöni (2009, S.54–57) setzt sich einerseits kritisch davon ab und räumt der Evaluation einen eigenen Stellenwert ein, bezeichnet sie andererseits – wie Bedarfsabklärung, Zielbestimmung und Planung – als «Controlling-Element» in Unternehmen. Auch in seinem Fallbeispiel einer Berufsschule für Weiterbildung (Schöni, 2009, S.158) kommt Evaluation mit Stichwörtern wie «Unterrichts-Evaluation» oder «Service-Evaluation» primär als Verfahren der Datenzulieferung eines umfassenden, systemischen Controllingansatzes zum Einsatz.

Der Auffassung, Evaluation sei im Kern eine Werkzeugsammlung, die sich in Qualitätsmanagement- oder -sicherungssysteme von Unternehmen oder Non-Profit-Organisationen integrieren und unter sie subsumieren lasse, begegnet man häufig bei Qualitätsmanagerinnen und -managern, Qualitätsbeauftragten oder Controllingfachleuten. Diese verstehen unter Evaluation im Wesentlichen die Datenerhebungsinstrumente, die z.B. im Rahmen von Kundenbefragungen oder als Seminar-Feedbackbogen eingesetzt werden. Evaluation wird oft reduziert auf Datenerhebungsverfahren, die meist mit (Kunden-)Zufriedenheitsmaßen arbeiten oder Lernzieltests darstellen. Fragen zu den Quellen und der Legitimität von Bewertungskriterien, der Notwendigkeit von Zielsystemen oder curricularen, didaktisch-methodischen Modellen, der Angemessenheit der Beteiligung verschiedener Anspruchsgruppen bei der Festlegung von Evaluationsfragestellungen oder von Bewertungskriterien für Bildung, die ganze Frage nach Evaluationsstandards sowie der evaluationstheoretische Hintergrund etc. spielen hierbei keine oder eine sehr untergeordnete Rolle.

Evaluation braucht genügend Freiheit und Unabhängigkeit

Der Evaluation werden im Verständnis dieses Buches nicht die unbeschränkten Freiheitsgrade zugestanden, wie Grundlagenforschung sie benötigt. Sie braucht jedoch deutlich mehr Freiheit und Unabhängigkeit, als üblicherweise unternehmensinternen, managementgesteuerten Funktionen wie dem Controlling, dem Benchmarking oder dem Qualitätsmanagement zugestanden wird. Evaluation bewertet nicht nur, sondern macht auch die Bewertungskriterien transparent und damit dem Diskurs zwischen den verschiedenen Stakeholdergruppen zugänglich. Während Controlling und Qualitätsmanagement klar den Interessen der obersten Leitung einer Institution verpflichtet sind, müssen sich Evaluationen – zumal solche in öffentlich finanzierten Bildungsprogrammen – demokratischen Aushandlungsprozessen hinreichend öffnen. In den «Standards für Evaluationen» finden sich hierfür zahlreiche Anknüpfungspunkte (DeGEval – Gesellschaft für Evaluation e.V., 2016; SEVAL – Schweizerische Evaluationsgesellschaft, 2016; Yarbrough, Shulha, Hopson & Caruthers, 2011). Dies ist auch die Erklärung dafür, dass Evaluation vorrangig im demokratisch gesteuerten öffentlichen Bereich und in Non-Profit-Organisationen, ja auch in auf öffentliche Legitimation angewiesenen Stiftungen verbreitet ist, während sie in Profit-Organisationen auf enge Felder wie die Weiterbildung beschränkt ist und dort auch in Konkurrenz steht zu anderen, managementnäheren Ansätzen wie dem Bildungscontrolling.

2.4 Evaluation als Beitrag zur gesellschaftlichen Entwicklung

Evaluationsfeld Bildung

Bildung als ein zentrales gesellschaftliches Handlungsfeld ist durch zahlreiche Wertspannungen und Interessenkonflikte gekennzeichnet. Stichwörter sind: selektive Zugänge, schichtspezifische Beteiligungsquoten, Lernwiderstände, Lernmüdigkeit, Pflicht und Chance zu lebenslangem Lernen. Die gesellschaftlichen und die individuellen Bildungsziele und ihre Abstimmung aufeinander sind ebenso umstritten wie die didaktischen Ansätze, die optimal zu ihnen hinführen. Die wissenschaftlichen oder wissenschaftstheoretischen Positionen der vergangenen 50 Jahre weisen in höchst unterschiedliche Richtungen (Beispiele: geisteswissenschaftliche Pädagogik, Positivismus, Kritische Theorie, Konstruktivismus, Pragmatismus). Die Beschleunigung der Modernisierungszyklen in der Arbeitswelt und die damit erhöhten Anforderungen an eine flexible, individualisierte, passgenaue Aus- und Weiterbildung stellen diesen Bereich vor große Herausforderungen: «‹Mittlere Systematisierung› kennzeichnet auch die internen Strukturen des Weiterbildungsbereichs. Verglichen mit Schule und Hochschule ergibt sich fast ein reziprokes Bild: Wo auf der einen Seite Erstarrung droht, gibt es hier riskante Offenheit und Zerbrechlichkeit» (Faulstich, 2003, S.291).

Gesellschaftliche Relevanz

Evaluation ist ein wissenschaftlicher Ansatz, der die verschiedenen Akteure im Handlungsbereich der Bildung bei der systematischen Beschreibung und Bewertung von Programmen und Maßnahmen unterstützt. Die dafür speziell ausgebildeten Fachleute verwenden Methoden der empirischen Sozialforschung und passen sie an die Erfordernisse der Evaluationszwecke und -fragestellungen an. Evaluationen sind beauftragt – meist von öffentlichen Auftraggebenden, Non-Profit-Organisationen und Stiftungen oder von Personalentwicklungs- und Trainingsabteilungen von Unternehmen. Die Kriterien, nach denen bewertet wird, müssen möglichst früh geklärt werden, oft unter Einbezug mehrerer Beteiligtengruppen. Evaluation erfordert auch Klären und Transparentmachen der Werte, auf deren Basis die Werturteile gefällt werden. Sowohl diese Wertesensibilität als auch eine grundsätzliche Offenheit für Partizipation – auch bei der Festlegung von Wertmaßstäben – unterscheiden Evaluation von Steuerungsansätzen wie Controlling oder Qualitätsmanagement, die als Werkzeuge im Interesse der obersten Leitung von Organisationen fungieren. In der Praxis können sich die verschiedenen Ansätze stark annähern, wobei sie an Alleinstellungsmerkmalen einbüßen (Beispiele hierfür finden sich in Kempfert & Rolff, 2018, Kap. I). Gelegenheiten zur Partizipation erhöhen die Wahrscheinlichkeit, dass Evaluationsergebnisse genutzt werden und dass bereits die Durchführung der Evaluation positive Effekte auf die Bildungsmaßnahme hat.

Inhaltlich folgt dieses Buch der folgenden Position: Systematische Evaluationen sind von unschätzbarem Wert für aktuelle und zukünftige Bemühungen zur Verbesserung der Lebensumstände der Menschheit. «Our position is clear: Systematic evaluations are invaluable to current future efforts to improve the lot of humankind» (Rossi, Lipsey & Freeman, 2004, S.419). Oder, etwas nüchterner: Es kann «die Schlussfolgerung gezogen werden, dass Evaluation noch nie so notwendig war, wie heute» (Stockmann & Meyer, 2014, S.22). Diese beiden Autoren bescheinigen der Evaluation eine bemerkenswerte und globale Erfolgsgeschichte. In neuerer Zeit sei es kaum einem anderen wissenschaftlichen Ansatz gelungen, sich mit vergleichbarem Erfolg zu verbreiten: «In general, the history of evaluation is a remarkable and globally effective success story. It is hard to find another academic approach which has been diffused with comparable success» (Stockmann & Meyer, 2016, S.9). Für die Schweiz halten die Politikwissenschaftler Sager, Widmer und Balthasar (2017, S.313) fest: «Die Entwicklung einer Evaluationskultur in der Schweiz ist gerade in der letzten Dekade weiter vorangeschritten.» Förderlich hierfür dürfte auch die Einführung von Artikel 170 in die Bundesverfassung gewesen sein, der verlangt, dass Maßnahmen des Bundes auf ihre Wirksamkeit hin überprüft werden müssen (Bussmann, 2017). Somit erhielt evaluatives Handeln quasi Verfassungsrang.

➞ Lösung auf Seite 230

Übungsaufgabe 4:

«Definitionsmerkmale von Evaluation»Lösen Sie nun die Übungsaufgabe 4:

a) Woran erkennt man, dass Evaluation eine Dienstleistung ist?b) Begründen Sie, weshalb die Beherrschung sozialwissenschaftlicher Methoden unverzichtbar für die Durchführung professioneller Evaluation ist.c) Benennen Sie, was zur Beherrschung sozialwissenschaftlicher Methoden hinzukommen muss, um gute Evaluationen durchzuführen.d) Wenn ein Computerlehrgang evaluiert werden soll: Was können zwei oder drei ganz unterschiedliche Evaluationszwecke sein?e) Das zentrale Ergebnis in einem Schlussbericht lautet: «75 Prozent der Ziele des Weiterbildungsprogramms, das in den vorangegangenen Kapiteln detailliert beschrieben worden ist, wurden erreicht.» Welches Element fehlt dann offensichtlich, um von einer vollständigen Evaluation sprechen zu können?

VERTIEFUNGSLITERATUR

❙ Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis, 24 (2), 105–131.

❙ Rossi, P.H., Lipsey, M.W. & Freeman, H.E. (2004). Evaluation – A Systematic Approach (7th ed.). Thousand Oaks: Sage Publications.

¹ Zum Beleg von Originalaussagen werden in diesem Buch an verschiedenen Stellen fremdsprachige Textstellen zitiert. Zum Verständnis ist die Kenntnis der anderen Sprache allerdings nicht erforderlich, da alle fremdsprachigen Zitate sinngemäß ins Deutsche übersetzt und die übersetzten Passagen in den erläuternden Text um das Zitat herum integriert sind.

3 Evaluationsprozess und Auftrag

| Lernziele von Kapitel 3: |
| ❙ Begründen können, weshalb Evaluationen nicht standardisiert nach Rezeptbuch, sondern als Einzelanfertigung erstellt werden müssen❙ Eine systematische Schrittfolge zu Planung und Durchführung von Evaluationen skizzieren können❙ Bestandteile von Evaluationsauftrag und -vertrag benennen können

Nachdem Evaluation als wissenschaftliche Dienstleistung definiert und abgegrenzt worden ist, soll nun geklärt werden, wie eine Evaluation systematisch geplant und durchgeführt wird, und wie entsprechende Vereinbarungen zwischen den beteiligten Parteien festzuhalten sind.

Erarbeitung eines Evaluationsplans

Wie im einleitenden Kapitel herausgearbeitet, sind die Erarbeitung eines Evaluationsplans und seine Umsetzung herausfordernde Aufgaben. Jede Evaluation findet in einem zu identifizierenden organisatorischen, kulturellen und politischen Umfeld statt. In sie werden oft gegensätzliche Interessen und Wertpositionen aufgenommen, und daraus muss ein jeweils einzigartiges Vorgehen entwickelt werden.

Es wird vielfach gefordert, Evaluationen, wie in Verfahrensanweisungen des Qualitätsmanagements beschrieben, zu standardisieren, indem fixe Musterabläufe festgelegt werden. Hiervon erhofft man sich, Kosten für die Evaluationsplanung zu senken. Darüber hinaus soll es dadurch möglich werden, dass weniger umfangreich ausgebildete Evaluierende eine Evaluation nach engen Vorgaben sicher durchführen können. Auf dem Markt sind einige solcher Evaluationssysteme z.B. für Schulen, die Hochschulbildung oder die betriebliche Weiterbildung erhältlich. Allerdings widerspricht diese Idee einer «Evaluation von der Stange», so attraktiv sie aus Kostenüberlegungen auch sein mag, der Grundannahme, dass Evaluationen Einzelanfertigungen sein müssen – eventuell unter Nutzung einiger vorgefertigter Einzelteile –, um nützliche Ergebnisse für die jeweiligen Adressatengruppen in jeweils einzigartigen Praxissettings zu erzeugen (vgl. Stake, 2004).

Schrittfolgen zur Evaluationsdurchführung als Anhaltspunkt

Um zur Planung maßgeschneiderter Evaluationen systematisch anzuleiten, haben sich in der Praxis sechs- bis zwölfstufige Schrittfolgen bewährt. Das nachfolgend vorgeschlagene Schema greift Erfahrungen auf, wie sie z.B. in Beywl (2007) und Balzer (2005) beschrieben sind. Damit werden Anhaltspunkte für konkrete Planungsarbeiten gegeben. Das Schema darf allerdings nicht als rigides, immer exakt in dieser Abfolge anzuwendendes Strickmuster missverstanden werden. Vielmehr ist es in der konkreten Ausgestaltung den spezifischen Rahmenbedingungen des konkreten Evaluationsprojektes anzupassen. Dabei ist es möglich, einzelne Schritte parallel mit anderen zu planen und durchzuführen, oder während der Bearbeitung einen früheren Schritt nochmals aufzugreifen und an diesem Anpassungen vorzunehmen.

Keine Bevorzugung bestimmter Evaluationsmodelle und Methoden

Die in diesem Buch dargestellte Vorgehensweise favorisiert kein bestimmtes Evaluationsmodell, keine bestimmte Methodik (z.B. qualitativ oder quantitativ) und keine bestimmten Evaluationsgegenstände. Es wird davon ausgegangen, dass Evaluationen je nach spezifischem Gegenstand und Kontext auf unterschiedliche Kombinationen erkenntnistheoretischer und methodologischer Zugänge zurückgreifen müssen. Der Gegenstand und sein Kontext, der Zweck der Evaluation und die Evaluationsfragestellungen entscheiden darüber, wie die skizzierte Schrittfolge konkret angewendet wird, und welchen relativen Stellenwert der jeweilige Schritt hat. Die effektive Vorgehensweise darf nicht vorab aufgrund der Verpflichtung auf bestimmte – aus welchen Gründen auch immer – bevorzugte Evaluations- und Forschungsparadigmen festgelegt werden. Evaluationsplanung verlangt eine aktive, adaptive und dialogische Auseinandersetzung der Evaluierenden mit dem jeweiligen Evaluationsgegenstand in seinem sozialen, ökonomischen und organisatorischen Kontext.

BEISPIEL 1

Es soll ein standardisierter eintägiger Computerkurs zum Thema «Betriebssystem» evaluiert werden. Dieser wird zum einen für Nutzende verschiedener Programmversionen aus Steuerberatungsbüros aus der Innenstadt Frankfurts und zum anderen für Leiterinnen und Leiter von Mikrofinanzagenturen im Süden Sri Lankas angeboten. In beiden Fällen soll untersucht werden, in welchem Maße die Teilnehmenden das im Lernfeld erworbene Wissen im Transferfeld tatsächlich einsetzen, welche Transferhindernisse es gibt und wie diese durch ein optimiertes Transfermanagement im Kurs vermindert werden können.

Anmerkung: In diesem Beispiel liegt ausnahmsweise ein stark standardisierter/standardisierbarer Evaluationsgegenstand vor. In vielen Bildungssettings sind die Evaluationsgegenstände einmalig, erstmalig (Pilotvorhaben oder Modelle), oder es handelt sich um Anpassungen mit starken lokalen Besonderheiten – in all diesen Fällen sind maßgeschneiderte Evaluationen umso mehr erforderlich.

➞ Lösung auf Seite 231

Übungsaufgabe 5:

«Kontexte zweier Evaluationen»Lösen Sie nun die Übungsaufgabe 5: Notieren Sie einige Stichwörter zu den Unterschieden der beiden Kontexte im vorangegangenen Beispiel zum Betriebssystem-Umsteigerkurs in Frankfurt bzw. Sri Lanka. Nutzen Sie dafür die Tabellendarstellung mit drei Spalten: A: Kontextmerkmal, B: Frankfurt, C: Sri Lanka

Schrittfolgen sind kein Rezeptbuch

Mit dem nachfolgenden Schema wird ein großer Bogen über die Hauptschritte eines Evaluationsprozesses gespannt, die je nach Kontext und Situation unterschiedliche Bedeutungen und Prioritäten haben. Die Auseinandersetzung mit den einzelnen Schritten wird dabei helfen, begründete Entscheidungen darüber zu treffen, welcher Schritt im spezifischen Fall mit welchem Gewicht zu bearbeiten ist.

Evaluationsprozess

Einen Überblick über den Evaluationsprozess gibt ➞ Abbildung 1. Die detaillierte Darstellung erfolgt in den nachfolgenden Kapiteln.

Abbildung 1: Der Evaluationsprozess

Evaluationsauftrag

Um den Evaluationsprozess ist zumeist ein formaler Rahmen gespannt: der Evaluationsauftrag, ohne den es zu keiner Evaluation kommt. Wenn die Evaluation an einen externen Dienstleister vergeben wird («externe Evaluation», ➞ Kapitel 5.7), kommt es zumeist zu einem schriftlich fixierten Vertrag zwischen Auftraggebenden und Auftragnehmenden. Dies ist z.B. der Fall, wenn die Qualitätsbeauftragte einer Weiterbildungseinrichtung ein Evaluationsbüro mit einer Evaluation zu einem Zertifikatskurs beauftragt. Auch interne Evaluationen werden in Auftrag gegeben; allerdings geschieht dies (leider) oft informell. Dabei kann ein Auftrag viel sicherer durchgeführt werden, wenn beide Seiten einen Konsens über dessen Details erzielt haben und dies auch schriftlich fixieren. Ein Sonderfall ist die Selbstevaluation (➞ Kapitel 5.6), in der eine programmzuständige Person sich selbst den Auftrag gibt, die eigene Maßnahme zu evaluieren.

Evaluationsvertrag mit Blick auf alle nachfolgenden Evaluationsschritte formulieren

Die besondere Herausforderung besteht darin, dass die in den folgenden Kapiteln zu behandelnden Schritte des Evaluationsprozesses in den Evaluationsplan aufgenommen und die vereinbarten Details im Auftragstext festgehalten werden. Ein Vertragsabschluss setzt voraus, dass Einigkeit über zentrale Elemente der Evaluation erzielt worden ist. Was schlussendlich Bestandteil des Vertrages wird und was nicht, muss von Evaluation zu Evaluation neu entschieden werden.

Wie kommt ein Evaluationsauftrag zustande?

Unterschiedliche Abläufe sind möglich, damit ein Evaluationsauftrag zustande kommt (vgl. DeGEval – Gesellschaft für Evaluation e.V., 2007). Die Initiative geht normalerweise von den Auftraggebenden aus. In einer Ausschreibung wird die gewünschte Evaluation beschrieben; sie wird öffentlich bekannt gemacht oder potenziellen Auftragnehmenden (z.B. einem Evaluationsbüro) direkt zugestellt. Die Ausschreibung kann dabei mehr oder weniger ausführlich sein. Im «kurzen» Fall wird das geplante Evaluationsprojekt nur knapp umrissen. Im «ausführlichen» Fall wird der Auftrag durch die sogenannten Terms of Reference (ToR) (Independent Evaluation Group/World Bank, 2011) bzw. das Pflichtenheft (z.B. Widmer, 2005, S.7–9) detailliert beschrieben: der Evaluationsgegenstand und sein Kontext, der Anlass für die Evaluation, der Evaluationszweck, die Evaluationsfragestellungen, die vorgesehenen Nutzenden (Adressierten) wie auch die geplante Nutzung der Evaluationsergebnisse, manchmal sogar die Evaluationskriterien, zugängliche Dokumente, bereits vorhandene Informationen und Daten, relevante Termine, das vorgesehene Budget, die verlangten Evaluationskompetenzen, einige methodische Richtlinien, die Gliederung des erwarteten Angebots sowie Hinweise zur Beurteilung der eingehenden Angebote. Potenzielle Evaluierende bewerben sich, stellen eventuell Rückfragen und unterbreiten ein Angebot. Aus den eingegangenen Angeboten wählen die Auftraggebenden (gegebenenfalls unter Rücksprache mit übergeordneten Stellen) aus. Alternativ kommen Aufträge ohne Ausschreibung zustande, z.B. beim «Einholen eines einzigen Angebots bei einem besonders vertrauten oder als besonders kompetent geltenden Experten» (Wottawa & Thierau, 2003, S.113).

Je nach Erfahrungen der Auftraggebenden mit Evaluation und mit dem zur Verfügung stehenden Budget variieren Umfang und Detailliertheitsgrad einer Ausschreibung.

Selten geht die Initiative zu einer Evaluation von den Auftragnehmenden aus, wie z.B. bei der Durchführung des Vorhabens im Rahmen einer Qualifizierungsarbeit (z. B. Diplomarbeit, Masterarbeit, Dissertation).

Ausrichtung des Evaluationsauftrages: formative oder summative Evaluation

Unabhängig vom Zustandekommen des Evaluationsauftrages führt dessen Ausrichtung zu einer frühen Weichenstellung des gesamten Evaluationsvorhabens:

SCHLÜSSELAUSSAGE

Bereits in der Ausschreibung bzw. im Rahmen erster Vorgespräche ist entweder explizit geklärt – oder es ist implizit enthalten – ob die durchzuführende Evaluation eher eine formative oder eine summative Evaluationsrolle einnehmen soll oder eine Mischform von beiden. Diese entscheidende Weichenstellung ist prägend für die spätere Evaluationsdurchführung.

Die formative Evaluation soll zur optimalen «Ausformung» des Evaluationsgegenstandes, also z.B. einer noch im Erprobungsstadium befindlichen Bildungsmaßnahme, beitragen. Sie führt oft zu einer Veränderung oder einer Stabilisierung eines Programms. Hingegen will die summative Evaluation einen «Summenstrich», eine Bilanz zum Evaluationsgegenstand ziehen, damit sich die Beteiligten und Betroffenen ein zusammenfassendes Bild von seinem Wert machen können bzw. damit sie eine Basis für zu treffende Grundsatzentscheidungen haben, also z.B. Fortführung oder Einstellung, Ausweitung oder Verkleinerung eines Bildungsprogramms.

Je nach Reifegrad eines Programms können Evaluationen unterschiedliche Funktionen erfüllen, z.B. eine klärende oder interaktive Funktion (eine Domäne der formativen Evaluation), oder sie sollen die Umsetzung einer schon im Regelbetrieb befindlichen Maßnahme dokumentieren oder ihre Wirkung feststellen (eine Domäne der summativen Evaluation). Verbesserung oder Stabilisierung sind typische Zwecke einer formativen Evaluation; in summativen Evaluationen geht es meist um Rechenschaftslegung oder Grundsatzentscheidungsfindung (ausführlich in ➞ Kapitel 6.1).

Auftraggebende wünschen sich oft gleichzeitig eine formative und eine summative Evaluationsrolle. Werden diese gleichrangig und zeitgleich eingenommen, können die Durchführbarkeit und Genauigkeit (zu diesen beiden von insgesamt vier Bewertungsdimensionen ausführlicher in ➞ Kapitel 13) einer Evaluation gefährdet werden, da z.B. Mitarbeitende angesichts anstehender Grundsatzentscheidungen taktisch antworten und es damit erschwert wird, die verbesserungsbedürftigen Schwächen eines Programms zu entdecken. Es empfiehlt sich daher, entweder klare Prioritäten zu setzen oder aber eine Phaseneinteilung vorzuschlagen, indem zunächst die formative und dann die summative Evaluationsrolle eingenommen wird.

Finanzierung

Die notwendigen Mittel stammen zumeist von der ausschreibenden Institution; manchmal stehen den Evaluierenden eigene Haushaltsmittel zur Verfügung. Auch eine komplette Fremdfinanzierung über Stiftungs- oder sonstige Fördermittel ist möglich. In besonderen Fällen (z.B. bei Qualifizierungsarbeiten) steht kein Budget zur Verfügung, und der Aufwand muss entsprechend klein gehalten werden.

Abschließende Auftragsklärung und schriftliche Fixierung

Sind die Evaluierenden ausgewählt, kommt es zur mündlichen Auftragsklärung mit den Auftraggebenden. Es werden Details des in den folgenden Kapiteln geschilderten Evaluationsprozesses besprochen und möglichst schriftlich fixiert. Dies wird zugleich Bestandteil des rechtsverbindlichen oder im Innenverhältnis gültigen Vertrages.

Die Aushandlung eines Vertrages ist sorgfältig vorzunehmen. Hier treffen erstmals die Vorstellungen der Auftraggebenden (die sich auch innerhalb dieser Gruppe unterscheiden können) auf diejenigen der Auftragnehmenden über das zukünftige Evaluationsprojekt.

Verantwortlichkeiten

Es ist wichtig festzuhalten, dass nach Auftragsvergabe die Verantwortung und Entscheidungskompetenz für die Durchführung der Evaluation bei den Auftragnehmenden liegen. Dies ist von entscheidender Bedeutung dafür, dass Letztere aus einer unabhängigen Position handeln können und der Evaluation und ihren Ergebnissen hohe Glaubwürdigkeit zugemessen werden kann.

In Bezug auf die verschiedenen Evaluationsschritte gibt es solche, bei denen die Evaluierenden aufgrund ihrer fachlichen Kompetenz Vorrang und letztinstanzliche Entscheidungsbefugnis haben sollen. Dies gilt insbesondere für die Schritte «Auswahl von Erhebungsdesign und -methoden» (➞ Kapitel 8), «Durchführung der Erhebungen» (➞ Kapitel 9), «Datenauswertung, Interpretation und Bewertungssynthese» (➞ Kapitel 10) sowie «Berichterstattung» (➞ Kapitel 11), wobei hinsichtlich der Ergebnisvermittlung die Auftraggebenden wiederum stärker einzubeziehen sind.

Hingegen sind die Interessen und Bedarfe der Auftraggebenden, aber auch weiterer Akteure bei den anderen Schritten vorrangig zu berücksichtigen; die Evaluierenden treten hierbei in eine Moderations- oder Beratungsrolle zurück.

Ein guter Evaluationsauftrag braucht Zeit

Je mehr bereits im Vertrag an Vorarbeit zu den verschiedenen Punkten geleistet worden ist, desto weniger Klärungsbedarf entsteht im Verlauf der Evaluation. Damit weiterhin genügend Flexibilität erhalten bleibt – denn schnell kann sich Grundlegendes im Evaluationsgegenstand selbst (z.B. Neukonzeption eines fehlgeschlagenen Teilkurses) oder seinem Kontext (z.B. neue Förderrichtlinien der Arbeitsagentur für Qualifizierungsmaßnahmen) ändern –, müssen Öffnungsklauseln enthalten sein: Wann können Neuverhandlungen begonnen werden und durch wen werden sie ausgelöst? Wie kurzfristig verpflichten sich die Vertragsparteien, auf dringende Anfragen zu reagieren? In jedem Fall muss für die Phase der Auftragsklärung und -fixierung genügend Zeit eingeplant werden.

Konkrete Vertragsinhalte als Fixierung des Auftrages

Konkret sind die folgenden Punkte Bestandteil eines Evaluationsvertrages, der den Evaluationsauftrag fixiert (vgl. auch die «Checkliste für den Abschluss eines Evaluationsvertrages» in Farrokhzad & Mäder, 2014, S.129):

❙ Bestimmung des Evaluationsgegenstandes (➞ Kapitel 4)

❙ Bestimmung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6)

❙ Bereits verfügbare Informationen bzw. Zugang zu ihnen

❙ Auswahl von Erhebungsdesign und -methoden (➞ Kapitel 8)

❙ Ein Arbeitsplan/Pflichtenheft mit einer chronologischen Abfolge der einzelnen Arbeitsschritte von Auftragsbeginn bis zum Ende der Evaluation und dem damit verbundenen Arbeitsaufwand sowie den Verantwortlichkeiten, sowohl aufseiten der Auftragnehmenden als auch der Auftraggebenden, mit Meilensteinterminen

❙ Ein Finanzplan, der alle Personal-, Sach- und sonstigen Kosten aufführt. Dieser Plan setzt eine differenzierte Kalkulation voraus, die die Evaluierenden mit großer Sorgfalt durchzuführen haben, da sie als Bestandteil des Auftrages für alle Beteiligten bindend wird und die zur Verfügung stehenden Ressourcen bestimmt

❙ Absprachen über die Formen der Berichterstattung (➞ Kapitel 11.4)

Schriftliche Form des Evaluationsauftrages

Nach einer Einigung zwischen den Vertragsparteien sind die getroffenen Vereinbarungen formal, schriftlich und für alle Beteiligten verbindlich zu fixieren (Vedung, 2004, S.121). Ein solcher schriftlicher (in seltenen Fällen mündlicher, aber in jedem Fall rechtsverbindlicher) Vertrag ist bei der Weiterarbeit für die beteiligten Parteien bindend; Nachbesserungen bedürfen Nachverhandlungen.

VERTIEFUNGSLITERATUR

❙ Balzer, L. (2005). Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik.

❙ DeGEval – Gesellschaft für Evaluation e.V. (2007). Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung. Mainz: DeGEval.

4 Bestimmung des Evaluationsgegenstandes

| Lernziele von Kapitel 4: |
| ❙ Den Fachbegriff «Evaluationsgegenstand» definieren und themenrelevante Elemente aufzählen können❙ Eine Erstbeschreibung eines Evaluationsgegenstandes anfertigen können

Bestimmung von Evaluationsgegenstand und dessen Zielen

Zu Beginn des Evaluationsprozesses müssen der Evaluationsgegenstand und dessen Ziele bestimmt werden. Dieser Sachverhalt gilt unter Expertinnen und Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.176).

Zu einem Evaluationsgegenstand kann alles Mögliche werden

Am Anfang scheint es ganz einfach: Eine Bildungsmaßnahme soll evaluiert werden. Doch was bedeutet das konkret? In der Evaluationsliteratur werden viele potenzielle Evaluationsgegenstände aufgezählt: Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und eröffnen der Evaluation damit ein sehr breites Tätigkeitsfeld. Westermann (2002, S.7) nennt Maßnahmen, Interventionen, Programme, Produkte, Methoden, Systeme, Pläne, Umgebungsfaktoren und Personen. Die DeGEval-Standards zählen Programme wie z.B. Projekte, Maßnahmen und andere Interventionen, Organisationen, Produkte sowie Evaluationen selbst auf (DeGEval – Gesellschaft für Evaluation e.V., 2016, S.25). Wie weiter oben (➞ Kapitel 2.1) beschrieben, weitet Scriven (1981, S.4) das potenzielle Tätigkeitsfeld noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem potenziellen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt bringen es auf den Punkt: «Alles kann evaluiert werden» (1990, S.15). Und das ist, selbst wenn man den Blick «nur» auf die Bildung richtet, eine ganze Menge.

Der Evaluationsgegenstand muss konkret bestimmt werden

Für eine konkrete Evaluation muss eine gut begründete Eingrenzung vorgenommen und der tatsächliche Evaluationsgegenstand detailliert beschrieben werden. Zunächst scheint dies eine leichte Aufgabe, denn der Wunsch nach Informationen über den Evaluationsgegenstand geht im Regelfall einer Evaluationsbeauftragung voraus. Demzufolge haben Auftraggebende zumindest eine grobe Vorstellung vom Gegenstand, also «innere Bilder» von der Bildungsmaßnahme und auch Ideen, was davon beschrieben und bewertet werden soll; doch reicht dies nicht aus. Deswegen müssen sich die Evaluierenden – mithilfe der Auftraggebenden und auch anderer Quellen – Klarheit über den Evaluationsgegenstand verschaffen.

Wie bestimmt man einen Evaluationsgegenstand?

Um einen Evaluationsgegenstand im Bereich der Bildung zu bestimmen, ist als Erstes eine kurze, aber schriftlich festgehaltene, auch für Außenstehende nachvollziehbare Erstbeschreibung des zu evaluierenden Bildungsangebotes auf Basis der und mit Verweis auf die Programmunterlagen zu erstellen.

Merkmale des Evaluationsgegenstandes

Relevante Beschreibungsdimensionen sind dabei:

❙ Name, Träger, Abschlusstyp

❙ Initiatoren, Verantwortliche, Mitarbeitende und deren Qualifikationen, Nutznießende

❙ Ziele (z.B. Lehr- und Lernziele, aufzubauende Kompetenzen)

❙ fachwissenschaftliche Bezüge

❙ Inhalte bzw. Themen (z.B. im Zusammenhang mit Durchführungsplänen, Medien und Materialien, Lehrmitteln)

❙ Elemente (Präsenzveranstaltungen, begleitete und unbegleitete schriftliche Arbeiten, selbst gesteuertes Lernen, Prüfungen etc.)

❙ didaktische Prinzipien und Methoden sowie wichtigste vorgesehene (Lehr-)Interventionen

❙ Umfang (Dauer, Kontaktstunden, Workload z.B. in ECTS-Leistungspunkten) und Preis

❙ zur Verfügung stehende Ressourcen (u.a. Kompetenzen von Mitarbeitenden, Finanzen)

❙ Kennzahlen (z.B. Anzahl Teilnehmende, realisierte Teilnehmendenstunden/-tage, Anzahl und Art der Abschlüsse, Abbruchquoten und -gründe, Umsatzzahlen)

❙ «History» (Veränderungen z.B. bezüglich Rechtsgrundlagen oder Zielen/Inhalten/Workload sowie Darstellung überwundener Schwächen früherer Durchführungen)

❙ Besonderes (z.B. Kooperationen, Wettbewerbsposition)

Wenn Informationen zu einem wichtigen Punkt fehlen und sie nicht mit geringem Aufwand (z.B. Experteninterview mit der Programmleitung) zu beschaffen sind, ist dies festzuhalten.

Teil- oder Gesamtevaluation?

Zur Bestimmung des Evaluationsgegenstandes gehört in einem zweiten Schritt, dass festgestellt wird,

❙ ob die gesamte Bildungsmaßnahme Gegenstand der Evaluation wird, oder

❙ ob Teile davon als Evaluationsgegenstand vereinbart werden.

Oft wird stillschweigend davon ausgegangen, dass eine Gesamtevaluation vorgenommen wird. Man muss sich jedoch fragen, ob dies sinnvoll und leistbar ist:

❙ Beim Evaluationszweck (➞ Kapitel 6.1) Rechenschaftslegung wird oft eine Gesamtbetrachtung angemessen sein.

❙ Wenn es um Verbesserung geht, kommt es darauf an, ob man bereits im Vorhinein stabile, reife Programmelemente einerseits und instabile, optimierungsbedürftige Elemente andererseits unterscheiden kann. Ist dies der Fall, wird man die Evaluation auf die kritischen Teile fokussieren.

❙ Bei Bildungsmaßnahmen mit langen Laufzeiten ist eventuell eine Beschränkung auf Phasen sinnvoll oder – aus Ressourcengründen – erforderlich.

Wenn die Entscheidung – was oft der Fall sein wird – auf eine Teilevaluation fällt, muss der fokussierte Teil intensiver beschrieben werden als die Gesamtmaßnahme. Außerdem muss die Gegenstandsbeschreibung die Grenzen des fokussierten Gegenstandes markieren.

➞ Lösung auf Seite 233

Übungsaufgabe 6:

«Kurzbeschreibung eines zu evaluierenden Studiengangs»Lösen Sie nun die Übungsaufgabe 6: Stellen Sie sich vor, ein Studiengang sei zu evaluieren. Erstellen Sie eine Kurzbeschreibung dieses Evaluationsgegenstandes auf ein bis zwei Seiten. Nutzen Sie hierfür die zu Beginn von ➞ Kapitel 4 aufgelisteten «relevanten Beschreibungsdimensionen». Übertragen Sie diese in die linke Spalte einer zweispaltigen Tabelle und notieren Sie in der rechten Spalte jeweils Stichworte. Halten Sie zu denjenigen Dimensionen, zu denen Sie nichts oder wenig formulieren können, fest, welche die nächsten Schritte sein könnten, um diese Lücken zu schließen.

Ziele des Evaluationsgegenstandes

Der nächste Schritt ist, die Zielsetzungen des Evaluationsgegenstandes genau zu identifizieren (wohlgemerkt: Es geht hier nicht um die Zwecke der Evaluation – ➞ Kapitel 6.1 –, sondern um die Ziele des Evaluationsgegenstandes). Die Ziele des Evaluationsgegenstandes sind ausschlaggebend dafür was in der Evaluation im Detail untersucht werden muss. Oft geht es darum, zu überprüfen, in welchem Maße diese Ziele erreicht werden – dazu mehr in ➞ Kapitel 6.

BEISPIEL 2

Ein wichtiges Ziel von IT-Schulungen ist: Die Teilnehmenden verfügen am Ende der Schulung über klar definiertes Wissen und Können zu einem bestimmten Bereich der IT. Idealerweise können sie nach Abschluss der Schulung auf Basis dieses Wissens und der erworbenen Fertigkeiten reale Probleme im beruflichen oder privaten Kontext lösen. Ein weiteres Ziel kann darin bestehen, dass Mitarbeitende an ihrem Arbeitsplatz motiviert sind, sich neues IT-Wissen und Können selbst oder in Peer-Gruppen anzueignen. Ein anderes Ziel kann sein, Mitarbeitende von vielen weit entfernten Standorten zusammenzubringen, damit sie sich (besser) kennenlernen und zukünftige Kommunikationskanäle leichter genutzt werden. Der eigentliche Lerninhalt würde dabei in den Hintergrund treten. Wenn eine Firmenschulung mehrere Ziele verfolgt – z.B. Lernzuwachs, Motiviertheit zum Selbstlernen und Verbesserung der Firmenkommunikation –, sind diese bereits in dieser frühen Phase der Evaluation zu identifizieren, damit alle folgenden Schritte darauf zugeschnitten werden können.

Relevante und geklärte Ziele sind Voraussetzung sowohl für gelingende Bildungsprogramme als auch für nützliche Evaluationen. Diese Aufgabe gehört nicht originär zur Evaluationstätigkeit, sondern vorrangig in den Bereich der didaktischen Planung. Lernen kann danach «als die kompetenzbildende Aneignung von Kenntnissen, Fähigkeiten und Fertigkeiten bezeichnet werden», was beiläufig als «funktionales Lernen» in informellen Settings wie auch absichtsvoll als «intentionales Lernen» stattfinden kann (Arnold & Gómez Tutor, 2007, S.63). Evaluation interessiert sich vorrangig für intentionales Lernen, das im Rahmen von Bildungsprogrammen und -kursen stattfindet.

Ein allgemeines Leitziel von Lernen

Allgemein kann man sagen: «Lernen ist gelungen, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integration erhöht hat. Das heißt, Lernen erweitert die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Gelungenes Lernen ist ein Lernen, das der Lernende selbst wertschätzt […]» (Zech, 2008, S.18).

Ziele im Konzept und der Weg zur Zielerreichung

Die Ziele einer Bildungsmaßnahme und die Wege dorthin sind – in der Regel schriftlich – in einem Programmkonzept niedergelegt. Unter einem Konzept wird ein gedanklicher Entwurf der Programmverantwortlichen verstanden: Mithilfe welcher Lehrinterventionen und Lehr-Lern-Arrangements, welcher Lehr-Lern-Methoden, Materialien und Medien, anschließend an welche bereits vorhandenen Kompetenzen sollen welche Outcomes bis wann, wo und bei wem ausgelöst werden? Interventionen von Lehrenden können dann einen Beitrag zu gelingendem Lernen leisten, wenn sie schlüssig in ein genügend, aber auch nicht zu komplex gestaltetes Konzept eingebettet sind.

Bezüglich des Konzeptes von Bildungsmaßnahmen haben Evaluierende die Aufgabe, es auf Stringenz und Kohärenz der Ziele und vorgesehenen Aktivitäten zu untersuchen («Konzeptevaluation»). Kernbestandteil eines Konzeptes ist ein expliziertes und systematisch gegliedertes Zielsystem. Evaluationsfragestellungen können ebenso wie Bewertungskriterien darauf bezogen werden. Damit ist nicht gesagt, dass sich Evaluation immer und ausschließlich auf diese Ziele beziehen soll. Auch wenn die Ziele in hohem Maße erreicht werden, kann es sein, dass die unvorhergesehenen, nachträglich als negativ eingeordneten Nebenresultate des Programms in einer Gesamtbewertung so stark zu Buche schlagen, dass das Bildungsprogramm insgesamt negativ zu bewerten ist. Um Nebenresultate zu entdecken, muss man ein besonderes Augenmerk auf diese richten. In der «goal-free evaluation» (Scriven, 1991a), der zielfreien Evaluation, wird dies explizit versucht, indem alle Auswirkungen eines Evaluationsgegenstandes erfasst werden, ohne dessen Ziele zur Kenntnis zu nehmen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative, nicht beabsichtigte Resultate zu übersehen. Außerdem kann es angemessen sein, bei der Bewertung auch die Relation zu den Kosten zu berücksichtigen. Eventuell gibt es zur Erreichung der Ziele preisgünstigere, qualitativ aber vergleichbare Alternativen.

Zielklärung

Patton (2012, S.204) behandelt das Thema «Ziele» ausführlich. Er weist darauf hin, dass Programmziele für die Evaluation zentral wären, viele Programme aber über keine befriedigend formulierten Ziele verfügten. Evaluierende geraten deswegen in die herausfordernde Situation, mit den Programmverantwortlichen oft erst noch Ziele klären zu müssen, um mit systematischem Evaluieren überhaupt beginnen zu können. Damit dies nicht zu einem unbefriedigenden, da nicht zu Ergebnissen führenden «Zielklärungsspiel» (goal clarification game) führt, müssen Evaluierende über das Handwerkszeug der Zielklärung verfügen. Patton (2012, S.215ff.) konkretisiert dies mit den folgenden zehn Prinzipien für bedeutsame und nützliche Ziele:

1) Identifiziere solche Outcomes, die für diejenigen relevant sind, die die Arbeit im Programm tun.

2) Unterscheide klar zwischen Outcomes und Aktivitäten.

3) Spezifizieren ist ausschlaggebend. Spezifische Outcomes haben mehr Orientierungskraft.

4) Jedes Ziel sollte nur einen einzigen Outcome beinhalten.

5) Outcome-Formulierungen sollen leicht verständlich sein.

6) Schriftlich fixierte Ziele sollen sich auf die wichtigsten Programm-Outcomes beschränken.

7) Halte gewünschte Outcomes getrennt von den Wegen, auf denen sie erreicht werden sollen.

8) Unterscheide klar Ziele von Indikatoren sowie von Kriterien und Kriterienpunkten bzw. Schwellenwerten, ab denen ein befriedigendes Resultat erreicht ist. (➞ Kapitel 7)

9) Kopiere nicht einfach die Ziele von anderen, sondern rege die Beteiligten und Betroffenen an, eigene Ziele in eigener Sprache zu formulieren.

10) Halte die Aufmerksamkeit auf die zu erreichenden Resultate während des gesamten Programmverlaufes hoch.

Ein Programmkonzept kann an verschiedenen Zielarten ausgerichtet werden. Bei der Zielfindung und -klärung geht es oft zentral um die Frage, was die erwünschten Zustände sind, die bei Teilnehmenden durch bestimmte Interventionen oder Aktivitäten ausgelöst werden sollen.

Je nachdem, ob Ziele eines größeren Programms (z.B. eines Studiengangs) oder einer kurzen, einige Stunden umfassenden Maßnahme ausgewiesen werden sollen, müssen unterschiedlich viele Ziele formuliert sein. Die Gesamtzahl der Ziele muss – um Evaluierbarkeit zu erreichen – in einem überschaubaren Rahmen bleiben; eventuell müssen Prioritäten gesetzt werden. Sowohl für große als auch für fokussierte Evaluationsgegenstände kann das nachfolgend dargestellte dreigegliederte Zielsystem (Beywl, Bestvater & Friedrich, 2011, S.42–48; Beywl & Schepp-Winter, 2000) hilfreich sein, um Ziele systematisch zu klären. Es hat sich in der Zusammenarbeit zwischen Evaluierenden und Programmverantwortlichen bewährt und kann als Werkzeugkasten für die Zielklärung genutzt werden. Diese Gliederung ist eine Art Arbeitshilfe, um sowohl «visionäre Leitziele» (Zech, 2008, S.24) als auch messbare Detailziele formulieren zu können. Für eine Anwendung des dreigegliederten Zielsystems auf ein Bildungsnetzwerk mit einer ausführlichen Darstellung des Vorgehens sei auf Schmidt (2016) verwiesen.

Abbildung 2: Steuerungsfunktion des Zielsystems (in Anlehnung an Beywl & Schepp-Winter, 2000)

Leitziel

Ein Leitziel gibt die Grundausrichtung einer Organisation, eines Programms oder einer Bildungsmaßnahme an und ist längerfristig gültig. Es drückt zugrunde liegende Werte und Normen aus und gibt den Bereich an, auf den sich die Aktivitäten des Programms ausrichten sollen. Leitziele können Teil eines Leitbildes, der Philosophie einer Organisation oder von Grundkonzeptionen sein. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charakters nur schwer bis gar nicht operationalisierbar, dienen aber als Ausgangspunkt für die Festlegung überprüfbarer Detailziele.

Mittlerziel

Ein Mittlerziel verbindet die Ebenen der Leitziele und der Detailziele. Das Mittlerziel konkretisiert das Leitziel, indem es bestimmte Teilbereiche näher beschreibt. Im Gegensatz zum Leitziel enthält es bereits operationalisierte Elemente.

Detailziel

Ein Detailziel beschreibt präzise den Zielzustand, der durch bestimmte Interventionen erreicht werden soll. Es ist konkret, überprüfbar, zeitlich festgelegt und realistisch. Ein Detailziel ist operationalisiert und empirisch überprüfbar. Bei Bildungsmaßnahmen sind dies oft Lernziele im Sinne von Outcomes.

BEISPIEL 3

Nachfolgend findet sich ein Ausschnitt aus einem Zielsystem, das für ein Weiterbildungsangebot zum Thema «Evaluation» an einer Hochschule gelten könnte.

Leitziel der Weiterbildungseinrichtung einer Hochschule:

«Wir fördern die berufliche und persönliche Entwicklung der Teilnehmenden unserer Studiengänge, Kurse, Veranstaltungen und Alumninetzwerke.»

Mittlerziel für eine wissenschaftliche Weiterbildung in Evaluation:

«Die Teilnehmenden erwerben ein grundlegendes Verständnis für den Zusammenhang zwischen Evaluationszweck, Evaluationsfragestellungen, Evaluationsmodellen und empirischen Methoden.»

Detailziel für eine Teilsequenz dieses Weiterbildungsangebots:

«Die Teilnehmenden können die Begriffe ‹Evaluationszweck› und ‹Programmziel› in eigenen Worten erläutern und begründen, weshalb es für eine klare Evaluationsplanung relevant ist, beide Begriffe und Sachverhalte stets auseinanderzuhalten.»

Je nach Dauer und Größe eines Programms (z.B. gemessen in Finanzumsatz oder lokaler Verortung) fallen die Formulierungen auf den drei Ebenen unterschiedlich konkret aus: Leitziele können noch allgemeiner, Detailziele noch spezifischer formuliert werden. Die dargestellten zehn Prinzipien von Patton gelten für Detailziele im Konkretisierungsgrad des Beispiels. Werden diese noch spezifischer und handlungsleitend für konkrete Aktivitäten auf der Mikroebene, können sie auch mit Indikatoren operationalisiert sein und Kriterienpunkte bzw. Schwellenwerte enthalten (Abweichung von Prinzip 8).

Perspektivenwechsel bei der Zielbestimmung

Die konkrete Zielbestimmung ist zudem herausfordernd, wenn die Perspektive gewechselt wird, aus der man auf einen Evaluationsgegenstand schaut (was immer, zumindest probehalber, getan werden sollte).

BEISPIEL 4

Wird der Evaluationsgegenstand IT-Schulung aus der Sicht von Verantwortlichen einer Fortbildungsinstitution betrachtet, so kann der Lernerfolg einer gesamten Lerngruppe im Vordergrund stehen. Aus der Warte eines einzelnen Teilnehmenden kann dessen Lernerfolg (oder der einer bestimmte Teilgruppe) viel wichtiger sein, sodass Fragen der individuellen oder gruppenspezifischen Wirkungen einer Schulung in den Vordergrund rücken. Ist der Auftraggeber einer IT-Schulungsevaluation ein Verlag, der IT-Schulungsmaterialien zur Verfügung stellt, so kann sich der Fokus erneut verändern. Zwar ist auch hier Lernerfolg wünschenswert, aber es geht stärker um Einführungs- und Nutzungsbedingungen sowie die Bewertung der Materialien.

Intendierte Ziele des Evaluationsgegenstandes sowie ungewollte und unerwartete Resultate

Wie weiter oben schon beschrieben, ist darauf zu achten, dass eine ausschließliche Bestimmung der intendierten Ziele des Evaluationsgegenstandes zu kurz greift. Darüber hinaus müssen auch Vorstellungen über ungewollte und unerwartete Resultate sowie unerwünschte, aber bekannte Nebenresultate entwickelt werden.

BEISPIEL 5

Eine erfolgreiche Vermittlung von IT-Wissen als ein wichtiges Ziel einer IT-Schulung kann von vielen erwünschten wie auch unerwünschten/unvorhergesehenen Folgen begleitet werden. Handelt es sich bei einem Schulungszentrum z. B. um eine firmeninterne Fortbildungsinstitution, kann sich das Qualifikationsgefüge innerhalb der Firma dergestalt verschieben, dass Gehaltsbegehrlichkeiten geweckt werden, dass neuer Schulungsbedarf hinsichtlich einer Vertiefung des Gelernten entsteht, dass Schulungsbedarf für die noch nicht geschulten Mitarbeitenden gefordert wird oder dass für bestimmte Arbeitsbereiche ein Mangel an Fachkräften resultiert, da sich diese für andere Tätigkeiten weiterqualifiziert haben. Ein schlecht geplantes Fortbildungsprogramm kann die gesamte Organisationsstruktur eines Betriebes durcheinanderbringen. Eventuell kann dieselbe ebenfalls in den Fokus einer Evaluation geraten, wenn die Schulung betreffende Zufriedenheitsaspekte eine Rolle spielen. So mögen Teilnehmende zwar viel gelernt haben, was einem wichtigen Ziel der Schulung entspräche, aber gleichzeitig kann eine Reihe neuer Probleme auftauchen und eine sich in der Evaluation widerspiegelnde Unzufriedenheit erzeugt werden. Darüber hinaus kann eine langweilige Schulung demotivierend statt motivierend wirken, oder Streit zwischen Teilnehmenden kann Kommunikationskanäle nicht öffnen, sondern für lange Zeit verschließen. Und was würde ein Bildungsträger sagen, wenn das eingesetzte Schulungsmaterial derartig gut wäre, dass niemand mehr eine Schulung bucht, dafür aber jeder das Begleitheft erwirbt?

Unübersichtlichkeit bei komplexen Evaluationsgegenständen

Die Erstbeschreibung und das Zielsystem sind Kernelemente einer Gegenstands- oder Programmbeschreibung. Bei größeren, auf längere Zeit angelegten Bildungsmaßnahmen können beide so zahlreiche Daten und Informationen so liefern, dass diese sowohl für die Programmmitarbeitenden als auch für die Evaluierenden schwer zu fassen sind und die Programmbeschreibung unübersichtlich werden kann.

Logische Modelle als Visualisierungen von Evaluationsgegenständen

Um dieser Herausforderung zu begegnen, sind textlich-visuelle Darstellungen entwickelt worden, welche es ermöglichen, die wesentlichen Bestandteile des Programms und ihre Hauptverbindungen auf einen Blick zu sehen. In der Evaluationsfachsprache werden diese als «Logische Modelle» bezeichnet. Der Begriff bringt zum Ausdruck, dass ein (vereinfachtes) Abbild des Programms «modelliert» wird, und dass die gedachte Logik der Abläufe oder des Ineinandergreifens der Programm-Elemente sichtbar gemacht werden soll. Hoch gegriffen kann auch von der «Wirklogik» des Programms gesprochen werden, wobei eine solche Bezeichnung zusätzlich theoretisch begründete und empirisch bewährte Aussagen über die Wirkmechanismen erfordert, welche dazu führen, dass die Interventionen (unter bestimmten, anzugebenden Bedingungen) die angestrebten Zielzustände tatsächlich auslösen. Solche im Vergleich zu Logischen Modellen anspruchsvolleren «Programmtheorien» schließen deren wesentliche Elemente mit ein und sind dabei umfassender und differenzierter ausgearbeitet. Insbesondere werden die für den gedachten Programmablauf und die Verbindungen zwischen den Programmelementen relevanten Annahmen expliziert. Solche Wirkmechanismen werden möglichst durch vorliegende Forschungs- oder Evaluationsergebnisse bzw. für den Evaluationsgegenstand einschlägige Theorien begründet (vgl. Giel, 2013; Haubrich, 2009).

Giel (2013, S. 230) schreibt dazu: «Außerdem ist auch bestehendes Wissen einzubeziehen und auf bereits überprüfte Hypothesen zurückzugreifen. Eine Strategie, die oftmals vernachlässigt wird.» Dabei bieten auf den Bildungsbereich spezialisierte Online-Forschungsdatenbanken leichten Zugang zu einschlägigen Berichten und Fachartikeln. Beispielsweise genannt seien der Deutsche Bildungsserver, das Fachportal Pädagogik und pedocs für Deutschland, die Datenbank der Schweizerischen Koordinationsstelle für Bildungsforschung in der Schweiz, schule.at in Österreich, Eurydice für die EU und das Education Resources Information Center ERIC für den englischsprachigen Raum.

Neben Logischen Modellen und Programmtheorien existieren weitere Wirkmodelle. Balthasar und Fässler (2017) vergleichen z. B. «Logic Model», «Theory of Change» und den «realistischen Evaluationsansatz» miteinander.

Ein sehr einfaches Logisches Modell nutzt Michael Patton in seinen Workshops und Präsentationen. Ein Programm kann stark vereinfacht mit drei Elementen dargestellt werden:

Ein einfaches Logisches Modell für die Planungsphase des Programms

Abbildung 3: Einfaches Logisches Modell nach Patton in der Planungsphase des Programms

Bei Bildungsprogrammen ist die Ausgangslage oft dadurch charakterisiert, dass die Lerneingangssituation bei den Zielgruppen des jeweiligen Bildungsprogramms (IST) gegenüber den gesellschaftlich, von den Finanzierenden des Bildungsprogramms oder von den Teilnehmenden selbst gesetzten Zielen (SOLL) eine Lücke aufweist. Diese wird auch als «Bildungsbedarf» bezeichnet. Um diese Lücke zu schließen oder zumindest zu verkleinern, werden Interventionen geplant – also Bildungsmaßnahmen mit auf die Ziele zugeschnittenen Inhalten und Methoden. Eine wichtige Voraussetzung für einen Programmerfolg ist, dass die drei Elemente gut aufeinander abgestimmt sind, wofür die Programmverantwortlichen ihr Fachwissen zum jeweiligen Bildungsgebiet sowie pädagogisches Fachwissen (u.a. Lerntheorien, didaktische Theorien) einsetzen. Evaluation hat hier die Aufgabe, die Passung der Ziele auf die Bedarfe, die Passung der Interventionen auf die Ziele und die Gesamtkonsistenz des Programmkonzeptes samt seiner grundsätzlichen Umsetzbarkeit zu beschreiben und zu bewerten (vgl. proaktive und klärende Evaluation in ➞ Kapitel 6.1.1)

Ein einfaches Logisches Modell für die Realisierungsphase des Programms

Mit der Umsetzung der Interventionen werden (insbesondere intendierte, also den Zielen entsprechende) Resultate erzielt. Damit verändert sich die Darstellung in Bezug auf das dritte Element:

Abbildung 4: Einfaches Logisches Modell nach Patton in der Realisierungsphase des Programms

Bei den Resultaten handelt es sich im Bildungsbereich meist um Veränderungen oder Stabilisierungen bei den Zielgruppen des Programms (z.B. erweitertes Wissen oder neue Kompetenzen). Auch daraus entstehende Vorteile fallen darunter, wie z.B. Einstieg in das Beschäftigungssystem, beruflicher Aufstieg oder eine Gehaltserhöhung. Diese durch die Detailziele des Programms operationalisierten (gewünschten) Zustände bei den Zielgruppen nennt man auch «Outcomes». Evaluation hat hier die Aufgabe, Informationen darüber bereitzustellen, inwieweit die vorgesehenen Interventionen tatsächlich umgesetzt wurden, in welchem Umfang die Outcomes bei den Zielgruppen erreicht wurden und gegebenenfalls auch, inwiefern dies tatsächlich auf das Bildungsprogramm und seine Interventionen zurückführbar ist (interaktive, dokumentierende und wirkungsfeststellende Evaluation; ➞ Kapitel 6.1.1).

Nutzen der einfachen Logischen Modelle

Bereits diese beiden einfachen Drei-Elemente-Modelle erweisen sich in der Evaluationspraxis als sehr nützlich: Indem die Evaluierenden mit den Bildungsverantwortlichen die Elemente mit konkreten Angaben zum Programm füllen, entsteht ein konkretes und übersichtliches gemeinsames Bild des Programms, das in der weiteren Zusammenarbeit ergänzt oder korrigiert werden kann. Für die Evaluierenden ist es essenziell, dass ihr Bild vom Evaluationsgegenstand möglichst deckungsgleich mit dem der Bildungsverantwortlichen ist. Eine Annäherung beider Sichtweisen, was auch ein Kennenlernen des Gegenstandes seitens der Evaluierenden einschließt, entsteht im Dialog beider Seiten und wird von den Programmverantwortlichen sehr häufig als hilfreich empfunden.

In der Evaluations-Fachliteratur gibt es seit den 1960er-Jahren zahlreiche Gliederungsvorschläge für Logische Modelle mit unterschiedlich vielen Elementen, stärkerer Differenzierung oder bewusster Vereinfachung. Einen kurzen Überblick dazu geben Farrokhzad und Mäder (2014).

Der Programmbaum als anschauliches Logisches Modell

Als eine besonders anschauliche Version eines Logischen Modells hat sich im deutschsprachigen Raum der von Univation entwickelte «Programmbaum» stark verbreitet (vgl. zum Folgenden ausführlich Bartsch, Beywl & Niestroj, 2016). Die Metapher des Baumes (➞ Abbildung 5) streicht die Bedeutung der Outcomes als «Früchte» des Programms heraus. Unter der «Krone» befindet sich der Stamm mit den Programmaktivitäten, welche die Nährstoffe zuführen. Darunter befindet sich das Wurzelwerk, welches das Programm in seiner Umwelt verortet und die Ressourcen für das Programm bereitstellt. Das Konzept schließlich enthält den genetischen Code für das Programm (der allerdings – im Gegensatz zu einem echten Baum – verändert werden kann). Ähnlich den beiden Drei-Elemente-Modellen ist die Baummetapher eine starke Vereinfachung gegenüber dem tatsächlichen Programm. Dieses läuft in der Praxis nämlich nicht nur linear von unten nach oben ab, sondern es gibt immer wieder – auch unvorhergesehene – Rückschleifen, Unterprogramme, eingebettete Programme oder hintereinander geschaltete Programme (sogenannte Kaskadenprogramme). Es handelt es sich also um ein notwendigerweise unvollständiges Modell, das nicht mit der Realität des Programms zu verwechseln ist.

Abbildung 5: Programmbaum

Der Programmbaum kombiniert die beiden oben dargestellten Drei-Elemente-Modelle und weist damit vier Hauptgruppen auf:

Elemente des Programmbaums

❙ Bedingungen (Bildungsgesetze, Bildungsbudget, Einstellungen und Erwartungen im Kontext von Gesellschaft, Kultur oder Wirtschaft an die Bildung, strukturelle Merkmale des Bildungssystems wie z.B. duale Berufsbildung oder Ganztagsschul-Systeme; Kompetenzen als Beispiele für Incomes bei den Zielgruppen).

❙ Umsetzung, bestehend aus den zentralen Interventionen und (Hilfs-)Aktivitäten (wie Marketing von oder Imagewerbung für Bildung, Organisieren und Administrieren von Bildungsveranstaltungen, Durchführung von Bildungsmaßnahmen samt Lehren, Selbstlernen, Prüfen etc.).

❙ Resultate: Dieses Programmelement umfasst die erzielten Leistungen oder erstellten Produkte (Outputs, als die ausgestoßenen «Mengeneinheiten» im Sinne des Güterausstoßes des Programms), die dadurch bei den Zielgruppen ermöglichten oder verstärkten Outcomes sowie die Veränderungen in der das Programm tragenden Organisation oder dessen Umwelt (Impacts). Nicht zu vergessen sind die – wenn auch empirisch schwer fassbaren – nicht vorhergesehenen Nebenresultate, seien sie nun positiv oder negativ.

❙ Plan: Der Plan bzw. das Konzept schließlich verbindet die (im Rahmen der Programmplanung analysierten) Bedingungen des Programms mit der vorgesehenen Umsetzung. Ein Kernbestandteil sind die Ziele (➞ Abbildung 2 auf Seite 39). Hinzu kommen Wirkannahmen darüber, welche pädagogischen Interventionen angesichts der Eingangssituation der Teilnehmenden (Incomes) geeignet sind, zur Zielerreichung beizutragen.

Diese vier Hauptgruppen können weiter ausdifferenziert werden, sodass insgesamt zehn Programmelemente unterschieden werden. Die nachfolgende Darstellung definiert diese zehn Elemente und veranschaulicht sie für Programme der Medienbildung (in Anlehnung an Beywl & Jelitto, 2009).

Die Bestimmung und Beschreibung eines Evaluationsgegenstandes mit all seinen Facetten ist also kein triviales Unterfangen. Darüber Klarheit und womöglich Konsens zu erzielen, erleichtert den Zugang zu vielen der folgenden Anforderungen an die Planung und Umsetzung der Evaluation.

Tabelle 1: Programmbaum-Elemente, veranschaulicht für die Medienpädagogik

Element | Kurzdefinition | Beispiele
Kontext | Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller und anderer Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern | Gesetze (Schulgesetze, Kinder- und Jugendhilfegesetz, Sozialgesetzbuch IV etc.), Verfügbarkeit Neuer Medien (Multimedia-PCs, Smartphones, drahtloser Internetzugang in der Öffentlichkeit, Verbreitung des Internets sowie dessen Image in kulturellen Milieus oder sozialen Schichten)
Struktur | Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands etc. | Rechtsform, Kapital- und IT-Ausstattung, Kooperationsvielfalt und -dichte des Bildungsträgers (z.B. Schule, Jugendzentrum), Leitbild
Incomes | Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm ‹hineinkommen›, insbesondere Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Auswahl der Teilnehmenden beeinflussbar) | Lerneingangsbedingungen (Vorwissen, Lernkompetenzen, Intelligenzarten und -niveaus), Medienkompetenzen, Mediennutzungsgewohnheiten, Sozialkompetenzen, Wünsche und Bedarfe der Lernenden (u.U. systematisch durch Diagnoseverfahren bestimmt)
Inputs | Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar | Personal- und Sachaufwendungen, Hard- und Softwareausstattung für Lernende und Lehrende, Qualifikationen der Lehrpersonen
Konzept | Gedanklicher Entwurf, welche Resultate bis wann, wo/bei wem ausgelöst werden sollen (Zielsystem), und welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan) | Förderantrag für ein Medienprojekt, Curriculum für eine Jugendbildungsmaßnahme, Aktionspläne; einschließlich Lernzielen, Annahmen zu Wirkmechanismen von medienpädagogischen Interventionen
Aktivitäten | Handlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei der Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten) | Interventionen: Blended Learning zu Audio- oder Videoapplikationen; geführte Diskussionen zur OnlinespieleNutzung. Hilfsaktivitäten: Mitarbeiterführung, Teamaufbau, technische Betreuung der Online-Lernplattform. Zielgruppenaktivitäten: Lernen, Prüfungen ablegen etc.
Outputs | Durch die Interventionen erzeugte Resultate wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Nutzenden/Zielgruppen mit den Interventionen | Verteilte Einladungen zu Seminaren, abonnierte Newsletter; Hits und Verweildauer auf der Website; Anzahl der Beiträge in einem Forum, Gruppenstunden, Beratungsgespräche, Teilnehmertage/Teilnahmestunden
Outcomes | Intendierte Resultate von Aktivitäten/Interventionen des Programms bei/Vorteile für Mitglieder der Zielgruppe (unterscheidbar nach kurz-, mittel- und langfristig) | Erhöhtes Wissen, verbesserte Fähigkeiten im Umgang mit Medien, selbstsicheres Verhalten, Erweiterung des eigenen Handlungsspektrums z.B. auch bei bewusster Medienabstinenz
Impacts | Resultierende Merkmale sozialer Systeme, insbesondere von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen etc.), von Sozialräumen (Nachbarschaften, Kommunen, Regionen etc.) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes etc.) | Verschiebung der Anteile und durchschnittlichen Nutzung verschiedener Medienarten in der Gesellschaft; verbesserte Marktchancen für «serious games» und Lernsoftware
Nicht-intendierte Resultate | Resultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms (können nachträglich positiv oder negativ bewertet werden) | Evaluationsteilnehmende Jugendliche werden durch die Präventionskampagne «Mediale Gewalt im Internet» auf gewaltverherrlichende Spiele erst aufmerksam und spielen sie (vermehrt); Mädchen nutzen noch weniger Neue Medien

VERTIEFUNGSLITERATUR

❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe). Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).

❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016. Mainz: DeGEval.

❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.

5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

Lernziele von Kapitel 5:

❙ Unterschiedliche Positionen von Evaluierenden unterscheiden können❙ Kompetenzen für Evaluierende benennen können❙ Vorteile einer frühen Einbindung von Akteuren erläutern können❙ Verschiedene Arten von Akteuren benennen und ihre Rollen in Bezug auf den Evaluationsgegenstand einerseits und auf die Evaluation andererseits zuordnen können❙ Den Begriff «Stakeholder» erläutern und Beispiele für «Stakes» verschiedener Akteursgruppen geben können

Akteure des Evaluationsgegenstandes, Akteure in Bezug auf die Evaluation

Wenn der Evaluationsgegenstand und dessen Ziele skizziert sind, werden im nächsten Schritt die Akteure bestimmt, die Interessen in Bezug auf den Evaluationsgegenstand und/oder an der Evaluation selbst haben. Zu unterscheiden sind also zwei Ebenen, auf die Personen, Personengruppen oder Organisationen ihre Interessen richten (Fitzpatrick, Sanders & Worthen, 2012, S.260): Auf der einen befindet sich der Evaluationsgegenstand (z.B. ein Bildungsprogramm), auf der anderen, der Beobachtungsebene, die Evaluation. Es gibt Akteure, die ausschließlich am Evaluationsgegenstand oder an der Evaluation interessiert sind. Oft hat aber ein und dieselbe Person auf beiden Ebenen Interessen, nimmt also auf beiden eine Rolle ein (vgl. die Beispiele in der folgenden ➞ Tabelle 2). Diesen Akteuren fällt es bisweilen schwer, zwischen den beiden Rollen und den daraus resultierenden Interessen zu unterscheiden, was z.B. für die Klärung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6) erforderlich ist. Wichtig ist, dass die Evaluierenden beide Rollen kennen und differenziert behandeln.

Stakeholder haben Interessen in Bezug auf den Evaluationsgegenstand

a) Akteure, die Interessen in Bezug auf den Evaluationsgegenstand haben, werden «Stakeholder» (vom englischen «holding stakes», Einsätze halten, z.B. bei einem Wettspiel, bei dem etwas zu gewinnen oder zu verlieren ist) genannt. Im Deutschen nennt man diese auch «Beteiligte und Betroffene». «Beteiligte» sind Personen, Gruppen oder auch Organisationen, die in Bezug auf den Evaluationsgegenstand aktiv und/oder einflussreich sind, also z.B. Finanzierende des Programms wie auch Akteure, die das Programm steuern (Programmverantwortliche) oder die im Rahmen des Evaluationsgegenstandes gegen Entgelt oder ehrenamtlich tätig sind (Mitarbeitende). «Betroffene» sind insbesondere Personen mit wenig Einfluss. Sie finden sich oft unter den Zielgruppen eines Programms, oder es sind von der Inanspruchnahme eines Programms Ausgeschlossene oder durch das Programm Benachteiligte, mitunter ohne von der Existenz des Programms zu wissen. So kann es z.B. sein, dass durch eine Fördermaßnahme für eine bestimmte Gruppe eher bildungsferner Personen durch die Förderrichtlinien Ausgeschlossene benachteiligt werden. Im Rahmen partizipativer Evaluationsansätze kann angestrebt sein, Betroffene zu Beteiligten zu machen. Die Trennlinie zwischen Beteiligten und Betroffenen ist oft nicht scharf zu ziehen (König, 2003, S.84).

Potenziell Nutzende haben Informationsinteressen in Bezug auf die Evaluation

b) Akteure, die Informationsinteressen in Bezug auf die Evaluation hegen, sind «potenziell Nutzende» der Evaluation und ihrer Ergebnisse. Diejenigen, die die Evaluierenden gemäß Evaluationsplan mit Informationen bedienen wollen, sind «Adressierte» oder «vorgesehene Nutzende» (intended users; Patton, 2008). Adressierte, die Ergebnisse später nutzen, sind dann tatsächlich Nutzende. Zudem gibt es Personen, die die Ergebnisse einer Evaluation nutzen (wollen), aber nicht zum eigentlich anvisierten Adressatenkreis gehören.

Diese Personenkreise überschneiden sich oft: Mitarbeitende von Organisationen, in denen evaluiert wird, sind in der Regel beteiligt und betroffen, können gleichzeitig Adressierte der Evaluation sein und diese dann auch tatsächlich nutzen. Ein Gegenbeispiel ist eine Stiftung, die Evaluationen fördert und eine Adressatin des Schlussberichtes ist, die jedoch keine eigenen Interessen am Evaluationsgegenstand hat. Ähnlich verhält es sich, wenn die allgemeine oder die wissenschaftliche Öffentlichkeit Adressatin ist.

Wichtigkeit der Rollenklärung

Bei den Rollenzuweisungen handelt es sich um analytische Trennungen. Sie signalisieren, ob Personen/Personenmehrheiten/Organisationen in Bezug auf den Evaluationsgegenstand und/oder in Bezug auf die Evaluation und ihre Ergebnisse involviert oder zu involvieren sind. Dadurch sollen die Evaluationsverantwortlichen angeregt werden zu klären, wer in welcher Rolle durch die verschiedenen Aktivitäten im Rahmen der Evaluation zu berücksichtigen ist.

Aus dem Gesagten ergibt sich ein Dreiecksverhältnis zwischen Stakeholdern des Evaluationsgegenstandes, vorgesehenen Nutzenden der Evaluationsergebnisse (Adressierten) und schließlich den Evaluierenden. Letztgenannte müssen die Interessen der Programmstakeholder klären, Informationsinteressen an der Evaluation herausarbeiten und Interessen- und Wertspannungen transparent machen. Schließlich müssen sie ihre eigene Position in diesem Interessenspiel klar benennen.

Rollen im Überblick

In ➞ Tabelle 2 wird dies für Rollen in der Bildungsevaluation nochmals dargelegt:

Tabelle 2: Typische Rollen in der Bildungsevaluation

➞ Tabelle 2 kann auch als Checkliste dienen, um in die Evaluation einzubeziehende oder zu berücksichtigende Akteure zu identifizieren.

Bei kleinen Trägern/Programmen können die Rollen (1) bis (6) von einer Person wahrgenommen werden. Anders bei einem bundesfinanzierten Programm (3): Umgesetzt und getragen von einem Trägerverbund (4) und geleitet durch eine Programmleiterin (5) kann die Evaluation durch einen vom Bund beauftragten Projektträger ausgeschrieben werden (2), wobei das Geld für die Evaluation vom Bundesministerium kommt (1). In manchen Fällen finanzieren Stiftungen oder Forschungsfonds Evaluationen (1), ohne dass sie eigene Interessen in Bezug auf das evaluierte Programm haben.

Bei überwiegend bis vollständig teilnehmenden-finanzierten Bildungsmaßnahmen sind (3) und (7) identisch. Wenn die Eltern finanzieren, trifft dies bei (3) und (8), wenn die Arbeitgebenden finanzieren, bei (3) und (9) zu.

Stakeholder und Adressierte

Es besteht in der Literatur keine Einigkeit über den Begriff der Stakeholder. An manchen Orten werden darunter nicht nur diejenigen gezählt (wie in diesem Text), die Interessen am Evaluationsgegenstand haben, sondern auch diejenigen, die – eventuell sogar ausschließlich – an der Evaluation und ihren Ergebnissen interessiert sind. Beides sind unterschiedliche, sich eventuell auch überlappende Interessensphären, wie aus ➞ Tabelle 2 ersichtlich ist.

BEISPIEL 6

So haben z.B. Programmleitende Interesse an ihrem Programm wie auch einen bestimmten Informationsbedarf, den sie durch die Evaluation abgedeckt sehen wollen. Teilnehmende sind hingegen stark an ihrer Weiterbildung interessiert, nicht aber an den Evaluationsergebnissen, und dies besonders dann nicht, wenn die Ergebnisse für ihre konkrete Weiterbildung gar keinen Nutzen haben (z.B. weil mögliche Verbesserungen erst dem nächsten Kurs zugutekommen). Hingegen haben vielleicht selbst zahlende Teilnehmende ein Interesse an einer kurzfristig wirksamen formativen Evaluation. Vorgesetzte mögen ein starkes Interesse an den summativen Evaluationsergebnissen haben, beeinflussen diese doch ihre künftigen Entscheidungen zur Entsendung von Mitarbeitenden in das entsprechende Angebot.

In der Bildung gibt es zahlreiche und sehr unterschiedliche Stakeholder und vorgesehene Nutzende (Adressierte). Dies macht eine sorgfältige und frühzeitige Bestimmung der Akteure, ihrer Rollen und Interessen erforderlich.

Nachfolgend werden verschiedene Akteure in der Bildungsevaluation näher betrachtet: Geld- und Auftraggebende der Evaluation (➞ Kapitel 5.1), Finanzierende und Träger des Bildungsangebots (➞ Kapitel 5.2), Programmleitende und -mitarbeitende (➞ Kapitel 5.3), Teilnehmende (➞ Kapitel 5.4), Vorgesetzte, Arbeitgebende, Arbeitskollegen (➞ Kapitel 5.5) sowie sonstige Akteure (➞ Kapitel 5.6). ➞ Kapitel 5.7 widmet sich den Evaluierenden. In ➞ Kapitel 5.8 werden die Beziehungen der unterschiedlichen Akteure untereinander betrachtet.

5.1 Geld- und Auftraggebende der Evaluation

Die Auftraggebenden

Die zentrale Rolle der Auftraggebenden einer Evaluation und derjenigen, die das Geld hierfür geben, liegt auf der Hand. Während deren Identifikation leicht ist, müssen die Evaluierenden in die Klärung der verschiedenen Interessen und Rollenüberschneidungen Zeit investieren.

Erwartungen an die Auftraggebenden

Von Auftraggebenden einer Evaluation wird erwartet, gegenüber der Evaluation und den daraus resultierenden, eventuell auch unerwarteten Ergebnissen aufgeschlossen zu sein. Dieser Sachverhalt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.180). Zudem sollen Auftraggebende kooperativ sein und engagiert am Evaluationsprojekt teilnehmen. Dieses Engagement soll sich aber nicht in einer Kontrollfunktion äußern. Evaluationsexpertise der Auftraggebenden wird nicht unbedingt als notwendig erachtet (Balzer, 2005, S.180).

Engagement der Auftraggebenden

Der Grad des Engagements der Auftraggebenden hat Auswirkungen auf die Evaluation. Starkes Engagement kann z.B. für klare Anforderungen und einen regen Informationsfluss sorgen, kann aber auch zu restriktiven Auflagen bis hin zu Versuchen der einseitigen Einflussnahme auf die Evaluationsergebnisse führen. Dies verlangt angemessene Reaktionen vonseiten der Evaluierenden.

Rolle der Auftraggebenden im Evaluationsgegenstand

Zur Beurteilung solcher Anforderungen ist es wichtig zu verstehen, in welchem Verhältnis Auftraggebende zum Evaluationsgegenstand stehen. Es kann zu Interessenkonflikten kommen, wenn Programmverantwortliche (z.B. Studiengangsleitende) selbst in die Evaluation involviert sind und ein stark gerichtetes Interesse an bestimmten Ergebnissen der Evaluation haben. Wenn sogar unabhängig von der Faktenlage ein zuvor bestimmtes Ergebnis erzielt werden soll, spricht man auch von Pseudo-Evaluationen (Stufflebeam & Coryn, 2014, S. 117–132).

Unterstützungssysteme für Evaluationen

Bei größeren Evaluationen in der Bildung können wissenschaftliche Beiräte oder Begleitgremien, in denen Fachverbände vertreten sind, überzogene Einflussversuche von Auftraggebenden abfedern (vgl. Baizerman, Fink & Roholt, 2012).

BEISPIEL 7

Eine Firma sucht nach dem besten Anbieter für eine Computerschulung. Da das Angebot auf dem Markt sehr groß ist, wird eine Evaluation in Auftrag gegeben, die den Markt sondieren und das beste Angebot identifizieren soll. Präferenzen hat die Firma keine, der Beste soll den Zuschlag erhalten. Entsprechend ist eine neutrale Evaluation möglich. Ganz anders sieht es aus, wenn einer der konkurrierenden Schulungsanbieter eine Evaluationsstudie in Auftrag gibt, um sich seine Qualität extern dokumentieren zu lassen. Auch wenn ein solches Evaluationsprojekt nicht parteiisch sein muss, müssen sich die Evaluierenden der Parteilichkeit der Auftraggebenden bewusst sein.

5.2 Finanzierende und Träger des Bildungsangebots

Finanzierende

Oftmals sind Auftraggebende von Evaluationen auch die Finanzierenden des Bildungsangebots und damit auch die Entscheidungsträger in Bezug auf den Evaluationsgegenstand, z.B. die Leitungsebene des Trägers (eventuell der Fakultät/der Hochschule). Bei internen Evaluationen kann es dann für die Evaluationsverantwortlichen sehr schwierig sein, eine neutrale Position einzunehmen. Beiräte oder externe Beratende können die Abhängigkeit einer internen Evaluation teilweise kompensieren. Auch im Sinne erhöhter Glaubwürdigkeit der Evaluation und ihrer Ergebnisse sind hier in der Regel externe Evaluationen angeraten, insbesondere, wenn diese summativ ausgerichtet sind.

Eine summative Evaluation mit bilanzierenden Schlussfolgerungen ist vor allem dann unabhängig durchführbar, wenn Auftraggebende zwar die Entscheidungskompetenz für das Programm haben, sich aber kaum an der Evaluation beteiligen, oder wenn sich die Rolle der Auftraggebenden und die des Entscheidungsträgers sinnvoll voneinander unterscheiden lassen.

Wer hat die Entscheidungskompetenz?

Für einige Autorinnen und Autoren ist dieser Punkt ein zentrales Unterscheidungskriterium von Evaluation und Qualitätsmanagement. Im Qualitätsmanagement wird der obersten Leitung nicht nur die Entscheidungskompetenz für das Programm, sondern auch die strategische Steuerungskompetenz für den Qualitätsmanagementprozess zugewiesen. In der Evaluation hingegen werden die Zuständigkeiten auf Auftraggebende/Programmverantwortliche einerseits und Evaluationsverantwortliche andererseits aufgeteilt.

Für die konkrete Evaluation ist es relevant zu wissen, wer die Entscheidungskompetenz für das Programm innehat. Liegt sie nicht bei den Auftraggebenden, so kann es hilfreich sein, Verbindungen zu den Entscheidungsträgern herzustellen und sie explizit einzubinden. Dies ist nicht nur in der Planungsphase, sondern während des gesamten Evaluationsprozesses sinnvoll (Hegarty & Sporn, 1988, S.336).

5.3 Programmleitende und -mitarbeitende

Programmleitende und -mitarbeitende als «Beteiligte»

Programmleitende und -mitarbeitende gehören zu den wichtigsten «Beteiligten», denn sie sind für das gesamte Lehr-Lern-Programm sowie das konkrete Unterrichtsgeschehen verantwortlich. Zwischen beiden Gruppen können Interessenkonflikte bestehen, die zu identifizieren sind. So können z.B. Programmleitende an einem zeitlich sehr flexiblen Einsatz von Kursleitenden («auf Abruf», im Rahmen von Honorarverträgen) interessiert sein, während die Unterrichtenden gerade in der damit verbundenen Kalkulationsunsicherheit eine Gefährdung ihrer Leistungsfähigkeit und damit Unterrichtsqualität sehen. Solche Interessenkonflikte sollten durch die Evaluierenden ohne hinreichende empirische Evidenz weder unterstellt noch ausgeschlossen werden. Vertrauliche Gespräche in der Eingangsphase, z.B. mit Personalvertretungen, können hier Klarheit schaffen. Oft zählen diese beiden Gruppen zu den primär vorgesehenen Nutzenden der Evaluation und ihrer Ergebnisse (Adressierte). Je mehr sich der Evaluationsgegenstand auf Kursebene bzw. beim Lehren und Lernen befindet, und je stärker die Evaluation formativ im Sinne einer verbesserungsorientierten Begleitung ausgerichtet ist, desto eher sind die Lehrenden die Hauptadressierten.

5.4 Teilnehmende

Teilnehmende als «Betroffene»

Teilnehmende an Bildungsmaßnahmen sind klassischerweise die Programm-«Betroffenen». Sie haben meist wenig Einfluss auf das Programm. Anders sieht dies bei selbst zahlenden Teilnehmenden aus (die z.B. den Vertrag kündigen könnten). Manche Bildungseinrichtungen haben auch Teilnehmendenvertretungen eingerichtet, die Ansprechpartner für die Evaluierenden sind. Besonders bei artikulationsschwachen – oft bildungsfernen – Gruppen müssen die Evaluierenden deren Interessen im Blick haben und im Evaluationsplan geltend machen. Schlussendlich gilt es in der Evaluation von Bildungsmaßnahmen auch darauf zu achten, dass Lernen gefördert wird und den Teilnehmenden Vorteile entstehen (vgl. den Standard der Dienstleistungsorientierung in Yarbrough, Shulha, Hopson & Caruthers, 2011).

Teilnehmende scheiden nicht selten nach der Evaluation aus der Bildungsmaßnahme aus. Nur dann, wenn sie auch künftig an Bildungsmaßnahmen des jeweiligen Trägers teilnehmen werden, versprechen sie sich einen unmittelbaren Nutzen aus der Evaluation. Gleichwohl sind die Teilnehmenden meist unverzichtbar für das Gelingen derselben: Ohne ihre Auskünfte und Bereitschaft, an den Erhebungen mitzuwirken, würden zentrale Evaluationsdaten fehlen. Im Sinne des langfristigen Aufbaus einer Evaluationskultur in der Bildung ist auch deswegen ein Einbezug von Interessen der Teilnehmenden, inklusive und gerade der artikulationsschwachen, eine wichtige Daueraufgabe. Die Rechtzeitigkeit der Evaluation, schnelle Rückmeldungen und für die Teilnehmenden verständliche und zugängliche Evaluationsberichte können hierzu beitragen (➞ Kapitel 11).

5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen

Vorgesetzte, Arbeitgebende, Arbeitskollegen als entfernt «Betroffene»

Vorgesetzte und Arbeitgebende und noch eher Arbeitskolleginnen und -kollegen der Teilnehmenden sind meist nicht unmittelbar mit der zu evaluierenden Bildungsmaßnahme vertraut. Sie nehmen nicht oder nur oberflächlich von ihr Kenntnis, es sei denn, sie sind konzeptionell in das Bildungsprogramm einbezogen, aber in irgendeiner Art und Weise dennoch betroffen. Dabei sind die möglichen Konstellationen sehr unterschiedlich und müssen jeweils für das zu evaluierende Bildungsangebot genau analysiert werden.

Vorgesetzte und Arbeitgebende entsenden Mitarbeitende in Bildungsmaßnahmen oder stellen sie dafür auf Antrag frei. Grundsätzlich sind sie an Lernerfolg, verwertbarem Wissen und Können im Arbeitsalltag oder gar finanziellen Erträgen interessiert. Wie weit sie dies mit ihren Mitarbeitenden klären, gar schriftlich fixieren, wie weit sie Interesse an der Evaluation und ihren Ergebnissen haben, fällt sehr unterschiedlich aus. Oft sind die Evaluierenden gefordert, dieses Interesse und ein Commitment von Arbeitgebenden für die Evaluation zu wecken. Ansonsten droht die Gefahr, dass Evaluationsergebnisse nicht genutzt werden.

Arbeitskollegen von Teilnehmenden können vom erworbenen Know-how derer, die an der Bildungsmaßnahme teilgenommen haben, profitieren (oder sie geraten ins Hintertreffen, da ihnen die entsprechenden Kompetenzen fehlen).

Andere Mitarbeitende in der Institution, in der das Bildungsangebot stattfindet, können ebenfalls betroffen sein. Sind die Angebote erfolgreich, nutzt das der Institution und deren Mitarbeitenden. Schlechte Angebote können hingegen zu einem schlechten Ruf und in der Folge zu Wettbewerbsnachteilen führen.

5.6 Sonstige Akteure

Sonstige Akteure als potenziell «Betroffene»

Wird der Kreis ausgeweitet, kann man weitere Betroffene identifizieren.

Einerseits kommen Kooperationspartner oder Zuliefernde in den Blick. Bildungsmaßnahmen, z.B. im Rahmen von Arbeitsmarktförderung, finden in einem komplexen Geflecht von Trägern und Diensten statt. Neben den Anbietern (Schulen, Bildungseinrichtungen etc.) sind dies z.B. Sozialämter und Arbeitsverwaltungen, soziale Dienste, Rehabilitationseinrichtungen bis hin zu Wohn- und Betreuungseinrichtungen. Für die Evaluierenden stellt sich jeweils die Frage, wie sehr der Kreis von Beteiligten und Betroffenen bei der Identifizierung auszuweiten ist und wo man aufhören sollte. Auch «die Gesellschaft» kann ein Stakeholder sein, z.B. im Falle der lokalen Volkshochschule, die ihre Kursangebote evaluieren lässt. Hier sind die Interessen der lokalen Politik oder der Bevölkerung vor Ort unmittelbar tangiert, und Evaluationsergebnisse werden dann bedeutsam, wenn sie auch von diesen Gruppen wahrgenommen, akzeptiert und womöglich genutzt werden.

Ein anderer Fall ist ein Anbieter von Standardsoftware, zu der Schulungen stattfinden. Da die Qualität der Schulung von z.B. Office-Produkten mitentscheidet, wie gut die Software verstanden und schlussendlich auch verkauft wird, besteht hier ein nachhaltiges Interesse an guten und passenden Schulungsangeboten.

5.7 Evaluierende

Die zentralen Rollen der Evaluierenden

Evaluationen können nicht von irgendjemandem durchgeführt werden, sondern nur von Personen, die für diese Aufgabe besonders qualifiziert sind: den professionellen Evaluierenden (Russ-Eft, Bober, de la Teja, Foxon & Koszalka, 2008; Scriven, 1996, S.158). Nachfolgend werden deren Rollen und Eigenschaften näher beschrieben.

Evaluierende können sehr viele verschiedene Rollen übernehmen, was bedeutsame Auswirkungen auf die Ausrichtung der gesamten Evaluation hat.

Nach Wottawa (1991, S.154) können vier typische Rollen unterschieden werden:

❙ der «Faktensammler», der primär für das Bereitstellen von Ergebnissen verantwortlich ist;

❙ der «Gutachter», der auch Bewertungen vornimmt;

❙ der «Entwickler», der hilft, aus den gewonnenen Ergebnissen Neues zu gestalten;

❙ der «Moderator», der namentlich die Zielfindung unterstützend begleitet.

Evaluative Beratung

Evaluierende arbeiten häufig mit Gruppen zusammen, die sich aus einer oder mehreren der vorgenannten Akteurskategorien zusammensetzen. Für solche Begleit- oder Steuergruppen leisten sie die «evaluation facilitation», eine evaluativ qualifizierte Fach- und Prozessberatung. Die Gruppen werden dabei unterstützt, gemeinsam Klärungsprozesse durchzuführen, und dabei evaluative Denkweisen anzuwenden (vgl. Patton, 2018b, S. 7–16).

Interne und externe Evaluation

Darüber hinaus können Evaluierende eine interne oder externe Position einnehmen (interne bzw. externe Evaluation). Widmer spricht in diesem Zusammenhang von Organisationsinternen versus Organisationsexternen (2004, S.85). Interne Evaluation wird von Personen gesteuert, die Mitglieder der die Bildungsmaßnahme tragenden Organisation sind. Externe Evaluationen führen hingegen Evaluierende durch, die von außerhalb kommen, z.B. aus Evaluationsinstituten oder -büros (Berkemeyer, Müller & van Holt, 2016, S.212). Diese Positionierung der Evaluierenden zu der den Evaluationsgegenstand tragenden Organisation fordert ihnen ab, immer wieder Transparenz über ihre Aufgaben und Zuständigkeiten herzustellen (Stufflebeam, Madaus & Kellaghan, 2000 S.28; Widmer, 2004, S.85).

Inhouse-Evaluation als Unterform der internen Evaluation

Wird eine interne Evaluationsstelle des Bildungsanbieters, die nicht auch hauptverantwortlich für das zu evaluierende Bildungsangebot ist, mit der Evaluation des Angebotes der eigenen Institution beauftragt, handelt es sich um eine Inhouse-Evaluation, einer Unterform der internen Evaluation.

Merkmale interner Evaluation

Internen Evaluationen wird oft zugeschrieben, dass sie schneller seien und weniger Aufwand erforderten, da hier die Evaluierenden mit den organisatorischen und personellen Gegebenheiten besser vertraut seien und über gesicherte Sachkenntnis zum Evaluationsgegenstand verfügten. Sie arbeiteten ohnehin vor Ort und hätten einfachen Zugang auch zu vertraulichen Informationen (Kromrey, 2001, S.118). Damit verbunden ist die Erwartung sowohl einer kostengünstigeren Evaluationsdurchführung, einer größeren Akzeptanz von Ergebnissen als auch einer (potenziell) gesicherten Umsetzbarkeit von Schlussfolgerungen in die Praxis. Doch geraten sie eher in Rollenkonflikte, da sie täglich Umgang mit den Mitarbeitenden der evaluierten Programme haben (Volkov & Baron, 2011, S.107–108), und nicht selten werden die für eine professionelle interne Evaluation erforderlichen Ressourcen und Kompetenzen unterschätzt (Meyer, 2017). Wenn interne Evaluationen – wie in vielen Bundesländern im Schulbereich – als extern auferlegt und mit zusätzlichen Arbeitsbelastungen verbunden werden, kann dies ihren produktiver Beitrag zur Entwicklung von Bildungsangeboten deutlich schmälern (Rückmann, 2016a).

Merkmale externer Evaluation

Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen, oder sie werden von relevanten Informationen ferngehalten, ohne dass sie dies bemerken.

Selbst- und Fremdevaluation

Der Begriff «interne Evaluation» wurde oftmals synonym mit dem Begriff «Selbstevaluation» (Beywl, Bestvater & Friedrich, 2011; Buhren, 2018; Deutsche Gesellschaft für Evaluation, 2004; Hense, 2006), und der Begriff «externe Evaluation» synonym mit dem Begriff «Fremdevaluation» verwendet (Balzer, Frey & Nenniger, 1999, S.406). Im englischsprachigen Raum ist das zweite Begriffspaar nicht verbreitet, und es fehlt gar eine Übersetzung für «Fremdevaluation».

extern/intern und selbst/fremd

Man unterscheidet hier zwei Dimensionen (vgl. Beywl & Balzer, 2016, S.195): Während extern/intern leicht als (Nicht-)Mitgliedschaft operationalisiert werden kann, ist dies für fremd/selbst schwieriger. Diese zweite Unterscheidung kann aus einer kulturellen Perspektive erfolgen. Evaluierende handeln stärker als Insider oder aber als Outsider in Bezug auf Werte, Kultur oder Fachlichkeit des zu evaluierenden Gegenstandes. Demgemäß ist Selbstevaluation in das Werte- und Normengefüge einer Organisation oder eines Programms eingebunden. Hier können auch Professionskulturen eine wichtige Rolle spielen, z.B. von Lehrkräften oder sozialpädagogisch Tätigen, die Evaluationsgegenstände beschreiben und bewerten, für deren Qualität sie qua Funktion und Beruf privilegiert zuständig und verantwortlich sind. Hingegen stehen Fremdevaluierende als Outsider solchen professionellen oder auch weltanschaulich geprägten Qualitätsvorstellungen eher neutral gegenüber – die Bewertungskriterien anderer Stakeholder sind für sie grundsätzlich ebenso gültig (➞ Kapitel 7 und ➞ Kapitel 10).

Um eine Selbstevaluation handelt es sich dann, wenn Evaluierende von ihnen selbst geführte Bildungsmaßnahmen beschreiben und bewerten, und zwar auf dem Hintergrund der von ihnen verantworteten fachlichen Ziele und Qualitätskriterien. In diesem Fall geben sich die Evaluierenden selbst einen Auftrag (oder sie werden von Dritten dazu aufgefordert), den von ihnen fachlich und inhaltlich verantworteten Gegenstand zu untersuchen und zu bewerten. Dies geschieht in aller Regel mit dem Zweck, ihn zu verbessern, also in formativer Absicht. Hingegen ist eine summative Evaluationsrolle in diesem Fall wenig angemessen. Es wird ja eine komplexe Dienstleistung an sich selbst erbracht (Selbsthilfe), bei der Auftragsvergabe, Programmverantwortlichkeit und Evaluationszuständigkeit in einer Hand liegen. Interessenkonflikte sind kaum zu vermeiden und beeinflussen für Dritte womöglich intransparent den Evaluationsverlauf. Die Glaubwürdigkeit einer summativ angelegten Selbstevaluation ist chronisch bedroht (zur Unterscheidung formativ-summativ ➞ Kapitel 3 und ➞ Kapitel 6.1).

Inhouse-Evaluierende können sowohl eine Insider- als auch eine Outsider-Position einnehmen. Mit letzterer werfen sie einen «fremden» Blick auf die Maßnahmen eines Bildungsträgers, wenn sie z. B. nicht selbst Bildungsfachleute sind, sondern aus einem ganz anderen Berufsfeld stammen oder ihre Berufserfahrung z.B. im Gesundheitswesen oder in der Umweltevaluation gesammelt haben – dann sind sie interne Outsider.

Externe schließlich können eine Insider-Perspektive mitbringen, wenn es Fachkolleginnen und -kollegen sind mit einem gleichen Fachhintergrund wie bei den Programmverantwortlichen. Bei dieser Evaluationsart stammen die Evaluierenden aus einer anderen Institution, sind dem konkreten Evaluationsgegenstand also nicht verpflichtet, haben aber ein ähnliches Wertesystem und messen dem Typus des Evaluationsgegenstandes folglich einen grundsätzlich eher hohen Wert bei. Diesen Ansatz kann man als Peer-Evaluation bezeichnen (Gutknecht-Gmeiner, 2007a, 2007b).

Es ist keinesfalls so, dass generell intern Evaluierende besser geeignet wären als Externe, oder Insider versus Outsider. Je nach Situation bringt einmal die eine, einmal die andere Position und Perspektive mehr Vorteile für ein den Standards der Evaluation entsprechendes Vorgehen. Oft bietet sich auch eine Kombination der verschiedenen Evaluationsarten an, wenn z. B. interne Insider die Evaluation steuern und durchführen, dabei mit Unterstützung von externen Outsidern ihr Vorgehen reflektieren und sich methodischen Support sichern (Beywl, Speer & Kehr, 2004).

BEISPIEL 8

Das Direktorium eines großen Bildungsträgers mit einer hauseigenen Evaluationsstelle, die fachkompetent mit auf Bildung spezialisierten Evaluierenden besetzt ist, beschließt, eines seiner einjährigen Hauptprogramme in der beruflichen Weiterbildung zu evaluieren. Nach mehrjährigem Erfolg hinsichtlich Teilnehmendenzahlen und Rückmeldungen von Teilnehmenden und deren Betrieben kommt es in letzter Zeit vermehrt zu Abbrüchen. Sollte sich dies herumsprechen, müsste auch mit einem Rückgang der Teilnehmendenzahlen gerechnet werden. Die Evaluationsstelle wird daher beauftragt, das Programm zu evaluieren und insbesondere herauszuarbeiten, welche Faktoren für die Abbrüche entscheidend sind. Sie soll außerdem klären, wie das Programm angepasst werden kann, damit die Studierbarkeit im vorgegebenen Zeitraum bei Aufrechterhaltung der Ansprüche an die am Ende des Programms vorzuweisenden Kompetenzen gesichert ist. Die gut dreimonatige Evaluation zeigt sowohl im Umfeld (insbesondere Arbeitsmarktlage) wie im Programm selbst liegende Schwachstellen auf, für die in den kommenden zwölf Monaten durch die verantwortliche Programmleiterin Abhilfe geschaffen werden soll (u.a. Mentorensystem, bessere Vorbereitung auf Zwischenprüfungen, bei besonders schwierigen Programmteilen kleinere unterrichtsnahe Selbstevaluationen, die von den Unterrichtenden eigenständig durchgeführt werden, methodisch unterstützt von den Mitarbeitenden der Fachstelle). Nach erfolgter Umsetzung nehmen die Abbrüche zwar deutlich ab, die Teilnehmendenzahlen gehen dennoch langsam zurück. So beschließt das Direktorium, bei einem unabhängigen Evaluationsbüro – das nicht auf den Bildungsbereich spezialisiert ist – eine externe Evaluation in Auftrag zu geben, um mit einem Blick von außen eine weitere sichere Basis für die Grundsatzentscheidung über die Weiterführung des Programms, eventuell verbunden mit einer grundlegenden Curriculums-Revision, zu erhalten.

An Evaluierende werden – teils in Abhängigkeit zu ihrer Rollenzuschreibung – vielfältige Anforderungen gestellt.

So ist Evaluationsexpertise von zentraler Bedeutung. Scriven (1996, S.160) nennt als Anforderungen an Evaluierende u.a. Kenntnisse zu qualitativen und quantitativen Forschungsmethoden, zu testtheoretischen Konzepten, zu juristischen Bedingungen von Datenerhebungen, zu Mittelverwendung und persönlichem Umgang mit dem Evaluationsbudget und -personal, zu Personalevaluation (Mitarbeitendenbeurteilung), zu Ethik, Bedarfsanalysen, Kostenanalysen, Synthesemodellen, Evaluationsmodellen sowie zu evaluationsspezifischer Berichterstattung. Für ihn von geringerer Bedeutung ist in einem solchen Fall die Fachkenntnis der Evaluierenden im konkreten Handlungsfeld.

Wie weiter oben schon beschrieben (➞ Kapitel 2.1), hat die DeGEval – Gesellschaft für Evaluation e.V. Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008, S.7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur empirischen Untersuchungstätigkeit werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S.333–335). Auch die Anforderungsliste der Schweizerischen Evaluationsgesellschaft (2012), die nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, aber zumindest an Evaluationsteams, meldet mit evaluationsspezifischen Grundkenntnissen (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodischen Kenntnissen (Konzepte und Designs von Evaluationen, Methoden und Instrumente der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie sozialen und diversen persönlichen Kompetenzen ähnliche Ansprüche an.

Beywl, Speer und Kehr (2004, S.110) stellen für den Bereich der Sozialpolitik fest: «Nur wenige Evaluatoren/-innen bringen ein so breites Kompetenzprofil mit, […] was ggf. aufwendigere Teamlösungen erforderlich macht, wodurch evtl. auch Abhängigkeiten eines/-r einzelnen stark involvierten Evaluators/-rin vorgebeugt werden kann.» Dies dürfte auch für Bildungsevaluationen gelten.

Torres (1991, S.189) definiert für intern agierende Evaluierende spezifische Anforderungen. Sie schreibt jenen die Rolle beratender Vermittler zu, die besondere Fähigkeiten brauchen, um den spezifischen Kontext, in dem sie agieren, verstehen und handhaben zu können. Zu diesen Fähigkeiten zählt demnach, kontextbezogene Einflüsse zu verstehen (vgl. dazu Conner, Fitzpatrick & Rog, 2012; vgl. speziell für die Weiterbildung Hansen, 2010, S.18–101), die Perspektiven von Beteiligten und Betroffenen zu identifizieren und zu verstehen, Glaubwürdigkeit und Vertrauen zu maximieren, Methoden an den erkenntnistheoretischen Orientierungen des Evaluationspublikums auszurichten, den Verantwortlichen Entscheidungen und Ergebnisse nahezubringen, dieselben über unterschiedliche Ansichten und Perspektiven zu unterrichten, Toleranz gegenüber Mehrdeutigem aufzubringen sowie Veränderungen zu unterstützen. Viele dieser Kompetenzen gelten auch für andere Evaluationsarten.

Glaubwürdigkeit der Evaluierenden

Was Auftraggebende vor der Auftragsvergabe abschätzen müssen, ist die Vertrauenswürdigkeit der Evaluierenden. Um diese transparent zu machen, sollten bei der Vorstellung des Evaluationsvorhabens die Namen und zentralen Informationen über die Evaluierenden vermittelt werden. Etwas schwieriger ist es, die Unabhängigkeit der Evaluierenden zu überprüfen oder potenzielle Interessenkonflikte und Abhängigkeiten aufzudecken.

Unbestechlichkeit, Objektivität und Neutralität sind ebenfalls Eigenschaften, die von Evaluierenden verlangt werden. Diese können allerdings durch die Abhängigkeit der Evaluierenden in Hinblick auf Folgeaufträge bedroht sein. Auch kann die mit der Dienstleistungshaltung verbundene Tendenz vieler Evaluierender, den Bedürfnissen der Auftraggebenden gerecht zu werden, ein Problem darstellen (Pleger & Sager, 2016; Scriven, 1993a, S.83), sodass nicht mehr wissenschaftlich Notwendiges und Korrektes, sondern vonseiten der Auftraggebenden Gewünschtes in den Vordergrund rückt.

Über alle Phasen der Evaluation stellen sich ethische Herausforderungen. Diese zu meistern erfordert (inter-)kulturelle Fähigkeiten und Haltungen, die über das handwerklich-wissenschaftliche Können hinausgehen (vgl. Morris, 2008).

➞ Lösung auf Seite 233

Übungsaufgabe 7:

«Mögliche Rollen für Programm und Evaluation; Einsätze zum Programm»Lösen Sie nun die Übungsaufgabe 7:

a) Charakterisieren Sie kurz (maximal 1000 Zeichen) ein Bildungsprogramm aus Ihrem Erfahrungsbereich (eventuell auf Ihr Ergebnis zu Übungsaufgabe 6 zurückgreifen).b) Welche Rollen (➞ Tabelle 2, S.47) kann eine Leitungsperson in Bezug einerseits auf dieses Programm (= den Evaluationsgegenstand), andererseits auf die darauf ausgerichtete Evaluation einnehmen? Listen Sie diese Rollen auf.c) Schreiben Sie für einige dieser Rollen eine oder mehrere Interessen (Erwartungen und/oder Befürchtungen) auf, welche sich aus der jeweiligen Rolle heraus auf das Bildungsprogramm – also nicht auf die Evaluation – richten (dreispaltige Tabelle: Rolle/Erwartungen/Befürchtungen).d) Wählen Sie ein relevantes, auf das Programm (!) gerichtetes Interesse aus und halten Sie stichwortartig fest, was eine Evaluation untersuchen könnte, sodass sie für die betreffende Rolle nützliche Informationen bereitstellt.

5.8 Akteure im Zusammenspiel

Warum ist es eigentlich notwendig, alle Akteure in einem so frühen Stadium der Evaluation, sogar noch vor der Konkretisierung der Evaluationszwecke und -fragestellungen, zu identifizieren?

Frühe Einbindung der Akteure steigert Evaluationsqualität

In vielerlei Hinsicht ist es zweckmäßig, die Beteiligten und Betroffenen in den Evaluationsprozess einzubinden. Das ist der Grundgedanke nutzungsfokussierter und auch partizipativer Evaluationsansätze. Ein zentrales Argument für den Einbezug von verschiedenen Beteiligten- und Betroffenengruppen besteht darin, dass man sich von deren Partizipation einen reibungslosen Ablauf, eine fundierte thematische Absicherung, hilfreiche Tipps für die konkrete Durchführung sowie eine gute Unterstützung bei der Nutzung der zu erzielenden Evaluationsergebnisse erhofft (Alkin, 1991; Mark & Shotland, 1985; O’Sullivan & D’Agostino, 2002; Patton, 2008, 2012).

Darüber hinaus wird es hilfreich sein, diese Personengruppen aktiv einzubinden, besonders auch dann, wenn Widerstände zu erwarten sind (Taut & Brauns, 2003). Außerdem kann der Einbezug derselben ihr Verständnis von Evaluationen erhöhen und sie sogar befähigen, ihr erworbenes Evaluationswissen später selbst anzuwenden. Dies zu ermöglichen, ist das zentrale Ziel des Empowerment-Ansatzes in der Evaluation (Fetterman, 2001).

Schließlich kann man fordern, dass Evaluationen in einer demokratischen Gesellschaft auf demokratischen Werten aufbauen sollen (House & Howe, 2000) und deswegen die Standpunkte der wichtigen Beteiligten- und Betroffenengruppen einzubeziehen sind (Strobl, Lobermeier & Heitmeyer, 2012).

Ob und in welchen Stadien der Evaluation der Einbezug von Beteiligten und Betroffenen sinnvoll ist, kann nicht allgemeingültig gesagt werden, sondern ist von Fall zu Fall zu entscheiden. Die Möglichkeiten sind vielfältig. Beteiligte und Betroffene können während des gesamten Prozesses einbezogen werden, oder ihre Mitarbeit ist besonders in einzelnen Phasen (ohne damit andere Phasen auszuschließen) des Evaluationsprozesses interessant, z.B. bei der Zielfindung, der Kriterienbestimmung, im Bewertungsprozess oder bei der Ergebnisnutzung.

Allerdings ist der Einbezug der Beteiligten und Betroffenen leichter beschrieben als realisiert. Sämtliche relevanten Personen(-gruppen) zu identifizieren, ist in der Praxis, besonders bei größeren Evaluationsgegenständen, selbst bei guten Voraussetzungen unmöglich bzw. würde kaum noch Zeit für die anderen (in den folgenden Kapiteln beschriebenen) Evaluationsaufgaben lassen.

Die Einbindung der Akteure muss systematisch erfolgen

Doch wen wählt man aus? Der Einbezug von Beteiligten und Betroffenen kostet Zeit und Geld (für die Identifikation der entsprechenden Personen, für die Kontaktaufnahme, für die Diskussionen und Datenerhebungen, für die Ergebnisverdichtung, -kommentierung und -verbreitung etc.). Hieraus resultiert eine Verminderung der Ressourcen für andere Aufgaben. Dies schränkt die Anwendung eines umfassend partizipativen Ansatzes ein.

Jedenfalls ist hierfür eine genaue Analyse erforderlich im Sinne einer «stakeholder analysis». Sie beinhaltet nicht nur die Identifikation der Beteiligten und Betroffenen, sondern ganz pragmatisch auch deren Hierarchisierung bezüglich ihrer Wichtigkeit für die Evaluation. So gibt es Personengruppen, die für den Erfolg einer Evaluation relevanter sind als andere. Eine mögliche Hierarchie könnte Entscheidungsberechtigte an oberster Stelle platzieren, gefolgt von Meinungsführenden und Schlüsselpersonen, gefolgt von Repräsentanten großer, dann kleiner Gruppen. Je nach Zweck der Evaluation kann diese Rangordnung auch anders ausfallen.

Auch wenn der Zugang zu den entsprechenden Personen hergestellt ist, sind die notwendigen Informationen nicht leicht zu beschaffen. So müssen Beteiligte und Betroffene z.B. motiviert und begleitet werden, damit ihre Wertvorstellungen und Erfahrungen so erhoben werden können, dass sie in einer Evaluation nutzbar sind (House & Howe, 1999).

Wenn es gelungen ist, die Anliegen der Beteiligten und Betroffenen zu klären, kann versucht werden, die möglicherweise sehr heterogenen Ansichten zu einem Konsens zu verdichten (House, 1995) oder einen Minimalkonsens herauszuarbeiten. Oft entscheiden in Konfliktfällen die Einflussreichen, insbesondere die Auftraggebenden der Evaluation.

Im Zusammenhang nutzungsfokussierter bzw. partizipativer Ansätze wird den Evaluierenden neben ihrer beschreibenden und bewertenden zusätzlich eine pädagogische Rolle zugeschrieben, deren Grundidee sogar älter ist als die partizipativen Ansätze selbst (Weiss, 1989): Evaluierende sollen sowohl mithilfe des Evaluationsprozesses wie auch der Evaluationsergebnisse weiterbildend tätig sein und dabei auch Wissen über die Evaluation vermitteln. Dies ist eine der Grundideen der sogenannten Empowerment Evaluation (Fetterman & Wandersman, 2005).

➞ Lösung auf Seite 235

Übungsaufgabe 8:

«Aus Einsätzen und Informationsinteressen Evaluationsarten ableiten»Lösen Sie nun die Übungsaufgabe 8 auf Basis von ➞ Tabelle 2, S.47:

a) (1) Identifizieren Sie in Ihrem Fallbeispiel aus Übungsaufgabe 7 mindestens zwei der nachfolgend beschriebenen Beteiligten und Betroffenen. Geben Sie dabei jeweils an, (2) wer genau – mit Namensangabe – das im Fallbeispiel ist, (3) welche Einsätze (z.B. Hoffnungen, Befürchtungen, Konflikte) diese Personen in Bezug auf das Programm haben, also: in Bezug worauf sie zu gewinnen haben, in Bezug worauf zu verlieren und (4) welche (Informations-)Interessen folglich bestehen, auf die die Evaluation Antworten geben soll.Geldgebende der EvaluationAuftraggebende der EvaluationFinanzierende des ProgrammsTräger des ProgrammsProgrammverantwortlicheProgrammmitarbeitende, LehrendeTeilnehmende/ZielgruppenmitgliederAngehörige der ZielgruppenVorgesetzte, ArbeitgebendeArbeitskolleginnen und -kollegenFachöffentlichkeitAllgemeine Öffentlichkeit/SteuerzahlendeNotieren Sie Ihr Ergebnis in einer Tabelle mit vier Spalten a1), a2), a3), a4).b) Listen Sie beispielhaft auf, welche Evaluationsarten für mindestens zwei der Informationsinteressen infrage kommen, und nennen Sie Begründungen für den Einsatz der gewählten Evaluationsarten. Notieren Sie dieses Ergebnis in einer weiteren Tabelle mit den vier Spalten «Rolle», «Informationsinteresse», «Evaluationsart» sowie «Begründung».

VERTIEFUNGSLITERATUR

❙ Fitzpatrick, J.L., Sanders, J.R. & Worthen, B.R. (2012). Program Evaluation: Alternative Approaches and Practical Guidelines (4th ed.). Boston: Pearson.

❙ Scriven, M. (1996). Types of Evaluation and Types of Evaluator. Evaluation Practice, 17 (2), 151–161.

❙ Stufflebeam, D. L. & Coryn, C. L. S. (2014). Evaluation Theory, Models, and Applications (2nd ed.). San Francisco: Jossey-Bass.

❙ Wottawa, H. (1991). Zum Rollenverständnis in der Evaluation und der Evaluationsforschung. Empirische Pädagogik, 5 (2), 151–168.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.