Eine Arbeitsgemeinschaft der Verlage

Böhlau Verlag · Wien · Köln · Weimar

Verlag Barbara Budrich · Opladen · Toronto

facultas.wuv · Wien

Wilhelm Fink · Paderborn

A. Francke Verlag · Tübingen

Haupt Verlag · Bern

Verlag Julius Klinkhardt · Bad Heilbrunn

Mohr Siebeck · Tübingen

Nomos Verlagsgesellschaft · Baden-Baden

Ernst Reinhardt Verlag · München · Basel

Ferdinand Schöningh · Paderborn

Eugen Ulmer Verlag · Stuttgart

UVK Verlagsgesellschaft · Konstanz, mit UVK/Lucius · München

Vandenhoeck & Ruprecht · Göttingen · Bristol

vdf Hochschulverlag AG an der ETH Zürich

K. Wolfgang Kallus

Erstellung von Fragebogen

2., aktualisierte und überarbeitete Auflage

facultas

K. Wolfgang Kallus, Univ.-Prof. Dr. rer. nat., Dr. phil. habil., lehrt an der Universität Graz am Institut für Psychologie. Er ist Leiter des Arbeitsbereichs für Arbeits-, Organisations- und Umweltpsychologie. Die konzeptgeleitete Entwicklung anwendungsorientierter Fragebogen und Messmethoden gehört seit vielen Jahren zu seinen Spezialbereichen in der Forschung und im von ihm geleiteten Institut für Begleitforschung.

Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Alle Angaben in diesem Fachbuch erfolgen trotz sorgfältiger Bearbeitung ohne Gewähr, eine Haftung des Autors oder des Verlages ist ausgeschlossen.

2., aktualisierte und überarbeitete Auflage 2016

Copyright © 2016 Facultas Verlags- und Buchhandels AG

facultas, Stolberggasse 26, 1050 Wien, Österreich

Alle Rechte, insbesondere das Recht der Vervielfältigung und der Verbreitung

sowie der Übersetzung, sind vorbehalten.

Umschlagfoto: „sellingpix“ #20031421 / © Fotolia.com

Lektorat: Mag. Verena Hauser, Wien

Satz: Facultas Verlags- und Buchhandels AG

Einbandgestaltung: Atelier Reichert, Stuttgart

eBook ISBN: 978-3-8463-4465-1

Vorwort

„Wer dumm fragt“ lautete der Arbeitstitel für diesen Leitfaden. Ebenso hätte man den Arbeitstitel auch freundlicher und nahe am Alltag von Fragebogen formulieren können: „Wer fragt, ohne sich genau überlegt zu haben, was er wissen will.“ Dieser Leitfaden zur Fragebogenentwicklung stellt das Ziel der Fragen in den Vordergrund oder anders gesagt die Klärung des Messanspruchs vor der Formulierung der Fragen. Im Unterschied zu einfachen, qualitativ orientierten Sammlungen von Fragen auf einem Papierbogen (Bogen mit Fragen) haben Fragebogen das Ziel, zuverlässig Merkmalsunterschiede zwischen Personen, Situationen oder Zuständen zu erfassen. Zu diesem Zweck müssen aufeinander abgestimmte Fragen entwickelt werden. Die Schritte hierzu werden in dieser Arbeit vorgestellt. Gut entwickelte Fragebogen sind leicht beantwortbar, eindeutig auswertbar und sprechen formal positiv an, d. h., sie sehen einfach aus. Dadurch entsteht immer wieder der Eindruck, dass die Entwicklung von Fragebogen keine Expertise voraussetzt und jede und jeder einen Fragebogen „mal schnell nebenher“ entwickeln kann. Der Leitfaden versucht die grundlegende Expertise zu vermitteln und soll auch für NichtpsychologInnen verständlich sein. Eine grundlegende Expertise zur Messung von Verhaltens- und Erlebensmerkmalen wird jedoch vorausgesetzt – oder zumindest die Bereitschaft und die Grundausbildung, ein entsprechendes Lehrbuch bei der Fragenentwicklung zu Rate zu ziehen.

Bedanken möchte ich mich einerseits bei meinen akademischen Lehrerinnen und Lehrern, die nicht nur mein Interesse an den Methoden der Psychologie geweckt haben, sondern auch meine Motivation nachhaltig gefestigt haben, die Methoden der Psychologie immer möglichst optimal bei der Bearbeitung wissenschaftlicher und angewandter Fragestellungen einzusetzen. Dies hat auch dazu beigetragen, dass zwischenzeitlich die Entwicklung von Fragebogen neben anderen Methoden zu einem Standard in meinem Arbeitsbereich an der Karl-Franzens-Universität Graz werden konnte. Dank gebührt auch meinen Studierenden, die durch die „richtigen Fragen“ und wiederholte Schwächen bei der Entwicklung von Fragebogen zum Entstehen dieses Büchleins beigetragen haben.

Auch dieser Leitfaden ist ähnlich wie ein Fragebogen immer noch optimierbar. Gute, sehr gute und exzellente Passagen hätten ihre Qualität in der ersten Auflage sicher nicht ohne die Expertise, konstruktive Kritik und die Vorschläge meiner Ehe-, Lebens- und Diskussionspartnerin Dipl.-Germ. Bärbel Kallus erreicht. Bei der Erstellung und Fertigstellung des Manuskripts der Erstform haben zudem Mag. Kerstin Käfer und Mag. Kerstin Eibel mitgewirkt. Die Bearbeitung der zweiten Auflage erhielt wesentliche Impulse von Mag. Elisabeth Dörner und Mag. Dr. Kerstin Gaisbachgrabner. Auch ihnen gebührt mein herzlicher Dank. Für die zweite Auflage wurden einige neuere Entwicklungen berücksichtigt, wie die Einordnung der Klassischen Testtheorie in Messmodelle latenter Variablen, die zunehmende Bedeutung der Onlinebefragung, die wachsende Bedeutung der „Übersetzbarkeit“ von Fragebogen in mehrere Sprachen und die wachsende Rolle komplexer Auswertungen in linearen Strukturgleichungsmodellen.

Ein Buch wird auch heutzutage noch in seiner Leserfreundlichkeit und Struktur durch die LektorInnen des Verlags wesentlich mitgeprägt. Frau Mag. Dr. Sigrid Nindl und Frau Mag. Verena Hauser sei an dieser Stelle ebenfalls herzlich gedankt.

Inhaltsverzeichnis

1 Grundprobleme der Fragebogenkonstruktion

Ein Fragebogen ist ein psychometrisch entwickeltes Messverfahren, welches den Kriterien eines psychometrischen Tests so nahe wie möglich kommen soll. Ein Fragebogen liefert quantitative Informationen zur Beschreibung von aktuellen, vorübergehenden oder überdauernden Merkmalen von Personen oder Personengruppen (z. B. Teams). Fragebogen können sehr wohl aber auch zur Beschreibung von anderen Personen oder auch von Merkmalen der natürlichen, sozialen, kulturellen, erbauten und technischen Umwelt und der Arbeitswelt herangezogen werden. Ein psychometrischer Fragebogen grenzt sich ab von einer psychophysischen Skala, die eine physische Erscheinung (z. B. Schall oder Licht) im Hinblick auf eine Skalierungsdimension (z. B. Lautheit, Helligkeit) nach den Regeln der linearen oder der multidimensionalen Skalierung abbildet. Ein Fragebogen grenzt sich zudem von einfachen schriftlichen Befragungen ab, in denen mit Einzelfragen qualitative Informationen (z. B. Geschlecht) oder bereits metrisch vorliegende Informationen (z. B. Alter, Kinderzahl, Jahresbruttoeinkommen) erhoben werden wie bei soziologischen Datenerhebungen. Diese werden immer wieder unreflektiert mit Fragebogenfragen kombiniert.

1.1 Einführung

Die Grundlagen professioneller Fragebogenentwicklung werden trotz der inflationären Anwendung des Instruments „Fragebogen“ nur in den seltensten Fällen systematisch berücksichtigt. Selbst wissenschaftlich entwickelte Fragebogen beschränken sich oft allein auf statistische Verfahren, um erst im Nachhinein die gröbsten Schwachpunkte zu identifizieren. Im Gegensatz dazu stellt das vorliegende Buch die folgenden Überlegungen in den Mittelpunkt: „Was soll (eigentlich) erfragt und gemessen werden?“ und „Welche Fragen eignen sich dazu?“. Aus der systematischen Beantwortung dieser Kernfragen und mit der Umsetzung in Fragebogenfragen lässt sich in der Regel ein Messinstrument konstruieren, das auch bei einer statistischen Prüfung positive Ergebnisse erbringt.

Eine systematische Entwicklung von Fragebogen als Methode der Selbstbeschreibung oder auch der Fremdbeschreibung wird zunehmend wichtiger, da Befragungen, Interviews und die Teilnahme an statistischen Erhebungen zwischenzeitlich zu den alltäglichen Gegebenheiten unserer modernen Gesellschaft gehören. Befragungen erfreuen sich hoher Popularität und haben eine hohe Bedeutsamkeit erlangt – für gesellschaftliche, politische und wirtschaftliche Entscheidungen, für die Ausrichtung von Strategien in Unternehmen und Organisationen bis hin zu Investitionsentscheidungen. Auch bei der Erfolgskontrolle von gesellschaftlichen, wirtschaftlichen, politischen, pädagogischen, psychologischen Projekten und bei gesundheitsbezogenen Maßnahmen spielen Fragebogen eine zunehmend wichtige Rolle. Und zudem stellen Fragebogen eine wesentliche Informationsquelle im Rahmen der Personalauswahl und -entwicklung, in der Psychodiagnostik, bei psychologischen Interventionen und in der Forschung dar. Dies betrifft nicht nur die Psychologie, sondern auch eine Vielzahl von Nachbardisziplinen. Ein Hintergrund für diese Entwicklung ist die wachsende Bedeutung der BürgerInnen als KonsumentInnen und Wirtschaftsfaktoren, der MitarbeiterInnen als „Sozialkapital des Unternehmens“, der SchülerInnen, Studierenden und PatientInnen als „KundInnen“. Diese Entwicklung trägt dazu bei, dass die Meinung, die Zufriedenheit oder der „Zustand“ von Personen für EntscheidungsträgerInnen immer gewichtiger wird und damit eine Erhebung zuverlässiger Informationen notwendig scheint. In der Mehrzahl fällt die Wahl auf eine „Befragung“ mittels Fragebogen. Selbst die moderne Qualitätssicherung baut auf Befragungen, da die Qualität von Produkten durch das NutzerInnenurteil mitdefiniert wird.

Die herausragende Bedeutung von standardisierten Befragungen bis hin zur Qualitätssicherung von Dienstleistungen und Produkten bildet den Ausgangspunkt dieses Buches, das seinerseits der Frage nach der Qualität von Befragungsinstrumenten, insbesondere von Fragebogen, nachgeht. Die Zielsetzung lässt sich zusammenfassend so formulieren: Einsatz von Fragebogen statt Bogen mit Fragen. Im Zentrum steht dabei die Fragestellung, wie vorzugehen ist, um die benötigte Information zu erhalten. Dieser Ansatz geht weit über die bisher vorliegenden Arbeiten hinaus, die sich den Themen „Wie formuliere ich Fragen?“, „Welche Antwortformate stehen zur Verfügung?“ und „Wie vermeide ich Verzerrungen in den Antworten durch soziale Erwünschtheit?“ widmen.

Selbstverständlich ist es immer möglich, eine Befragung durchzuführen, die Aussagen enthält wie „Ich bin mit meiner Arbeit unzufrieden“ , „Ich habe Angst“, „Mein Unternehmen finde ich gut“, „Ich bin ein guter Mitarbeiter/eine gute Mitarbeiterin“ mit den Antwortskalen „trifft nicht zu“ bis „trifft völlig zu“ oder „ja/nein“. Diese Aussagen und ihre Antworten erfassen jedoch nicht systematisch ein Konzept, sondern bieten lediglich grobe Anhaltspunkte für Entscheidungen. Weder die Frage nach der Zuverlässigkeit dieser qualitativ zu interpretierenden Informationen noch die Frage, ob tatsächlich das gewünschte Merkmal gemessen wird, lassen sich ohne weitere Zusatzinformationen beantworten: Unkontrollierte Urteilsfehler, Antworttendenzen, die Tendenz zur sozialen Erwünschtheit, Suggestiveffekte, Stimmungseffekte aufgrund des aktuellen Tagesgeschehens und vieles mehr mindern die Qualität der „Bogen mit Fragen“. Diese „Bogen mit Fragen“ begegnen uns in einem breiten Spektrum von Medien und in vielen Lebensbereichen. Die Palette umfasst die sog. „Psychotests“ in den Printmedien und im Internet, Volksbefragungen, KundInnenbefragungen, MitarbeiterInnenbefragungen, standardisierte Befragungen in der Markt- und Meinungsforschung. Selbst in Forschungsarbeiten aus Psychologie, Soziologie, Pädagogik, Politikwissenschaft, Betriebswirtschaft, den Umweltwissenschaften, den Kommunikations- und Medienwissenschaften sowie modernen Teildisziplinen wie der Pflegewissenschaft und den Gesundheitswissenschaften kommen oft Bogen mit Fragen statt Fragebogen zum Einsatz.

Anstelle der oberflächlichen Abfrage von augenscheinlich wichtigen Themen bezieht sich der aussagekräftige Fragebogen auf ein klar definiertes Konzept. Eine Befragung zur PatientInnenzufriedenheit kommt deshalb nicht umhin, sich auch mit der folgenden Frage zu befassen: „Was ist Zufriedenheit und was ist Unzufriedenheit?“ Ein Blick in ein psychologisches Lehrbuch zeigt, dass Zufriedenheit die Bewertung eines oder mehrerer Ergebnisse oder Prozesse in Abhängigkeit von den Erwartungen darstellt. Die Erwartungen wiederum sind durch die Kosten für das Individuum mitbestimmt. Setzt man diese Überlegungen fort, schlüsselt sich die PatientInnenzufriedenheit in Zufriedenheit mit unterschiedlichen Facetten der Behandlung und des Genesungsprozesses auf. Gleichzeitig wird die zentrale Bedeutung von Erwartungen sichtbar und es kommt der Gedanke auf, dass Zufriedenheit, fehlende Zufriedenheit und Unzufriedenheit nicht unbedingt auf einer „Dimension“ liegen.

Kriterien zur Bewertung der Instrumente und Hinweise zur professionellen Gestaltung von Fragebogen fehlen uns jedoch in den meisten Fällen oder decken nur unvollständig und theoriefern Teilaspekte ab (Porst, 2009). Die Lektüre dieses Leitfadens soll die LeserInnen in die Lage versetzen, die Unterscheidung zwischen einem „Bogen mit Fragen“ und einem „Fragebogen“ nachzuvollziehen und eine Bewertung der „Angebote“ im Spektrum zwischen spielerischem Medienquiz, Instrument zur Sammlung qualitativer und semiquantitativer Information bis hin zum Testverfahren mit diagnostischem Potenzial vorzunehmen. Den EntwicklerInnen von Befragungsinstrumenten sollen die wichtigsten Regeln für die Konstruktion eines guten Fragebogens vermittelt werden. Außerdem erfahren sie Unterstützung bei der Entscheidung, ob für die Entwicklung oder die Gestaltung eines Instruments zur KundInnenzufriedenheit oder MitarbeiterInnenzufriedenheit ExpertInnen hinzuzuziehen sind, damit in reproduzierbarer Weise hinreichend gehaltvolle Informationen über ein definiertes Konzept erfasst werden. Für die Berufsgruppe der PsychologInnen soll dieser Leitfaden die Kenntnisse der statistischen Modelle zur Fragebogen- und Testkonstruktion inhaltlich und formal ergänzen und dazu beitragen, eine effiziente und professionelle Fertigkeit zur Fragebogenkonstruktion zu entwickeln. Die Mehrzahl der beschriebenen Vorgehensweisen lassen sich in analoger Weise auf die Konstruktion von Beobachtungssystemen übertragen.

Ein Kernpunkt in diesem Buch betrifft die Operationalisierung eines Merkmalsbereiches durch (selbst)beobachtbare Indikatoren und die Umsetzung dieser Indikatoren in Gruppen leicht beantwortbarer Frage-Antwort-Einheiten. Dieser Ansatz wird bislang im Hinblick auf die Fragebogenentwicklung gar nicht oder nur am Rande behandelt. Anhand von Beispielen wird erläutert, dass ein Fragebogen nicht aus beliebigen Fragen bestehen sollte, sondern aus Gruppen von Frage-Antwort-Einheiten (sog. Items), die einem Merkmalsbereich oder Konzept zuzuordnen sind. Dabei wird eine Reihe von Grundregeln zur Formulierung von Items vorgestellt. Diese Regeln modifizieren einige althergebrachte Prinzipien, die ursprünglich eingeführt wurden, um Antworttendenzen zu vermeiden. Im zweiten Teil werden die Zusammenstellung von Items zu einem Fragebogen und die Prüfung der Fragebogengüte behandelt. In diesem zentralen Kapitel zur Fragebogenentwicklung steht die Beziehung zwischen inhaltlichen und statistischen Konzepten im Vordergrund. Dabei werden wiederholt die Grenzen der oft verabsolutierten statistischen Kenngrößen und Analyseprinzipien thematisiert und eine inhaltlich geleitete Vorgehensweise vorgeschlagen, die die statistischen Methoden als Werkzeug in ihren Dienst stellt. Im Anschluss daran werden Regeln zur Entwicklung und Prüfung der Endform des Fragebogens an Beispielen illustriert. In den letzten Abschnitten werden Fragebogen und Interview mit ihren jeweiligen Einsatzbereichen abgegrenzt sowie die Bedingungen zur Durchführung und Rückmeldung von Fragebogenerhebungen und MitarbeiterInnenbefragungen einschließlich ethischer und juristischer Aspekte diskutiert. Beispiele und Checklisten am Ende des Buches dienen der Erläuterung und Handhabbarkeit der Prinzipien und Methoden.

Die Mehrzahl der bisher vorliegenden Arbeiten zur Testkonstruktion stellt den mathematisch-statistischen Hintergrund verschiedener testtheoretischer Modelle in den Vordergrund (Böttcher, 2007; Bühner, 2011; Eid & Schmidt, 2014; Kranz, 2001; Krauth, 1995; Kubinger, 1989; Lienert & Raatz, 1998; Moosbrugger & Kelava, 2007; Rost, 2004). Arbeiten mit einem überwiegend inhaltlichen Bezug sind von Mummendey (1987) und Osterlind (1989) publiziert worden. Mummendey geht vor allem auf den Fragebogen als Forschungswerkzeug ein und beschränkt sich dabei auf Beispiele zur einstellungsorientierten Messung mit Zustimmungsskalen. Osterlind leistet in seinem englischsprachigen Werk für die Leistungs- und Kenntnismessung Ähnliches wie die vorliegende Arbeit für die Messung von Merkmalen mittels Fragebogen, die Osterlind im Vorwort explizit ausklammert. Wertvolle Tipps und Anhaltspunkte entstammen auch Arbeiten aus der empirischen Sozialforschung. In diesen Arbeiten liegt der Schwerpunkt jedoch bei Einzelfragen (Porst, 2009), nicht jedoch bei der Entwicklung von konzeptbezogenen Frage-Antwort-Gruppen, die ein psychometrisches Verfahren kennzeichnen.

Für die Entwicklung eines Fragebogens sind folgende Schritte abzuarbeiten:

1. Abgrenzung und Klärung des zu erfassenden Merkmalsbereiches und der Zielpopulation. Bei der Festlegung der Zielpopulation ist auch an mögliche Vergleichsgruppen, „Benchmarks“ und Weiterentwicklungen zu denken. Daher gilt die Regel für die Festlegung der Zielpopulation: Eher breit definieren!

2. Spezifizierung des Merkmalsbereiches und Sammlung von Beispielen. Hier sollten möglichst umfassend Verhaltensweisen, Leistungen, Manifestationen in Gedanken, Gefühlen, Motivationen, Wünschen, Symptomen und Zuständen körperlicher und psychischer Art aufgelistet/gesammelt werden. Zur Unterstützung werden in dieser Phase häufig Interviews, Verhaltensbeobachtung, Arbeitsanalysen, Unfallanalysen und Dokumentenanalysen oder auch Workshops mit ExpertInnen eingesetzt.

3. Gruppierung der Manifestationen in Teilbereiche, die in ähnlicher Weise mit unterschiedlichen Merkmalsausprägungen variieren

4. Festlegung der charakteristischen Manifestationsvariation und Festlegung der Antwortdimensionen

5. Formulierung der Items

6. Prüfung der Items auf sprachliche Konsistenz, Einfachheit und Verständlichkeit

7. Festlegung von Instruktionen, Ankern und Vorgabemodalitäten

8. Fixierung der Itemreihenfolge

9. Durchführung einer Studie zur Prüfung der Subtests/Items

10. Kürzung/Ergänzung des Fragebogens

11. Festlegung von Varianten des Fragebogens

12. Normierung und Auswertungsrichtlinien

13. Validierung und Interpretationsrichtlinien

Mit den 13 Schritten der Fragebogenentwicklung entsteht ein psychometrisch geprüfter Fragebogen mit definierter Qualität, der auch in Normensystemen (z. B. ISO 10075 oder DIN 33430) eingeordnet werden kann. Während ein „Bogen mit Fragen“ z. T. wenig zuverlässige qualitative Informationen liefert, sind mit psychometrisch geprüften Fragebogen exakte Messungen von Veränderungen der Merkmalsausprägung oder von Unterschieden zwischen Personen, Gruppen, Teams oder Organisationseinheiten möglich.

1.2 Fragebogen als psychometrischer Test zur Erfassung eines Merkmalsbereiches

Mit der Unterscheidung zwischen Fragebogen als psychometrisch geprüftem Messinstrument für quantitative Aussagen zu einem definierten Merkmalsbereich und der Vorgabe von Fragen zur späteren qualitativen Analyse („Bogen mit Fragen“) wird ein Fragebogen als Test im Sinne der klassischen Arbeit „Testaufbau und Testanalyse“ von G. A. Lienert (1969) klassifiziert. Danach ist ein Test ein „wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung“ (Lienert, 1969, S. 7). Die Vorgabe von Fragen zur qualitativen Analyse wird im Kapitel 7.1 „Fragebogen, Interview, Verhaltensbeobachtung“ aufgegriffen.

Ein Fragebogen versucht, den Kriterien für einen psychometrischen Test zu entsprechen und den zu erfassenden Merkmalsbereich möglichst objektiv, zuverlässig und valide abzubilden.

– Objektivität im Sinne von Intersubjektivität erlaubt, die Merkmale unabhängig von den UntersuchungsleiterInnen zu erfassen. Objektivität bezieht sich dabei auf die Durchführung der Befragung, die Auswertung der Daten und die Interpretation der Ergebnisse.

– Zuverlässigkeit lässt sich erzielen, wenn die Fragen so gestellt werden, dass die antwortenden Personen in konsistenter Weise antworten können und die Ergebnisse sich bei unterschiedlichen Fragen zu einer Merkmalsfacette in vergleichbarer Weise zeigen. Konsistente Antworten schlagen sich in hohen Kennwerten für die Zuverlässigkeit (Reliabilität) des Fragbogens nieder. Zur Reliabilitätsprüfung werden Parallelmessungen und/oder Messwiederholungen vorgenommen. Parallelmessungen erfolgen zum Beispiel, wenn jede Merkmalsfacette durch mehrere Fragen abgebildet wird. Messwiederholungen finden abhängig von der Stabilität des zu messenden Merkmals nach kurzem oder längerem Zeitintervall statt. Die unterschiedlichen Optionen der Reliabilitätsschätzung werden im Kapitel 6.2 zur Überprüfung der Güte von Fragebogen diskutiert.

– Schließlich soll der Merkmalsbereich valide (modellkonform) abgebildet werden. Der Fragebogen soll diejenigen Merkmale und Zustände abbilden, die er zu messen vorgibt. Validität lässt sich insbesondere durch eine möglichst präzise Festlegung des zu messenden Merkmalsbereiches im Rahmen der Fragebogenentwicklung erreichen.

Die Definition des Merkmalsbereiches und seine Operationalisierung stellen einen zentralen Schritt in der Fragebogenentwicklung dar, dem in diesem Buch besondere Aufmerksamkeit geschenkt wird. Ziel der operationalen Definition ist eine Umschreibung der Äußerungsformen von Merkmalsunterschieden. Die Frage, wie sich inter- und intraindividuelle Unterschiede in der Merkmalsausprägung aus Sicht der Befragten darstellen und optimal operationalisieren lassen, stellt den zentralen ersten Schritt bei der Erstellung der Fragebogengrundeinheiten dar: die Formulierung der Items.

Die Operationalisierung des Merkmalsbereiches aus Sicht der Befragten bildet den ersten zentralen Schritt zur Sicherung der Validität (Gültigkeit) der Messungen. Selbstverständlich ist die Validität durch ergänzende empirische Daten – wie die Korrelationen zu relevanten Kriterien oder verwandten Konzepten – zu bestätigen. Hohe Validitätskoeffizienten können aber auch durch triviale Zusammenhänge oder durch Scheinkorrelationen, bedingt durch Drittvariablen, entstehen. Auch dieses Problemfeld wird in einem eigenen Abschnitt diskutiert (Kapitel 6.3). Dabei wird insbesondere das Problem der Augenscheinvalidität kritisch beleuchtet. Augenscheinvalidität ist sowohl ein Problem bei der Itemformulierung und -auswahl als auch ein Problem bei der Interpretation von Fragebogenergebnissen. Ein verbreiteter Interpretationsfehler betrifft die absolute Interpretation der erhaltenen Skalenwerte, z. B. für Arbeitszufriedenheit. Ohne Vergleichswerte verbietet sich die absolute Interpretation der Messwerte für ein psychometrisches Testverfahren, das maximal Intervallskalenniveau aufweist.

Die statistische Überprüfung der Testgüte kann mittels Klassischer Testtheorie (Lienert & Raatz, 1998; Lord & Novick, 1968), anhand der Generalisierbarkeitstheorie von Cronbach, Gleser, Nanda und Rajaratnam (1972), anhand moderner statistischer Analysen mit linearen Strukturgleichungsmodellen (Steyer & Eid, 2001) oder auch mit einer Analyse in einem probabilistischen Testmodell (Fischer, 1974) erfolgen. Auch wenn die psychometrische Testkonstruktion im klassischen Modell erfolgt und dementsprechend die Frage der Messung im engeren Sinn außen vor bleibt, kann durch die Auseinandersetzung mit der Frage nach den zu messenden Merkmalen oder Konzepten ein wesentlicher theoretischer und praktischer Gewinn resultieren. Das Verständnis für die inhaltlich notwendigen Schritte bei der Fragebogenkonstruktion hilft, psychometrisch aussagekräftige, zuverlässige Ergebnisse zu erzielen.

1.3 Merkmale und deren Definition aus der Perspektive der Befragten

Die Definition der zu erfassenden Merkmale und dafür repräsentativer persönlicher Reaktionen und Zustände, in denen sich Unterschiede im zu erfassenden Merkmalsbereich niederschlagen, stellt die Basis für eine effiziente und professionelle Entwicklung eines Fragebogens dar (Cronbach, Gleser, Nanda & Rayaratnam, 1972; Osterlind, 1989). Dieser erste wichtige Schritt wird jedoch nur von wenigen EntwicklerInnen mit der notwendigen Aufmerksamkeit und Konsequenz verfolgt.

Das Ergebnis der Operationalisierung aus der Perspektive der Befragten muss eine klare Abgrenzung und Kennzeichnung der zu messenden Konzepte und Merkmale sein. Die Operationalisierung erfolgt aus der Perspektive der Befragten. Dies meint nicht, dass die Operationalisierung auf der Ebene des Alltagsverständnisses der Befragten stehen bleibt. Psychologische Konzepte müssen aber aus der Sicht der Befragten (re)formuliert werden. Dabei ist zu klären, in welchen Ereignissen, Verhaltensweisen, persönlichen Zuständen oder auch Kognitionen sich unterschiedliche Ausprägungen des Merkmals niederschlagen. Ausgehend von einer hinreichend klaren Vorstellung über das zu messende Merkmal und die hierfür relevanten psychologischen Konzepte lassen sich die möglichen Manifestationen als Basis für die Formulierung von Items ableiten. Die möglichst klare und valide Operationalisierung der Merkmale muss immer die Frage beantworten, wie sich unterschiedliche Merkmalsausprägungen aus Sicht der Befragten darstellen und wie sie sich aus Sicht der Befragten kennzeichnen lassen. Die Übernahme der Perspektive von Befragten, von KundInnen, MitarbeiterInnen, PatientInnen und StudienteilnehmerInnen ist zentral für die angemessene und zielorientierte Formulierung von Items.

Fragen sollten sich möglichst konkret auf Aspekte beziehen, die für die Befragten sichtbar, spürbar, erlebbar und erfahrbar sind. Wenn sich Fragen auf abstrakte, vorgestellte und generalisierte Gegenstände beziehen, lassen die Ergebnisse der Befragung nur selten konkrete Vorhersagen zu und die Antworten können durch Faktoren wie eine positive Selbstdarstellungstendenz, soziale Erwünschtheit oder Antworttendenzen stark verzerrt werden. Fragen wie „Sind Sie ein zuverlässiger Mensch?“ oder „Sind Sie ein guter Autofahrer?“ erbringen deutlich mehr Ja-Antworten als aufgrund der Anzahl zuverlässiger Menschen oder guter AutofahrerInnen in der Population zu erwarten sind.

Auf der anderen Seite treffen sehr spezifische Fragen nur auf einen Teil der Personen oder nur sehr selten zu. Fragen zu seltenen Ereignissen sind für die Mehrzahl der Befragten nicht relevant und differenzieren daher oft nicht. Beispiele sind: „Ich bin in den letzten Tagen mit Unverschämtheiten am Arbeitsplatz konfrontiert worden“ oder „Ich habe im letzten halben Jahr ein große Geldsumme gewonnen“.

Fragebogen sind sowohl zur Selbst- als auch zur Fremdbeschreibung oder auch zur Selbst- und Fremdbeurteilung einsetzbar. Fragebogen können sich auf unterschiedliche Merkmalsbereiche beziehen und sind nicht auf die Messung von psychischen Merkmalen wie Emotion oder Persönlichkeitsmerkmalen beschränkt. Beispielsweise kann eine Symptomliste auch physiologische Zustände abbilden (Mehrdimensionale körperliche Symptomliste; Erdmann & Janke, 1978), ein Beschreibungsinstrument wie das „Semantische Differential“ Umweltaspekte aus Sicht der NutzerInnen widerspiegeln (Mehrabian & Russell, 1974) und ein Fragebogen wie das („Instrument zur Stressbezogenen Arbeitsanalyse“ (ISTA; Semmer, Zapf & Dunckel, 1999) Arbeitssituationen aus Sicht der Arbeitstätigen oder auch aus Sicht von ExpertInnen charakterisieren.

Wichtig ist, dass ein Item für die Bezugspopulation eindeutig beantwortbar ist. Dies bedeutet nicht, dass Items für jede Bezugsgruppe anders zu formulieren sind, vielmehr sind zu spezifische Formulierungen zu vermeiden, um Vergleichbarkeit zu erhalten. Dieses scheinbare Dilemma wird in Kapitel 5.2.5 unter dem Stichwort „modulare Fragebogen“ diskutiert und gelöst.

Als Leitfaden gilt, für den Merkmalsbereich spezifische Fragen zu finden, die in Häufigkeit und/oder Intensität für alle Befragten relevant sind. Dabei ist zu berücksichtigen, dass bei der Entwicklung von Items für einen Fragebogen nicht allein die Fragen, sondern auch die zugehörigen Antwortkategorien eine entscheidende Rolle spielen.

1.4 Grundbausteine von Fragebogen: Items als Frage-Antwort-Einheiten

Ein Fragebogen besteht aus systematisch zusammengestellten Frage-Antwort-Einheiten. Diese Frage/Feststellung-Antwort-Kombinationen werden mit dem Begriff Fragebogenitem oder kurz Item bezeichnet. Dabei werden mehrere Fragen mit einem identischen Antwortmodus vorgegeben, d. h., der Fragebogen besteht aus mehreren Items mit identischem Antwortformat. Im Abschnitt über die Formulierung von Items wird ausführlich diskutiert, dass das Antwortformat zur Frage/Feststellung passen sollte und unterschiedliche Antwortformate zur selben Frage unterschiedliche Aussagen ergeben können.

Items sind für die Beantwortenden eindeutig und klar zu formulieren. Subjektiv zu interpretierende Elemente, einseitige, suggestive oder für Personengruppen benachteiligende Formulierungen sind ebenso zu vermeiden wie Mehrdeutigkeiten. Im Idealfall entsprechen die Items dem Merkmal in repräsentativer Weise. Mit dem Perspektivenwechsel, dass es viele Antworten gibt und die dazu richtigen Fragen zu finden das eigentliche Problem darstellt, macht Michael Ende in der „Unendlichen Geschichte“ (Ende, 1979) auf das Problem der Passung zwischen Fragen und Antworten aufmerksam. Bei der Fragebogenentwicklung wird der Schwerpunkt in der Regel auf die angemessenen Fragen gelegt, ohne dabei die Antwortoptionen angemessen zu betrachten. Die Antwortoptionen sind aber oft entscheidend für treffsichere Fragen.

Mögliche Unterschiede lassen sich an der Frage „Haben Sie Kopfweh?“ verdeutlichen (Box 1).

Box 1: Unterschiedliche Antwortmodi zur selben Aussage

Die unterschiedlichen Antwortmodi beleuchten unterschiedliche Facetten des Kopfschmerzproblems. Die erste Antwort lässt eine eher undifferenzierte Aussage zu und trifft wahrscheinlich eher aktuelle Kopfschmerzen, z. B. bei einer Befragung zu kritischem Raumklima oder beim „Sick-Building-Syndrom“. Der zweite Antwortmodus beantwortet die Intensitätsfrage, während die dritte Möglichkeit eher bei chronischen Kopfschmerzproblemen zu hohen Werten führt.

Bei den Antwortmöglichkeiten kann es sich im Falle von gebundenen Antwortformaten auch um qualitative Kategorien handeln (z. B. ja/nein), um geordnete Kategorien („gar nicht“, „wenig“, „etwas“, „viel“, „sehr viel“; vgl. Kallus & Krauth, 1995; Krauth, 1995), um eine metrische Skalierung oder auch um eine kontinuierliche Skala. Das Problem der Skala/Skalierung wird in Kapitel 3.4 ausführlich diskutiert.

Anmerkung: Interessanterweise ist die Mehrzahl der Items in „Fragebogen“ eher als Aussage mit Selbst-/Fremdbeschreibung und mit entsprechenden Antwortoptionen, aber nicht als explizite Frage formuliert.

1.5 Messinformation von Fragebogen: Items, Subtest und Bereichssubtest

Ziel eines psychometrischen Fragebogens ist es, unterschiedliche Merkmalsausprägungen von Eigenschaften, Einstellungen und Meinungen, Bewertungen, Verhaltenstendenzen, Zuständen oder längerfristigen Reaktions- oder Stimmungslagen bei Personen oder Personengruppen repräsentativ zu erfassen und zahlenmäßig wiederzugeben. Dabei kann es sich um Unterschiede im Zeitverlauf (Veränderungen) handeln oder um Unterschiede zwischen Personen oder Personengruppen.

Zu diesem Zweck werden bei einem Fragebogen die Werte für zusammengehörige Items zu einem Messwert, dem Subtestwert, verrechnet. Diese Zusammenfassung von Items zu einem sog. Subtest bildet die Grundlage, um die Güte der Fragen mit den Verfahren der Klassischen Testtheorie (Lord & Novick, 1968) zu analysieren. In der Regel umfasst ein Fragebogen mehrere Subtests, um einen Merkmalsbereich in seinen unterschiedlichen Facetten abzubilden. Jeder Subtest entspricht einer Facette des Merkmals. Das Konzept der Subtests stellt den Unterschied des „Bogens mit Fragen“ zum psychometrischen Fragebogen her.

Den Antworten werden bei jedem Item für die Auswertung Zahlen zugeordnet. Rein technisch werden bei zahlenmäßig vorgegebenen Antworten die Zahlenvorgaben der Antworten gewählt. Diese Konvention ist jedoch messtheoretisch nicht zwingend, da bei einer Intervallskala und natürlich auch bei einer Rangskala die Zahlenzuordnung weit beliebiger ist (vgl. Kap. 3.4). Bei der Auswertung und der Bestimmung der Güte eines Fragebogens geht der Untersuchende explizit oder implizit von den Grundannahmen („Axiomen“) der Klassischen Testtheorie aus. Die Axiome der Klassischen Testtheorie sind in Abbildung 1 dargestellt. Diese sind/lauten:

– Messwert x: Dieser wird additiv in den wahren Wert t und den Messfehler e zerlegt (x = t+e).

– Messfehler und wahrer Wert sind unabhängig.

– Messfehler zweier Items sind unabhängig.

Abbildung 1: Axiome der Klassischen Testtheorie (Kallus, 2016)

Die Axiome der Klassischen Testtheorie in Abbildung 1 fassen die Annahmen für zwei Items grafisch in Anlehnung an Steyr und Eid (2001) zusammen. Der aus der Antwort bestimmte Messwert eines Items zerfällt in Fehler und wahren Wert. Ein Subtest besteht aus zwei oder mehr Items, die jeweils eine wichtige Facette des zu messenden Merkmals (z.B. Prüfungsangst) beitragen. Abbildung 1 verdeutlicht, dass weder die Messfehler (z.B. durch unklare Itemformulierungen) mit dem wahren Wert zu tun haben noch untereinander abhängig sein dürfen (z.B. durch komplexe Syntax oder doppelte Verneinungen in beiden Fragen).

In manchen Messmodellen wird ein Teil der Antworten bei einem Item zusätzlich einem spezifischen Anteil zugeschrieben, der zwar zuverlässig erfasst wird, aber nichts Gemeinsames mit allen anderen Items des Subtests hat. Diese spezifische Arbeit wird jedoch in den meisten Auswertungsmodellen nicht berücksichtigt (vgl. Steyr & Eid, 2001; Eid & Schmidt, 2014).

Eine grafische Darstellung für den Subtest „Allgemeine Beanspruchung“ des Erholungs-Belastungs-Fragebogens (EBF; Kallus, 1995, 2016) zeigt Abbildung 2. Dieser Fragebogen bildet den gegenwärtigen Beanspruchungs-/Erholungszustand einer Person ab. Die Subtests des EBF in der Form mit 48 Items bestehen aus je vier Items. Jedes Item wird zerlegt in Messfehler und den wahren Wert, wobei spezifische Varianzanteile dem Fehler zugerechnet sind. Die Zahlen an den Pfeilen in Abbildung 2 verdeutlichen die Gewichte, mit denen die Items zum Subtest „Allgemeine Beanspruchung“ beitragen. Bei der Prüfung dieses Modells durch die statistische Prozedur der „linearen Strukturgleichungsmodelle“ ergab sich ein gutes Ergebnis. Zusammenfassend kann festgehalten werden, dass ein Subtestwert durch die additiv zusammengefassten Werte von mindestens zwei Items gebildet wird.

Abbildung 2: Messmodell für „Allgemeine Beanspruchung“ (Kallus, 2016, S. 66)

Ein Fragebogen wie der EBF umfasst in der Regel mehrere solcher Subtests. Für den EBF wird „Beanspruchung“ theoriegeleitet in Anlehnung an die Klassifikationen von Stress nach Janke (1976) in insgesamt sieben Facetten (Subtests) abgebildet. Die Gesamtheit der Subtests soll den zu messenden Merkmalsbereich über Feststellungen oder Fragen in einem Profil oder Gesamtwert angemessen zahlenmäßig repräsentieren. „Erholung“ umfasst insgesamt fünf Subtests. Alle zwölf Subtests werden in der Regel gemeinsam betrachtet und in einem grafischen Subtestprofil zusammengefasst. Ein Profil lässt sich darstellen, indem die Subtestwerte einer Person oder einer Gruppe in ein Profilschema eingetragen und diese Werte verbunden werden. Details zur Darstellung und Interpretation von Fragebogenprofilen werden in Kapitel 5.4 besprochen. Wenn aus Gründen der Vereinfachung auf die Detailinformation aus den Subtests verzichtet werden soll, ist es möglich, Facetten des Merkmals zusammenzufassen und übergeordnete Werte zu bilden. Die in einen Bereich gehörenden Subtests werden dann zu Bereichssubtests zusammengefasst. Auf diese Weise kann aus dem Erholungs-Belastungs-Fragebogen ein sinnvoller Gesamtwert für sozial-emotionale Beanspruchung gebildet werden. Die Struktur dieses Subtests zeigt Abbildung 3. Für die übergeordneten Werte soll im Folgenden der Begriff des Bereichssubtests verwendet werden. (Anmerkung: Bei älteren Fragebogenverfahren wurde in Anlehnung an den angloamerikanischen Sprachgebrauch der Begriff „Skala“ auch alternativ zum Subtestbegriff benutzt. Der Begriff Skala wird in dieser Arbeit nur zur Bezeichnung der Antwortformate verwendet, z. B. „Intensitätsskala“. Diese Festlegung ist mit der Begriffswelt der linearen Skalierung kompatibel, da bereits auf Itemebene eine erste zahlenmäßige Repräsentation von Merkmalsunterschieden stattfindet.)

Tabelle 1: Subtests des Erholungs-Belastungs-Fragebogens (EBF-Basic)

Subtest (Itemzahl) | Bezeichnung (Abkürzung)
1 (k=4) | Allgemeine Beanspruchung – Niedergeschlagenheit (BEA-ALLG)
2 (k=4) | Emotionale Beanspruchung (BEA-EMO)
3 (k=4) | Soziale Spannungen (BEA-SOZ)
4 (k=4) | Ungelöste Konflikte – Erfolglosigkeit (KONFL)
5 (k=4) | Übermüdung – Zeitdruck (ÜMÜDG)
6 (k=4) | Energielosigkeit – Unkonzentriertheit (ENLOS)
7 (k=4) | Körperliche Beschwerden (BEA-SOM)
8 (k=4) | Erfolg – Leistungsfähigkeit (ERFOLG)
9 (k=4) | Erholung im sozialen Bereich (ERH-SOZ)
10 (k=4) | Körperliche Erholung (ERH-SOM)
11 (k=4) | Allgemeine Erholung – Wohlbefinden (ERH-ALLG)
12 (k=4) | Erholsamer Schlaf (SCHLAF)

Statistisch wird die Frage, ob Items zu einem Bereich gehören und ob es sinnvoll ist, Subtests zu einem Bereich zusammenzufassen, auf Basis von Kovarianzen bzw. Korrelationen entschieden. Korrelationen bilden die linearen Zusammenhänge zwischen den Items (oder Subtests) ab. Eine Vielzahl von paarweisen Korrelationen (d. h. die Korrelationsmatrix) kann schnell sehr unübersichtlich werden. Als einfache Methode zur Strukturierung von Korrelationsmatrizen hat sich die sog. Faktorenanalyse etabliert. Die Faktorenanalyse sucht nach voneinander relativ unabhängigen Gruppierungsvariablen, zu denen sich die zum Faktor gehörenden Variablen zusammenfassen lassen. So bilden beispielsweise Erholung und Beanspruchung in Faktorenanalysen bei unterschiedlichen Stichproben immer wieder zwei (relativ unabhängige) Faktoren.

Aus diesem Grund ist eine weitere Zusammenfassung zu einem Gesamtwert nicht sinnvoll, sondern der aktuelle Zustand der Person lässt sich nur über eine Kombination aus beiden Werten charakterisieren. Beanspruchung „zerfällt“ in der Regel noch in je einen Faktor für „sozial-emotionale Beanspruchung“ und „leistungsbezogene Beanspruchung“.

Exkurs

Die Merkmalsstruktur stellt ein lineares Strukturgleichungsmodell anschaulich und präzise dar (Abbildung 3). Dabei wird oft zwischen Messmodell (in Abbildung 2 für „Allgemeine Beanspruchung“) und dem Strukturmodell für den Merkmalsbereich unterschieden. Strukturgleichungsmodelle zeigen Hinweise auf Verletzungen der Annahme der Klassischen Testtheorie in Form von Messfehlerkorrelationen (siehe dazu auch Wagner, Jiménez, Kallus & Kellmann, 2016).

Abbildung 3: Messmodell für „sozial-emotionale Beanspruchung“ (Kallus, 2016, S. 68)

Wie am Beispiel des EBF aufgezeigt wurde, lassen sich hoch korrelierende Subtests in vielen Fällen zu Bereichssubtests für den Merkmalsbereich oder für latente Variablen eines psychologischen Konzepts zusammenfassen. In älteren Arbeiten wurde statt des Begriffs der latenten Variablen auch der Begriff der (latenten) Dimension verwendet, um ein psychologisches Konzept wie z. B. Stress theoretisch zu beschreiben. Wenn alle Subtests hoch korrelieren, ergibt sich bei der Faktorenanalyse ein „Generalfaktor“ (der den Großteil der Varianz auf sich „vereint“). In diesem Fall ist ein einziger Gesamtwert sinnvoll. Ein solcher Gesamtwert ergibt sich z. B. für den Teamqualitätsfragebogen (Kallus & Brandt, 2006), da hier alle Subtests hoch korrelieren.

Die Güte von Subtests, von Bereichssubtests und von einem Gesamtwert lassen sich mit den Methoden der Klassischen Testtheorie überprüfen, wobei in der Analyse in der Regel die Items auch für die Gesamtwerte und die Bereichssubtests als Dateneinheiten verwendet werden. Der Einsatz der Faktorenanalyse und linearer Strukturgleichungsmodelle in der Fragebogenkonstruktion wird in Kapitel 6.4 aufgegriffen. Die Statistik der Fragebogenentwicklung steht jedoch hinter der Entwicklung eines inhaltlich und theoretisch fundierten Systems von angemessenen Fragen zurück.

2 Ansätze zur Präzisierung und Operationalisierung des zu erfassenden Merkmalsbereiches

Bei einem psychometrischen Test werden die Items in mehreren Schritten systematisch entwickelt und zusammengestellt. Ergebnis ist ein Fragebogen mit Subtests, der quantitative Aussagen in zuverlässiger Form erlaubt. Eine einfache, oft unsystematische Zusammenstellung von Fragen zu einem Thema gehört im Vergleich dazu eher in den Bereich der qualitativen Forschung. Bei der qualitativen Interpretation von Antworten zu einem Item ist hohe Vorsicht geboten. Hierbei werden messtheoretische Probleme in vielen Fällen sträflich missachtet. Fehlinterpretationen werden oft nicht erkannt und können bis zur politischen Ebene zu Fehleinschätzungen und Fehlentscheidungen führen. In Kapitel 3.4 wird das Skalierungsproblem ausführlich besprochen.

Auf Basis einer klaren Definition und Operationalisierung des zu messenden Konzepts oder Merkmals lassen sich die Frage-Antwort-Komplexe (Items) in angemessener Weise so formulieren, dass die angezielten zuverlässigen Subtestwerte als Resultat der Fragebogenentwicklung tatsächlich sinnvolle Messwerte erbringen. In vielen Fällen sind vorab entsprechende theoretische Vorarbeiten und empirisch orientierte Entwicklungsschritte vorzunehmen.

Im Folgenden wird ein Spektrum von Ansätzen zur Operationalisierung des Merkmalsbereiches zusammenfassend vorgestellt. Dabei werden die Methoden nach steigender Komplexität geordnet. In allen Fällen sind die zu erfassenden Merkmale mindestens mit einer „Arbeitsdefinition“ hinreichend klar zu umreißen. Arbeitsdefinitionen sollten mit den wichtigsten Normen und etablierten wissenschaftlichen Festlegungen kompatibel sein oder mindestens dort eingeordnet werden können. In diesem Sinne ist es z. B. wenig sinnvoll, Belastung und Beanspruchung abweichend von der ISO 10075 zu definieren. Schwierig scheint die Definition und Einordnung vor allem bei inflationär verwendeten Begriffen wie Stress, Burnout oder Resilienz. Im Hinblick auf eine sinnvolle Testentwicklung sollte sich die Definition an etablierten theoretischen Konzepten orientieren. Unter Umständen kann an dieser Stelle die Neuentwicklung eines Verfahrens enden, da bereits hinreichend gute Messinstrumente von den verschiedenen wissenschaftlichen Arbeitsgruppen entwickelt wurden. Die vorhandenen Tests können nach Rücksprache mit den InhaberInnen des Urheberrechts für die eigene Entwicklung/Befragung ganz oder teilweise übernommen/ übersetzt oder adaptiert werden.

In diesem Kapitel werden die folgenden möglichen Ansätze zur Testentwicklung behandelt:

1. Adaptierung – Übersetzung – Neukomposition vorhandener Messinstrumente

2. Konzeptgeleitete Zusammenstellung von Subtests und Items

3. Interviews zur Präzisierung des Merkmalsbereiches

4. Workshop-Methoden

5. Empirisch basierte Konzeptdefinition

2.1 Adaptierung – Übersetzung – Neukomposition vorhandener Messinstrumente

Im einfachsten Fall liegt bei einer Testentwicklung für den relevanten Teil der zu messenden Merkmale bereits ein Fragebogenverfahren vor, möglicherweise jedoch in einer nicht direkt einsetzbaren Sprache. Sollte ein Testverfahren in einer Fremdsprache vorliegen, lässt sich nach Rücksprache mit den AutorInnen in der Regel über eine Übersetzung und/oder Adaptierung auf dem schnellsten Weg ein „neuer“ Fragebogen „entwickeln“.

2.1.1 Adaptierung – Übersetzung

Bei der Übersetzung und Adaptierung von Items in eine andere Sprache gelten dieselben Leitlinien zur Formulierung von Items wie bei einer Neuentwicklung (vgl. Kapitel 3.3). Die Zusammenstellung von Subtests, die Itemreihenfolgen und die formale Vorgabe müssen sich eng am Originalfragebogen orientieren.

Um die Qualität einer Übersetzung zu prüfen, empfiehlt sich bei Fragebogen eine Rückübersetzung durch eine unabhängige Person, die den Originaltest nicht kennt (Tanzer & Sim, 1999). Diskrepanzen in einer Übersetzung können unter anderem auf Übersetzungsfehlern beruhen oder kulturelle Besonderheiten widerspiegeln. Bei Diskrepanzen sollte unter Einbeziehung von „Native Speakern“ das Problem aufgedeckt werden und eine sinngemäß adäquate Übertragung des Items vorgenommen werden. An dieser Stelle ist es wichtig, das Item vollständig, d. h. Frage- und Antwortoptionen, in die Betrachtung einzubeziehen und auch die anderen Items des Subtests zu betrachten.

Bei der Übertragung eines Fragebogens in eine andere Sprache dürfen formale Kennzeichen nur dann verändert werden, wenn mit dem Sprachwechsel formale Änderungen zwingend sind, wie beim Wechsel von der lateinischen Schriftart auf Kyrillisch oder Griechisch. Die formalen Aspekte betreffen unter anderem Schrifttyp, Schriftgröße, Itemreihenfolge, Anzahl der Items pro Seite, Anordnung der Antwortskalen, Instruktionen, Beispiele etc.

2.1.2 Übernahme von Subtests und Items bei der Neukonzeption eines Fragebogens

In vielen Projekten ergibt sich durch die Fragestellung oder die Operationalisierung der zu messenden Merkmale eine teilweise inhaltliche Überlappung oder Überschneidung mit bereits vorliegenden Fragebogenverfahren. In diesem Fall ist die einfache Übersetzung oder der Einsatz eines vorliegenden Instruments nicht ausreichend, sondern die vorliegenden Verfahren müssen ergänzt oder neu konzipiert werden. Relativ unproblematisch ist meist die Kombination neuer Teilbereiche mit bestehenden Fragebogen oder Subtests anderer AutorInnen. Wichtig bei diesem Vorgehen wie auch bei den im Folgenden besprochenen Vorgehensweisen ist neben einer korrekten Angabe der Quellen eine Rücksprache mit den AutorInnen. Mögliche Verletzungen des Copyrights sind ebenso zu beachten wie wirtschaftliche Schäden durch Plagiate.

Bei der Übernahme von Subtests aus vorhandenen Verfahren sind Änderungen und Adaptierungen nur mit größter Behutsamkeit und immer nur in Absprache mit den AutorInnen der Originalversionen vorzunehmen. Änderungen in der Anzahl der Items für Subtests sind in der Regel nach Rücksprache mit den AutorInnen der Originaltests problemlos vorzunehmen. Zur Durchführung der Änderungen lassen sich Informationen aus den Manualen oder den Publikationen zu psychometrischen Kennwerten wie Schwierigkeit, Streuung und Trennschärfe heranziehen. Einschneidende Änderungen sind jedoch zu vermeiden, insbesondere wenn die Änderung den Antwortmodus im Hinblick auf die Anzahl der Stufen oder gar Skalierungsdimension betrifft. Diese Art der Änderung macht eine psychometrische Überprüfung und/oder vollständige Neuentwicklung notwendig.

Auch wenn Items aus bestehenden Verfahren an einen neuen Antwortmodus angepasst und reformuliert werden, sollten die Quellen stets angemessen zitiert werden. Bei der Fragebogenentwicklung ist eine Dokumentation über die „Herkunft“ der Items ein theoretisch, praktisch und juristisch notwendiger und normativ wertvoller Schritt.

2.2 Konzeptgeleitete Zusammenstellung von Subtests und Items

Items sollten wo immer möglich theoriegeleitet anhand vorliegender Modelle, Konzepte oder Taxonomien erstellt werden. Dies ist im Bereich der Wissenschaft unerlässlich. Der Abgleich der Items und Subtests mit vorliegenden Modellen, Konzepten und Theorien kennzeichnet hochwertige Fragebogen auch bei den weiter unten beschriebenen Optionen zur Entwicklung des Itempools. Bei der theoriegeleiteten Formulierung von Items wird entweder ein Modell als Grundlage ausgewählt oder es werden mehrere verwandte Konzepte herangezogen. Zu den in der Theorie dargestellten Facetten werden Items gebildet, die möglichst repräsentativ die Facetten im Verhalten und Erleben von Personen abbilden können. Für jede Facette werden mindestens sechs bis acht Items für einen potenziellen Subtest formuliert. Die Formulierung von Items orientiert sich immer konkret an der Perspektive der Antwortenden. Items können auch dann theoretischen Konzepten folgen, wenn sie konkret formuliert sind. Theoretisch formulierte Items sind typische „Anfängerfehler“. Die Frage „Sind Sie bei Ihrer Arbeit primär erfolgsmotiviert?“ (ja/nein) sollte besser lauten „Lob spornt mich besonders an“ (ja/nein). Es hat sich besonders bewährt, die Merkmalsbereiche möglichst konkret auf der Verhaltens- und Erlebensebene oder durch Beschreibung konkreter Situationen oder Zustände aus dem Merkmalsbereich abzubilden.

Das theoriegeleitete Vorgehen bei der Zusammenstellung von Subtests/Items sei am Beispiel des Erholungs-Belastungs-Fragebogens (EBF; Kallus, 1995) kurz dargestellt. Der Beanspruchungsbereich wurde ausgehend von der Taxonomie für Stressoren bei Janke (1976) in die Bereiche „äußere Belastungen“, „Belastungen durch Deprivation primärer Bedürfnisse wie Schlaf “, „Leistungsüber/-unterforderungen“, „soziale Belastungen“ und „sonstige Belastungsfaktoren wie Konflikte und Ungewissheit“ gegliedert. Für jede Facette wurden anschließend mindestens acht Items formuliert. Zuvor war festgelegt, dass sich der aktuelle Beanspruchungszustand aus der Häufigkeit von Belastungen „in den letzten Tagen“ ergeben sollte. Als Annahme galt zudem, dass sich besonders intensive Stressereignisse in vielen Teilbereichen niederschlagen und sich intensive Belastungen daher auch in Häufigkeitsangaben relativ gut abbilden lassen. Ergänzend wurde die Annahme einbezogen, dass Belastungen dann besonders bedeutsam für den Beanspruchungszustand einer Person sind, wenn nur unzureichende Möglichkeiten zur Regeneration der Ressourcen vorliegen. Initial stand der Versuch, die Erholungsbereiche komplementär zu den Belastungsbereichen in Items abzubilden.

Während sich für den Beanspruchungsbereich die theoretisch abgeleiteten Belastungsdimensionen weitestgehend abbilden ließen, konnten aufgrund hoher Überlappung der Merkmalsbereiche nur einige korrespondierende Regenerationsbereiche abgebildet werden. Interessanterweise konnten, passend zu kognitiven Stressmodellen (z. B. Lazarus, 1966, 1991), überwiegend positiv bewertete Ereignisse und Zustände als „gute Items“ für Erholung in die Endform des Erholungs-Belastungs-Fragebogens übernommen werden.

Weitere Beispiele für eine theoriegeleitete Entwicklung von Itempools finden sich im Instrument zur Erfassung der Konflikteskalation am Arbeitsplatz (IKEAr; Kolodej, Voutsinas, Jiménez & Kallus, 2005), im EBF-Sport (Kellmann & Kallus, 2000, 2016), im Test zur Erfassung des Mobbingrisikos am Arbeitsplatz (TEMA; Kolodej, Essler & Kallus, 2010), in der Profilanalyse zur Arbeitszufriedenheit (PAZ; Jiménez, 2008) und auch in einer Vielzahl von Verfahren anderer Arbeitsgruppen, wie dem bereits erwähnten arbeitsanalytischen Fragebogen (ISTA; Semmer, Zapf & Dunckel, 1999), im Trierer Inventar zu chronischem Stress (TICS; Schulz, Schlotz & Becker, 2004) oder beim Verfahren zu Beanspruchungsmessung bei der Arbeit (BMS; Debitz, Plath & Richter, 2016). Bögel und Rosenstiel (1997) empfehlen auch für MitarbeiterInnenbefragungen ein stärker theoriegeleitetes Vorgehen.

Eine theoretische Konzeption zur „Messung“ der Facetten eines hypothetischen Konstrukts oder eines hinreichend klar operationalisierten Merkmals stellt die Generalisierbarkeitstheorie (Cronbach, Gleser, Nanda & Rajaratnam, 1972) dar. Danach sollten Items in einem Fragebogen möglichst in „paralleler“ Form Informationen zur Ausprägung einer Facette des Merkmals erfassen. Mehrere dieser Items lassen sich dann zusammenfassen und spiegeln Unterschiede zwischen Personen in der Facette wider. Die Generalisierbarkeitstheorie betont auch die Bedeutung von Situationen, in denen sich das relevante Merkmal widerspiegeln sollte. Situationen sollten bei der Itemzusammenstellung nicht unbeachtet bleiben. Wenn möglich, sollte die jeweils relevante Situation für die Formulierung der Frage berücksichtigt werden. Die Berücksichtigung von Situationen stößt an Grenzen, weil gerade Situationen oft spezifisch oder typisch für bestimmte Bevölkerungs- oder Berufsgruppen sind. Dadurch ergibt sich der unerwünschte Fall, dass der Einsatzbereich eines Fragebogens dann auf spezifische Gruppen einzugrenzen ist oder dass hypothetische Situationen einzubeziehen sind. Hypothetische Situationen erhöhen die Komplexität von Fragen und müssen sehr geschickt formuliert werden, damit alle Antwortenden eine angemessene Vorstellung entwickeln können. Aufgrund dieser Schwierigkeiten reduzieren hypothetische Situationen oft die Qualität des Fragebogens (vgl. Faulbaum, Prüfer & Rexroth, 2009; Porst, 2009). Reaktionen auf hypothetische Situationen lassen sich allerdings nicht ohne Weiteres mit realen Verhaltensweisen und solchen in realen Situationen „mischen“.

Wichtig ist die Generalisierbarkeitstheorie für die Entwicklung von Fragebogen insoweit, als ein Item als Beispiel für eines von vielen möglichen Items betrachtet wird und als solches eine Stichprobe aus dem zu messenden Merkmal darstellt. Daher kann bei einer Prüfung des eigenen Itempools die aus der Generalisierbarkeitstheorie ableitbare Frage „Ist dieses Item typisch für das zu messende Merkmal?“ eine wesentliche Hilfe darstellen. Bei der Itementwicklung sollten nach der Generalisierbarkeitstheorie die TestentwicklerInnen für jeden Subtest ein Bild der möglichen Items vor Augen haben und aus den „möglichen“ Items einige „günstige“, am besten „repräsentative“ Items auswählen. Dabei ist eine ähnliche Varianz für unterschiedliche Facetten (Subtests) anzustreben, wenn die Items (wie im Regelfall) zu einem ungewichteten Mittelwert (oder einer ungewichteten Summe) zusammengefasst werden sollen.

Wenn möglich, sollte zudem ein Pretest an einer größeren Stichprobe durchgeführt werden. Dieser Pretest erlaubt (n ≥ 50) eine erste Einschätzung der psychometrischen Eigenschaften und eine Identifikation von „Ausreißeritems“. Ausreißeritems entstehen durch unerwartete Varianzeinschränkung und z. B. durch missverständliche (mehrdeutige) Formulierung der Iteminhalte, die nicht von der gesamten Stichprobe als Merkmal der zu messenden Facette verstanden werden. Beispiel: Die Selbstbeschreibung mit der Ausprägung von „gar nicht“ bis „sehr stark“ zu dem Zustand „dösig“ wird in Deutschland oberhalb der Main-Linie im Sinne eines Desaktivierungszustandes verstanden. Südlich der Main-Linie ist das Item z. T. „unverständlich“.

Pilotstudien erlauben Schätzungen zur Reliabilität und damit die Schätzung einer sinnvollen Itemzahl für jeden Subtest bzw. jede Merkmalsfacette. Inhaltlich inhomogene Facetten sollten durch mehr Items abgebildet werden, um eine hinreichende „gemeinsame“ Varianz zu erhalten.

Zentral für die Testentwicklung ist zudem, dass Items als Frage-Antwort-Einheiten auch in Bezug auf ihre sprachlich-grammatikalische Struktur, das Rating-Format und die Wortwahl als Stichprobe aus einem Pool möglicher ähnlicher Items gedacht werden. Items mit ähnlichem Inhalt, aber geändertem Antwortformat oder geänderter grammatikalischer Struktur gehören nicht zwingend in dieselbe Gruppe.

Ein wichtiges Beispiel betrifft die mit Negationen formulierten Items. Sprachliche Negationen stellen keine „einfache“ logische Umkehrung dar und sind daher nicht geeignet, Antworttendenzen wie die Tendenz zur Zustimmung abzufangen. Bei einfachen Aussagen wie „Ich mag Skifahren“ („gar nicht“ … „sehr stark“) und „Ich mag Skifahren nicht“ („gar nicht“ … „sehr stark“) wird die Problematik der Negation bereits deutlich. Der Satz „Ich mag Skifahren nicht“ mit der Antwort „gar nicht“ stellt keine angemessene Reformulierung zu „Ich mag Skifahren sehr“ dar. Die Diskussionen über Arbeitszufriedenheit und -unzufriedenheit als zwei relativ unabhängige Dimensionen (Herzberg, 1966) zeigen auf, dass Zufriedenheit und die sprachliche Negation Unzufriedenheit psychologisch kein bipolares Konstrukt darstellen. Interessanterweise zeigen Analysen von Fragebogen in linearen Strukturmodellen immer wieder, dass positiv und negativ formulierte Items dazu tendieren, eigene Faktoren zu bilden (Eid & Schmidt, 2014). Ein empirisches Beispiel dazu liefert die aktuelle Diskussion zur Frage „Engagement als Gegenpol von Burnout“ (Maslach & Leiter, 2008). Mit den methodischen Problemen bei der Messung von bipolaren Merkmalen haben sich z. B. Marsh (1996) und Dunbar, Ford, Hunt und Der (2000) auseinandergesetzt. Auch hier ergibt sich für die negativ formulierten Items ein eigener Faktor. Insbesondere Häufigkeitsskalen tendieren dazu, „scheinbare“ Bipolaritäten aufzulösen. Beanspruchung und Erholung können innerhalb eines Tages „gemeinsam“ variieren. Bestimmte Sportaktivitäten können sogar gleichzeitig (körperlich) hoch beanspruchend und psychisch-emotional extrem erholsam sein.

2.3 Interviews zur Präzisierung des Merkmalsbereiches

Als klassische Ansätze zur Präzisierung von Merkmalsbereichen haben sich neben der Operationalisierung, die auf theoretischen Modellen basiert, eine ExpertInnenbefragung mittels Interview oder die Strukturierung des Problemfeldes durch Interviewstudien etabliert.

Ein vorbildlich nach diesem Modell entwickeltes Fragebogenverfahren ist das FIMEST (Fragebogeninventar zur Messung der Angst vor Sterben und Tod) von Wittkowski (1996). Aufgrund des schwierigen und komplexen Gegenstandsbereichs war hier eine intensive Vorarbeit mit Tiefeninterviews sinnvoll (Wittkowski, 1994).

Wissenschaftliche Interviewstudien haben den ersten Schritt zur theoretischen Aufarbeitung des Merkmalsbereiches bereits vollzogen, wenn die Interviewthemenbereiche und der Interviewleitfaden festgelegt sind. Aus den Interviews lassen sich dann weitere Facetten und Ergänzungen oder Einschränkungen des Themenbereichs ableiten. Einen wesentlichen Vorteil der Interviewmethodik für die Fragebogenentwicklung stellt der aus den Interviews ableitbare Pool der „prägnanten Aussagen“ dar, der für die Formulierung von Items eine hilfreiche Ressource darstellt. Eine inhaltsanalytische Auswertung trägt zudem wesentlich zur Präzisierung des Merkmalsbereiches bei und bringt automatisch die Perspektive der Befragten in die Testentwicklung ein. Wittkowski hat sowohl die Interviewtechnik in der Arbeit „Das Interview in der Psychologie“ (1994) sehr gut dokumentiert als auch die auf Basis von Interviewdaten erfolgte Fragebogenentwicklung beispielhaft im Manual zum „Fragebogeninventar zur Messung der Angst vor Sterben und Tod“ (FIMEST; Wittkowski, 1996) dargestellt.

Insbesondere die Frage zum Einsatz von Interview und/oder Fragebogen ist in vielen Fällen nach den initialen Interviews deutlich leichter entscheidbar. Viele Problemfelder haben sehr weitgehende privat-persönliche Facetten, die in Interviews aufscheinen und nicht in Fragebogen gehören. Sie sollten dort ausgeklammert werden oder lediglich in ihren indirekten Äußerungsformen erfragt werden. Dies begründet sich in der anonymen Befragungssituation der Fragebogenbeantwortung.

Der oben skizzierte Erholungs-Belastungs-Fragebogen erfasst beispielsweise neben Beanspruchung auch den Erholungszustand. Erholung und Regeneration finden zu erheblichen Anteilen in nichtöffentlichen Bereichen des individuellen, zum Teil intimen Privatlebens statt. Diese Facetten von Erholung sind im Fragebogen nicht erfassbar. Stattdessen sind (ggf. in strukturierter Form) persönliche Interviews die geeignetere Methode zur Untersuchung der eher „privaten“ Facetten von Erholung. Andere Methoden sind für den persönlichen Bereich berufsethisch aus Sicht der Psychologie kaum vertretbar (dies gilt auch für anonyme Interviewformen wie Telefon- oder Internetinterviews).

Im Bereich der angewandten Forschung erlauben Interviews zudem eine Anpassung und Konkretisierung von theoretischen Konzepten an das jeweilige Arbeitsfeld. Zu diesem Zweck bietet sich an, im Anwendungsfeld mit Betroffenen, AusbilderInnen und Vorgesetzten gezielt Interviews durchzuführen. Dabei sind unstrukturierte Vorgehensweisen zu vermeiden, und es empfiehlt sich der Einsatz eines zweistufigen halbstrukturierten Interviews.

In der ersten Stufe werden gezielt Fragen zu den zu erfassenden Konzepten gestellt, die den Charakter offener Fragen mit wenigen Entweder-oder-Antworten haben. Wichtig ist dabei, den Bereich gezielt einzugrenzen. Diese Eingrenzung ist wie beim arbeitsanalytischen (Rekonstruktions-)Interview mit dem Critical-Incident-Ansatz (vgl. Flanagan, 1954) in einfacher Weise umsetzbar.

Die Critical-Incident-Technik erfragt von ExpertInnen, wie ein Ablauf unter optimalen Bedingungen aussieht und worin sich ungünstige, problematische oder falsche Abläufe davon abheben. Nach 4 bis 6 Interviews findet eine inhaltsanalytische Zwischenauswertung statt.

Eine Methode zur Analyse der Interviewdaten stellen an die Grounded Theory (Strauss & Corbin, 1996) oder an verwandte Ansätze (Mayring, 2009) angelehnte „Auswertungen“ dar, die jedoch in diesem Stadium noch ergänzt und präzisiert werden können.

Bei der Auswahl der ExpertInnen sollten die entscheidenden Zielgruppen mindestens durch eine qualifizierte/typische Person vertreten sein. Die Interviewfragen werden dann entsprechend der Perspektive (Leitung/Management/MitarbeiterInnen/ KundInnen/Administration/Qualitätsmanagement/Sicherheits- und Gesundheitsbeauftragte/LehrerInnen – Schulleitung/Administration – SchülerInnen – Eltern/BeraterInnen) formuliert. Die unterschiedlichen Perspektiven sind zur Eingrenzung des Merkmalsbereiches auch dann sinnvoll, wenn der Fragebogen nur für ausgewählte Personen (z. B. SchülerInnen) entwickelt werden soll. In einem frühen Stadium sollten die unterschiedlichen Merkmalsfacetten möglichst umfassend abgebildet werden. Dabei sind nicht nur Übereinstimmungen von Bedeutung, sondern auch unterschiedliche und widersprüchliche Sichtweisen. Arbeiten zum 360°-Feedback werden gerade deshalb vorgenommen, um die unterschiedlichen Sichtweisen zu erfassen. Die Aussagen von Vorgesetzten und MitarbeiterInnen zeigen in der Regel unterschiedliche Sichtweisen und damit verbunden auch unterschiedliche Validitäten.

In der zweiten Stufe werden dann mehr Personen in die Interviews einbezogen, wobei hier der Leitfaden für die Interviews insgesamt stärker strukturiert ist und durch Hauptfragen mit optionalen Unterfragen sicherstellt, dass die relevanten Bereiche für die Auswertung im Interview auch angesprochen werden. Als Beispiel sei auf den Test zur Erfassung von Mobbingverhalten am Arbeitsplatz verwiesen (TEMA; Kolodej, Essler & Kallus, 2010).

2.4 Workshop-Methoden

In der Praxis steht oft nur eine kurze Zeit für die Entwicklungsarbeit eines Fragebogens zur Verfügung. Um in kurzer Zeit die relevanten Merkmalsfacetten zu erfassen, ist der Einsatz von Gruppeninterviews oder Workshops die Methode der Wahl. Über die Workshop-Methodik lässt sich ein Prozedere ableiten, das von ExpertInnen erfolgreich zur zeitgerechten Entwicklung von kundInnenorientierten Fragebogen eingesetzt werden kann. Die Ergebnisse aus den Workshops und daraus abgeleitete Items und Subtests erlauben eine systematische Entwicklung von Fragebogen für die Anwendung in Industrie und Organisationen.

Der erste Schritt in einem solchen Vorgehen ist theorieorientiert und beantwortet die Frage, welche Kenntnisse zum zu messenden Merkmalsbereich bereits vorliegen. Damit wird es auch möglich, im Fragebogen Informationen für Optimierungsansätze, Unternehmensführung, Interventionen und Entwicklungsprozesse aus der Arbeits- und Organisationspsychologie einzubeziehen. Diese Aspekte gehen bei direkten Fragen nach einem umgangssprachlich definierten Konzept oftmals verloren. Workshop-Arbeiten sind eng am Common Sense und an der Oberfläche von Merkmalen orientiert. Tiefer greifende theoretische Aspekte aufzubereiten und einzubeziehen, obliegt den psychologisch geschulten Fachleuten als Vorbereitung für den Workshop (oder ggf. als Nachbereitung).

Innerhalb von MitarbeiterInnenbefragungen sind Ergebnisse aus Fragebogendaten oft nur sinnvoll umzusetzen, wenn die Konzepte auf unternehmensspezifische Aspekte bezogen werden und/oder allgemeine Fragenkomplexe durch unternehmensspezifische Facetten ergänzt werden. Besonders für die Formulierung von Items zu den unternehmensspezifischen Aspekten hat sich die Durchführung von moderierten Workshops bewährt. In diesen Workshops sammeln Führungskräfte gemeinsam mit betroffenen MitarbeiterInnen typische Verhaltensweisen oder Äußerungsformen für das Thema der Befragung. Diese werden über Moderationstechniken (Kärtchenabfragen, Mindmaps etc.) dokumentiert. Für die ModeratorInnen stellt die Eingrenzung der Merkmalsbereiche über die Critical-Incident-Technik von Flanagan (1954) auch hier die Methode der Wahl dar.

Die Workshop-Methode erfordert ein Vorgespräch mit den AuftraggeberInnen (Leitung, MitarbeiterInnenvertretung, Qualitätsmanagement) mit dem Ziel einer ersten Klärung des Problemfeldes sowie der relevanten Verhaltensbereiche (Führungskompetenz, Kooperation, Arbeitsunfälle, Unzufriedenheit, Fehlzeiten, Motivation, Mobbing, Verfügbarkeit bei Bereitschaftstagen, KundInnenbeschwerden über Verspätungen, Materialschwund etc.). Für den Erfolg des Workshops ist die Anwesenheit von RepräsentantInnen aller (!) relevanten Zielgruppen, EntscheidungsträgerInnen und Organisationseinheiten entscheidend. Wünschenswert ist die gleichzeitige Anwesenheit eines Mitglieds aus der Unternehmensleitung und eines Mitglieds der MitarbeiterInnenvertretung.

Im Workshop werden, gegliedert nach den Problemfeldern/Merkmalsbereichen, die relevanten Verhaltensweisen, Situationen und Manifestationen gesammelt und diskutiert. Gemäß der Critical-Incident-Technik werden immer wieder sowohl die Verhaltensweisen und Zustände bei ungünstigen oder kritischen Abläufen beleuchtet als auch im Kontrast dazu die Verhaltensweisen bei optimalen/wünschenswerten Abläufen.

Die Ergebnisse sind als Basis für die Formulierung von Items besonders ergiebig, wenn nicht nur „Extreme“ angesprochen werden, sondern vor allem auch der „Alltag“ und „kleine Anzeichen“. Extreme Verhaltensweisen dienen zur Klärung des Feldes, sind für die unmittelbare Umsetzung in Items aber nur selten brauchbar. Zudem sollte die Äußerungsform (Häufigkeit/Wahrscheinlichkeit/Intensität/Valenz etc.) für jedes Problemfeld diskutiert werden und geklärt werden, worin sich eine Verbesserung eindeutig zeigen würde.

Aus dem Pool der gesammelten Verhaltensweisen und Manifestationen werden anschließend per ExpertInnenurteil diejenigen ausgewählt, die sich aus der Sicht der Betroffenen gut beantworten lassen und die für das Projektziel sinnvolle Informationen liefern. Hierbei ist es in vielen Fällen besonders wichtig, den Aspekt der Veränderungsmessung einzubeziehen. Zudem sollen mehrere Facetten einen Merkmalsbereich abbilden. Insbesondere bei themen-, unternehmens- oder projektspezifischen Fragebogenentwicklungen ist abschließend ein (erneuter) Abgleich der Merkmalsbereiche mit theoretischen Modellen sinnvoll und notwendig. Für die konzeptuelle Analyse ist entscheidend, eine angemessene Festlegung im Detaillierungsniveau zu finden. Nur solche Aspekte, die der Selbst-/Fremdbeobachtung gut zugänglich sind, gehören in die Konzeptarbeit eines Fragebogens. Weitere Details sind relevant für komplexe Mehrebenenanalysen mit wissenschaftlichem Anspruch, die weit über die psychometrisch fundierte Befragung (z. B. bei Maßnahmenevaluationen) hinausgehen können.

Für die Zusammenstellung der Frage-Antwort-Einheiten zu einem Fragebogen liegen durch die Spezifizierung innerhalb des Workshops Informationen darüber vor, worin sich unterschiedliche Merkmalsausprägungen manifestieren. Dabei sind die unterschiedlichen Ebenen der erlebten psychischen oder körperlichen Reaktionen, des Verhaltens, der sozialen Interaktion, der Organisation ebenso wie Manifestationen in Prozessmerkmalen wesentliche Kategorien zur Systematisierung der Merkmalsfacetten.

Ergänzend zu den Workshops können Items auf Basis von Vorwissen der einbezogenen ExpertInnen, durch Arbeitsanalysen, Reanalysen empirischer Unternehmensdaten, Interviews mit externen ExpertInnen und Schlüsselpersonen formuliert werden. Im Anschluss an die Protokollierung des Workshops kann das Fragebogenentwicklungsteam die Konstruktion der Items und Subtests in Angriff nehmen. Vor der Itemformulierung ist zu klären, wie diese Verhaltensweisen, Befindlichkeiten, Prozesse und Manifestationen bei den Zielpersonen sprachlich repräsentiert sind. Repräsentative Merkmalsfacetten werden (immer aus Sicht der Befragten!) in Frage-Antwort-Komplexen formuliert und aufgelistet. Dabei sollte das Prinzip „So einfach und konkret wie möglich“ insbesondere bei den ersten Operationalisierungsschritten streng befolgt werden. Nur wer konkret fragt, kann auch konkrete Antworten erwarten!

Bei der ersten Operationalisierung der Items ist die Entscheidung für den Antwortmodus immer explizit zu fällen. Häufigkeiten von Merkmalen, Verhaltensweisen oder Symptomen sind abzugrenzen von Intensitäten und Bewertungen. Von extremer Bedeutung für gute Frage-Antwort-Komplexe ist deren eindeutige Skalierung!

Weitere Details zur Formulierung von Items finden sich im Kapitel über Prinzipien zur Formulierung von Items (Kapitel 3.3). Nach der Itemformulierung werden die Items zu den unterschiedlichen Facetten in Subtests zusammengestellt (s. Kapitel 4.1).

2.5 Empirisch basierte Konzeptdefinition

Als Ergänzung oder alternativ zu den bislang dargestellten Herangehensweisen kann ein Merkmalsbereich auch schrittweise empirisch präzisiert und erschlossen werden. Zu diesem Zweck wird ein möglichst umfassender Itempool gebildet und die Struktur sowie die Gliederung werden schrittweise empirisch begründet. Klassische Ansätze dazu sind psycholexikalisch gebildete Itempools, wie sie von Cattell (1946) bei der Entwicklung des 16-PF oder auch von Janke und Debus (1978) bei der Entwicklung der Eigenschaftswörterliste (EWL) gewählt wurden. Der bekannteste „Klassiker“ des psycholexikalischen Ansatzes ist das Semantische Differential (Osgood, 1964), das bis heute sehr beliebt ist und in unterschiedlichen Bereichen erfolgreich zu einer ersten Beschreibung von Konzepten und Realitäten eingesetzt wird (Franke & Bortz, 1972; Mehrabian & Russell, 1974). Wiederholt wurde der psycholexikalische Ansatz, d. h. die sprachliche Repräsentation von Merkmalen, als Basis für die Fragebogenentwicklung herangezogen. Die Eigenschaftswörterliste zur Messung von unterschiedlichen Facetten des aktuellen Befindens (Janke & Debus, 1978) ist ein Beispiel für die Anwendung der seit Allport und Odbert (1936) etablierten psycholexikalischen Methode zur Operationalisierung des Inhaltsbereichs eines Fragebogens. Eine empirisch basierte Entwicklung des Fragebogens ist auch dann notwendig, wenn die theoriegeleitete Entwicklung der Items zu einer sehr breiten Vielfalt von Items führt, die einer weitergehenden Strukturierung bedarf (z. B. bei unzureichenden theoretischen Leitlinien oder nicht übereinstimmenden ExpertInnenurteilen).

Im Kontext der empirisch basierten Entwicklung von Fragebogen wird zur Vereinfachung häufig die Faktorenanalyse eingesetzt. Dabei unterscheiden sich die Strategien zum Einsatz der Faktorenanalyse deutlich von Ansätzen der theoriegeleiteten Bildung von Subtests in Anlehnung an Merkmalsfacetten, wie sie in den bisherigen Abschnitten vorgeschlagen wurden. Dieser Unterschied wird im nächsten Abschnitt diskutiert.

2.5.1 Faktorenanalytische vs. theoriegeleitete Subtestbildung

Die faktorenanalytische Subtestbildung erfreut sich großer Beliebtheit in allen Fällen, in denen globale Konzepte wie emotionale Intelligenz, Persönlichkeit und Motivation durch repräsentative Beschreibungen möglichst ökonomisch und zuverlässig abgebildet werden sollen. Bei der faktorenanalytischen Subtestbildung werden anhand der Daten einer größeren Stichprobe (Faustregel: mindest n = Itemzahl * 3) die Items einer Hauptkomponentenanalyse (explorative Faktorenanalyse) mit anschließender orthogonaler Rotation (Varimax) unterzogen. Wenn jedoch inhaltlich und konzeptuell relevante wechselseitige Abhängigkeiten der Subtests vorliegen, kann statt der orthogonalen Rotation eine schiefwinkelige Rotation (z. B. Oblimin) gewählt werden. Im Falle, dass die Einzelfacetten des Merkmals im Sinne eines Profils besonders bedeutsam sind (Profil zur Arbeitszufriedenheit, Stressprofil, Profil der individuellen Stressbewältigungsstrategien), führt die nichtorthogonale Rotation oft zu inhaltlich besser interpretierbaren Ergebnissen.

Wenn ein Merkmalsbereich besonders ökonomisch erfasst werden soll (z. B. für die Entwicklung eines Screeningverfahrens zur Burnout-Prophylaxe), stellt die orthogonale Rotation die Methode der Wahl dar. Orthogonale Rotationen sind auch dann vorzuziehen, wenn der Merkmalsbereich noch nicht hinreichend strukturiert ist und die Beschreibung von „Kerndimensionen“ im Zentrum der Entwicklung steht. Orthogonal sollte auch immer rotiert werden, wenn die späteren NutzerInnen keine Übung im Umgang mit Merkmalsprofilen haben. Als abschließender Hinweis sei erwähnt, dass das Kaiser’sche Eigenwertkriterium als Standard für die Faktorenextraktion bei Items fraglich ist, da die „wahre“ Varianz von Items in der Regel weit unterhalb von 1 liegt.

Bei der (orthogonal rotierten) Faktorenanalyse von Items ergeben sich in der Regel eher wenige Basisfaktoren, die im Sinne eines Screeningverfahrens sehr gut eine erste Einordnung von Personen erlauben. Beispiele für faktorenanalytisch entwickelte Verfahren sind das NEO-FFI (Costa & McCrae, 1992), das Persönlichkeitsmerkmale in fünf Bereichen ökonomisch erfasst.

Für die faktorenanalytische „Suche“ nach Subtests stellt sich oft das Problem der unterschiedlichen Abstraktionsebene/begrifflichen Ebene von Items und der nur selten eingesetzten repräsentativen Itempools. Unterschiedliche Abstraktionsniveaus von Items lassen sich in linearen Korrelationen nicht angemessen abbilden. Faktorenanalysen „kranken“ oft daran, dass die Faktorenanalyse nicht mehr „herausbringt“ als an Information „hineingesteckt“ wurde. Somit lässt sich ein Test nur dann faktorenanalytisch sinnvoll konstruieren, wenn die Items den Merkmalsbereich repräsentativ auf vergleichbarem Niveau mit einer vergleichbaren Skala (z. B. Häufigkeiten) so abbilden, dass alle relevanten Abhängigkeiten in der linearen Korrelation angemessen repräsentiert sind. Für interessierte LeserInnen sei hier auf die parallelen Probleme bei der Anwendung und Interpretation linearer Strukturgleichungsmodelle verwiesen (siehe auch Kapitel 6.4.2). Andererseits sei an dieser Stelle darauf hingewiesen, dass die Faktorenanalyse auch einsetzbar ist, um bei mäßigen Trennschärfen die (faktorielle) Struktur innerhalb von Subtests (insbesondere von Subtests mit mehr als sechs bis acht Items) zu prüfen.

Ein Grundproblem der faktorenanalytischen Testkonstruktion stellt die Informationsbasis „Item“ an sich dar. Einzelitems sind in der Regel nicht sehr zuverlässig – aus diesem Grund werden in Fragebogen Summenwerte gebildet, die eine höhere Reliabilität aufweisen. Faktorenanalysen mit wenig reliablen Einzelvariablen benötigen generell eine eigene Methodik (s. a. Cronbach, Gleser, Nanda & Rajaratnam, 1972). Diese Überlegungen werden jedoch oft nicht (mehr) berücksichtigt, da SPSS und andere Rechenprogramme entsprechende Optionen (z. B. Schätzung der Kommunalitäten durch das Quadrat der multiplen Korrelation) nicht (mehr) eröffnen. Damit scheint es sinnvoll, in vielen Fällen den Stellenwert der Faktorenanalyse zu relativieren. Bei komplexen Merkmalen wird der Einsatz der weiter oben dargestellten Methoden zur Entwicklung von (korrelierten) Subtests empfohlen. Dabei wird versucht, die unterschiedlichen Facetten oder Ebenen des Merkmals mit jeweils vier bis sechs Items aus der Perspektive der Befragten abzubilden. Der Königsweg ist hier immer der theoriegeleitete. Dieser stellt sicher, dass die ermittelten Subtestwerte gut interpretierbar sind und damit auch gute Validitäten erreichen. Der Einsatz der Faktorenanalyse erfolgt dabei dann in einem gestuften Vorgehen. Nach Bildung der Subtests kann einer explorativen Faktorenanalyse der Subtests oder mit einer konfirmatorischen Faktorenanalyse in linearen Strukturgleichungsmodellen die Merkmalsstruktur dargestellt werden.

2.5.2 Faktorenanalysen auf Subtestebene

Bei den Analysen auf Subtestebene werden zunächst hinreichend homogene Subtests entwickelt, wobei neben den Trennschärfen auch Itemreliabilitäten aus Messwiederholungen oder Itemvaliditäten einbezogen werden können (s. Kapitel 4). Die Prüfung der Subtestqualität kann über die Homogenität erfolgen, die sich in hinreichend hohen Werten von Cronbach’s α niederschlägt.

Alternativ kann die Testkonstruktion in den sog. Messmodellen eines linearen Strukturgleichungsmodells vorgenommen werden. Dabei schlagen sich Verletzungen der Annahme, dass jedes Item nur zwei Varianzanteile aufweisen sollte („wahre“ Varianz plus der von den anderen Items völlig unabhängigen Fehlervarianz), direkt in schlechten Kennwerten für die Modellpassung nieder (vgl. Eid & Schmidt, 2014). Die Verletzung der Grundannahme der Klassischen Testtheorie (Unkorreliertheit von wahrem Wert und Messfehler) schlägt sich in korrelierten Messfehlern nieder. Korrelierte Messfehler ergeben sich, wenn zwei oder mehr Items spezifische Gemeinsamkeiten haben, die die übrigen Items des Subtests nicht aufweisen. Diese Gemeinsamkeiten können durch die Iteminhalte bedingt sein, aber auch durch Formulierungsähnlichkeiten, itemspezifische Antworttendenzen etc.

Die alte Regel, 50% der Items negativ zu formulieren, um einer Zustimmungstendenz vorzubeugen, ist im Licht der Ergebnisse aus Strukturgleichungsmodellen neu zu betrachten. Negativ formulierte Items erfassen das Konzept oft in anderer Form und haben jeweils eine durch die Negation bedingte, gemeinsame merkmalsunabhängige Varianz. Diese schlägt sich entweder in korrelierten Messfehlern oder in eigenen Unterfaktoren für positiv und negativ formulierte Items nieder. Möglicherweise liegt aber auch kein bipolares Konzept vor – wie wir es am Beispiel der (Arbeits-)Zufriedenheit (Herzberg, 1966) oder auch der Messung der Stimmung (Diener & Emmons, 1984) bereits aus unterschiedlichen Modellen kennen. Umgepolte Items sind bestenfalls für Zustimmungsskalen (z. B. die Antwortskala „trifft zu“/„trifft nicht zu“) zur Kontrolle von Zustimmungstendenzen notwendig. Eine Umformulierung/Negation von Items mit anderen Antwortskalen (z. B. Häufigkeitsskalen) ist inhaltlich in vielen Fällen kaum möglich, nicht notwendig und nur sinnvoll, wenn der „negative“ Aspekt (möglicherweise in einem eigenen Subtest) explizit einbezogen werden soll. Zumindest innerhalb eines Subtests (und insbesondere außerhalb der Einstellungsmessung) ist die alte Regel der „50 : 50-Polung von Items“ daher als überholt zu bewerten.

Wenn eine Faktorenanalyse der Subtests zwei oder mehr unabhängige Faktoren ergibt, die sinnvoll interpretierbar sind, ist die Bildung eines einzelnen Gesamtwerts in der Regel wenig sinnvoll, auch wenn Statistikprogramme wie SPSS dafür routinemäßig einen Wert ausgeben. Dazu sei jedoch auf die langjährige Diskussion zum „Generalfaktor“ der Intelligenz und den IQ verwiesen.

2.5.3 Grenzen der faktorenanalytischen Konzeptdefinition

Die möglichst ökonomische Charakterisierung von Individuen zur Beschreibung interindividueller Unterschiede ist nur einer der Einsatzbereiche von Fragebogen. Bei der Zustands- und Prozessbeschreibung und der Ableitung von Interventionsansätzen, d. h. im Bereich der (formativen) Evaluation und des Monitorings, geht es nicht um eine möglichst sparsame Differenzierung von Personen. Vielmehr sollen Facetten von Veränderungsprozessen abgebildet werden, die frühestmöglich eine Korrektur unerwünschter Wirkungen, aber auch das Ausbleiben angezielter Effekte aufzeigen. Die Ableitung konkreter Beratungs- und Interventionshinweise erfordert ein differenziertes, verhaltensnahes Monitoring der Umsetzung von Veränderungen bei Personen, Teams und Organisationen. Ein Monitoring des Zustandes von Teams oder Personen sollte so verhaltensnah wie möglich stattfinden. Damit wird neben der Messung auf dem Niveau von Globalwerten (vergleichbar der Typenebene im Eysenck’schen Modell der Personenbeschreibung; s. Stemmler, Hagemann, Amelang & Bartusek, 2011, S. 57) eine Messung auf der Ebene konkreter Verhaltensmuster (z. B. beim Führungsverhalten) benötigt, die eher dem Konzept der Habits im Eysenck’schen Modell entsprechen. In diesen Fällen sind differenzierte, konzeptorientiert konstruierte Messverfahren den faktorenanalytisch zusammengefassten Itemgruppen immer vorzuziehen. Gerade das Profil der korrelierten Facetten von Führung, von Stress, von Ressourcen oder von sozialen Beziehungen oder Konflikten spiegelt erst die Charakteristik von Veränderungen wider und gibt Ansatzpunkte für Interventionen. Für prozess- und interventionsorientierte Messungen steht die Globalinformation in ihrem Wert immer weit hinter der Profilinformation zurück. Im Unterschied dazu ist bei der summativen Evaluation von Programmen oder Maßnahmen die zusammengefasste Information von Bereichssubtests zur einfachen Kommunikation von Ergebnissen besonders hilfreich. Bereichssubtests, die mit der Profilinformation kompatibel sind, lassen sich mit einer Faktorenanalyse auf Subtestebene generieren.

Weitere Schwächen faktorenanalytisch konstruierter Verfahren ergeben sich aus der Methode selbst und aus der mangelnden Stabilität der faktorenanalytischen Ergebnisse über Populationen, Situationen und Merkmalsebenen. Hier sei auf das Problem der Kalibrierung von Items verwiesen (Kapitel 3.3). Ohne repräsentative Items auf vergleichbarem Abstraktionsniveau mit theoretisch gleich gewichteter Verteilung steht eine faktorenanalytische Testkonstruktion auf unzureichend stabilem Fundament.

Die (explorative) Faktorenanalyse stellt eine (aber nicht „die“) Methode zur Entwicklung von psychometrischen Tests und Fragebogen dar. Die Faktorenanalyse eignet sich insbesondere für die Konstruktion von Kurzfragebogen zur Orientierung und Diagnostik in großen Gruppen von Personen. Hier kommen kurze Fragebogen mit nur einer oder wenigen Messdimensionen zum Einsatz. Dabei sind faktorenanalytisch entwickelte Verfahren aufgrund ihrer hohen Ökonomie besonders für Fragestellungen im Kontext großer Organisationen (wie MitarbeiterInnenbefragungen) oder für Gruppenvergleiche geeignet (vgl. ISO 10667-2: 2011; Jiménez, Dunkel & Kallus, 2016). Oft erreichen Kurzfragebogen dabei nur einen Präzisionsgrad, den ISO 10075-3: 2004 für Screening und Orientierungszwecke bei der Messung psychischer Beanspruchung einordnet. Für individuelle Diagnostik und die Ableitung von Interventionen sind mehrdimensionale Fragebogen oft besser geeignet, welche die Komplexität des Merkmalsbereichs nicht künstlich unangemessen reduzieren. Komplexe Konzepte wie „Stress“ umfassen unterschiedliche Funktionssysteme, die im Hinblick auf die Indikatoren eher wenig homogen sind, obwohl die Stresssysteme vergleichsweise gut beschrieben sind und die wechselseitigen Abhängigkeiten durch experimentelle Analysen der Funktionssysteme bekannt sind. Würde man versuchen, sich diesem Phänomen faktorenanalytisch zu nähern, müsste man feststellen, dass die der Faktorenanalyse zugrunde liegende Funktion (lineare Korrelation) nicht geeignet ist, die vorhandenen zeitversetzten nichtlinearen Abhängigkeiten angemessen abzubilden. Daher werden in diesem Leitfaden alternative bzw. ergänzende Methoden betont (siehe dazu auch Eid & Schmidt, 2014).

Bei der Entwicklung von Fragebogen oder auch von „Fragebogensystemen“ ist der Messzweck bereits früh einzubeziehen. Wichtige Messziele werden z. B. im Bereich der ISO-Normen definiert, in dem „Orientierung“, „Screening“ und „exakte Messung (auf Expertenniveau)“ unterschieden werden (Jiménez, Dunkl & Kallus, 2016).

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.