|
4. Gegenüberstellung der praktischen Anwendung und der prognostischen Validität
Im vorangegangenen Kapitel wurden die zu beurteilenden Verfahren vorgestellt und bewertet, in diesem Kapitel gilt es nun die gewonnenen Ergebnisse auf die Fragestellung hin zu diskutieren und sie den Daten der aktuellen Anwendung von Auswahlverfahren gegenüber zu stellen. Es soll untersucht werden, ob eine Verbindung zwischen der Validität und der Häufigkeit der Anwendung eines Verfahrens besteht. Zunächst möchte ich noch einmal auf die zentrale Bedeutung der Validität eingehen. Sie ist das Maß an Gültigkeit, mit dem das Verfahren die gefragten Persönlichkeits- oder Verhaltensmerkmale misst, d.h., sie gibt an, wie wertvoll ein Verfahren in Bezug auf die gefragten Merkmale ist. Die Validität gibt darüber Aufschluss, ob das Verfahren erfasst, was es erfassen soll und somit ob es geeignet ist für den Zweck, für den es eingesetzt wird. Folglich müssten Verfahren, bei denen die Validität hoch ist, öfter eingesetzt werden, da sie erfolgsversprechender sind.
Der folgende Ausschnitt einer Tabelle von Wottawa (2000, zitiert nach Etzel & Krüppers, 2002, S. 26) bildet die Einsatzhäufigkeit von verschiedenen Auswahlverfahren in Deutschland ab.
Strukturiertes Interview 55%
Persönlichkeitstest 7%
Leistungstest 3%
Intelligenztest 2%
Assessment-Center 14%
Biografischer Fragebogen 15%
Graphologisches Gutachten 7´%
In dieser Tabelle wird das strukturierte Interview mit 55% genannt und ist damit das am meisten eingesetzte Verfahren unter den Anwendern. Alle Tests zusammen kommen auf 12% der Anwendungen und das Assessment-Center auf 14%. Wie hoch ist also die Validität bei diesen Verfahren? Die prognostische Validität bei strukturierten Einstellungsgesprächen beträgt nach Wiesner und Cronshaw (1988, zitiert nach Schuler, 1994, S. 99) r=0.40. Die prognostische Validität von Intelligenztests liegt mit r=0.54 in Bezug auf Ausbildungserfolg und r=0.45 in Bezug auf Berufserfolg darüber (Hunter & Hunter, 1984, zitiert nach Schuler, 1998 S.252f.). Die prognostische Validität von Persönlichkeitstests mit r=0.27 bei Vorgesetztenurteil darunter (Hunter & Hirsch, 1987, zitiert nach Schuler, 1998, S.253). Beim Assessment Center beträgt die durchschnittliche prognostische Validität laut Thornton, Gaugler, Rosenthal und Bentson (1992, zitiert nach Schuler, 1998, S.258) r=0.37. Nach den hier zusammengefassten Ergebnissen hat der Intelligenztest mit r=0.54 die höchste Validität, wird aber in nur 2% der Fälle angewendet. Das strukturierte Einstellungsgespräch ist mit 55% das mit Abstand am häufigsten verwendete Verfahren, bei einer Validität von r=0.40. Beim Assessment-Center beträgt die Validität der vorliegenden Daten r=0.37 und die Anwendung 14% der Anwendungen. Somit wird deutlich, dass nach den hier angewandten Daten offenbar nicht die Verfahren häufige Anwendung finden, welche eine hohe prognostische Validität aufweisen. Anzumerken ist jedoch, dass die Übersicht über die Anwendung nur Daten über das strukturierte Einstellungsgespräch liefert. Interessant wären auch Zahlen über unstrukturierte Einstellungsgespräche gewesen, sowie Zahlen zu dem Verhältnis der Anwendung von strukturierten und unstrukturierten Einstellungsgesprächen. Warum werden also Verfahren, die eine höhere Validität aufweisen nicht verhältnismäßig häufiger angewendet? Denn die hohe Validität eines Verfahrens verweist ja darauf, dass jene Merkmale gemessen werden, welche es zu messen gilt und diese sollten wichtig für die Prognose über den späteren Berufs- oder Ausbildungserfolg sein. Somit gibt eben diese Validitätsangabe Aufschluss über zukünftige Leistungen.
Im Folgenden soll nun versucht werden, die Ursachen dafür auszumachen, dass nicht die Verfahren, welche eine hohe Validität aufweisen am häufigsten in der praktischen Eignungsdiagnostik angewendet werden. Zunächst ist hierzu anzuführen, dass es noch andere Gütekriterien für eignungsdiagnostische Verfahren gibt, als die bereits besprochenen. Auf einige soll nun in aller Kürze eingegangen werden. Die Akzeptanz eines Verfahrens seitens der Bewerber ist ein weiteres Gütekriterium. Das Einstellungsgespräch ist nach einer Studie von Fruhner, Schuler, Funke und Moser von 1991 das unter den Bewerbern und den Auswählenden am meisten geschätzte Auswahlverfahren (1991, zitiert nach Schuler, 1994, S.97). Die Akzeptanz ist also beim Einstellungsgespräch am höchsten (Schuler, 1994). Außer der Akzeptanz eines Verfahrens spielen auch z.B. ökonomische Aspekte eine Rolle. Dabei ist es wichtig den Kosten eines Verfahrens auch den potenziellen Gewinn gegenüber zustellen. Die Kosten sind bei den drei behandelten Verfahren beim Assessment Center am höchsten und beim Einstellungsgespräch, wenn auch oft unterschätzt, am niedrigsten (Etzel & Küppers, 2002).
Diese Faktoren müssen also in die Analyse mit einbezogen werden. So ergibt sich offenbar das Bild, dass beim strukturierten Einstellungsgespräch, welches das am weitesten verbreitete Verfahren ist, die prognostische Validität bei r=0.40 liegt. Unter ökonomischen Aspekten ist es ein kostengünstigeres Verfahren und bezüglich der Akzeptanz erzielt es die besten Ergebnisse. Etzel und Küppers führen dazu an: „Doch trotz der enttäuschenden (Ergebnis-) Lage wird das Interview im allgemeinen nach wie vor von vielen Praktikern positiv bewertet, da Interviews als flexibel handhabbar, ökonomisch und universell einsetzbar gelten“ (2002, S.44).
Psychologische Tests sind in diesem Kontext schwierig zusammengefasst zu bewerten. Ich möchte mich hier auf den Intelligenztest beschränken, welcher mit r=0.54 in Bezug auf den Ausbildungserfolg die höchste prognostische Validität der behandelten Verfahren aufweist. Mit 2% in der Anwendung stellt er hier jedoch das Schlusslicht dar. Die Kosten für Tests variieren, liegen aber zwischen denen von Einstellungsgespräch und Assessment-Center. Psychologische Tests schneiden bei der Frage nach Akzeptanz deutlich schlechter ab als z.B. das Assessment Center (Etzel & Küppers, 2002).
Das Assessment Center ist das teuerste der vorgestellten Verfahren und seine Anwendung liegt bei 14% der Anwendungen. Die prognostische Validität beträgt r=0.37 und die Akzeptanz des Assessment Centers liegt über der von psychologischen Tests (Etzel & Küppers, 2002).
Es ist hier schwierig die Daten vergleichend zu verwenden, da es sich um verschiedene Untersuchungen und Metaanalysen handelt. Einige Ergebnisse beziehen sich z.B. auf den Berufserfolg, während andere den Ausbildungserfolg erfassen. Schuler merkt hierzu folgendes an: „Damit kommen wir zu der Schlußfolgerung, daß Validitätsvergleiche eigentlich nur zwischen Verfahren sinnvoll sind, die auf gleiche Weise vom gleichen Personenkreis an der gleichen Zielgruppe durchgeführt wurden und deren Effekt schließlich auch am gleichen Kriterium gemessen wird." (1994, S. 149). Daher ist es methodisch korrekter Weise nicht möglich die Ergebnisse einander gegenüberzustellen. Auch die Ergebnisse zur prognostischen Validität eines Verfahrens variieren zwischen unterschiedlichen Untersuchungen stark. Daher ist wichtig anzumerken, dass die hier zusammengetragenen Ergebnisse aus den in dieser Arbeit genannten Daten gefolgert wurden.
Die Tabelle, die Aufschluss über die Häufigkeit der Anwendung gibt, möchte ich zwar nicht in ihren Aussagen in Frage stellen, aber es sind einige größere Unstimmigkeiten in Bezug auf Angaben anderer Autoren anzumerken. So wird in der Tabelle die Häufigkeit der Anwendung von Intelligenztest mit 2% der Anwender angegeben, bei Schuler ist hierzu aber zu lesen, dass „…Intelligenztests die derzeit am häufigsten angewandten Testverfahren sind" (Schuler, 1994, S.114). Wo hingegen laut Tabelle Persönlichkeitstests öfter angewendet werden als Intelligenztests. Auch erwähnenswert ist der Umstand, dass bei verschiedenen Autoren (vgl. z.B. Schuler, 1994) Einstellungsgespräche mit geringer Validität angegeben werden und sich diese Angaben nicht immer nur auf unstrukturierte Einstellungsgespräche beziehen. Es wird jedoch bei diesen Autoren nicht von einer großen Anwendung des strukturierten Einstellungsgesprächs gesprochen. In der Tabelle fehlt klar die Angabe über unstrukturierte Einstellungsgespräche. Des weiteren möchte ich darauf aufmerksam machen, dass alle Anwendungen zusammen genommen bei Wottawa 103% ergeben. Dies könnte auf mehrstufige Auswahlverfahren hinweisen.
Anhand der in diesem Kapitel erarbeiteten Ergebnisse soll nun in der Zusammenfassung ein Versuch unternommen werden, die Fragestellung der vorliegenden Arbeit zu beantworten.
|