Im Rahmen von Personalauswahlverfahren werden häufig Testverfahren, Tools oder Methoden angewendet. Wie aber erkennen Sie, ob es sich hierbei um ein anerkanntes Verfahren oder einen entsprechend hochwertigen HR-Dienstleister handelt? Der Leitfaden von Harald Ackerschott und Annika van Veen erklärt es Ihnen genau.
Methoden zur Personal(vor)auswahl: Qualitätsmerkmale
Anwendungsbezogene Prüfung
Im Folgenden geht es um Qualitätsmerkmale prinzipiell sinnvoller Personalauswahlverfahren. Denn auch sinnvoll und sauber konstruierte Verfahren unterscheiden sich. Ob es in Ihrem speziellen Fall tatsächlich geeignet ist, steht auf einem anderen Blatt.
Wie immer in der Eignungsdiagnostik: ist vorab die Frage zu beantworten: Wofür soll das Prüfverfahren in der Personalauswahl geeignet sein? Deshalb steht auch in der DIN 33430, dass sich die Qualität eines Verfahrens immer nur in einem Anwendungszusammenhang beurteilen lässt.
Was sind überhaupt Verfahren zur Personalauswahl?
Verfahren in dem Sinne sind Tests und Fragebögen und alles, was anstelle von Tests und Fragebögen zum Beispiel mit dem Zusatz „KI“ oder als videogestützte (teil-)automatisierte Interviews auf dem Markt von HR-Dienstleistern angeboten wird.
Dabei ist es für die erste Prüfung egal, ob es um Tools für die Vorauswahl und das Screening von Bewerberinnen und Bewerbern geht oder um eine Entscheidungsunterstützung in der Endauswahl.
Empfehlungen zur Prüfung von Personalauswahlverfahren
Vorsicht bei unstrukturierten Selbstversuchen
Achtung bei Selbstversuchen – auch wenn sich das Ausprobieren eines Testverfahrens erst einmal gut anfühlt. Nehmen Sie sich dabei insbesondere in Acht vor dem Barnum Effekt:
Der Barnum Effekt
Der Barnum Effekt beschreibt die Tendenz, dass Menschen vage und allgemein formulierte Aussagen über sie selbst erst einmal als zutreffend empfinden. Der Effekt wird auch als Täuschung durch persönliche Validierung bezeichnet.
DIN 33430
Eine gute Basis für die Bewertung eines Verfahrens ist hingegen die DIN 33430 zur Eignungsdiagnostik.
Im Anhang B der DIN 33430 wird formuliert, welche Informationen zur Beurteilung von messtheoretisch fundierten Verfahren vorgelegt werden müssen. Die DIN 33430 macht es hier ein bisschen knifflig. Sie sagt nicht einfach, was ein gutes Tool ist. Stattdessen schreibt sie vor, welche Dokumente ein Anbieter vorlegen muss, damit eine entsprechend qualifizierte Person die Qualität beurteilen kann.
Aber das Thema ist nicht ganz simpel. Um etwas Statistik und Sachkenntnis bei der Beurteilung von Tests, Messverfahren oder Fragebogen kommen Sie im Folgenden deshalb nicht ganz herum.
Personalauswahlverfahren, für die die Informationen nach Anhang B vorliegen, können in einem ersten Schritt von Experten auf ihre Fundierung überprüft werden.
Tools und Verfahren müssen zu den Anforderungen passen
Jedes Verfahren und jedes Tool muss zu den Anforderungen passen. Daher ist wichtig zu wissen, was man überhaupt messen möchte. Als Grundregel kann man sich aus den Erkenntnissen von 100 Jahren Forschung folgendes merken:
Je komplexer die Aufgabenstellungen einer Rolle oder zu besetzenden Position sind, desto wichtiger ist es, dass ein zur Anwendung kommendes Verfahren kognitive Leistungsfähigkeit erfasst.
Je einfacher Tätigkeiten oder Aufgaben sind, desto wichtiger und aussagekräftiger sind die Interessen einer Person.
Als Faustformel formuliert:
Kognitive Leistungsfähigkeit sollten Sie mit einem geeigneten Verfahren messen, Interessen können Sie sinnvoll im Gespräch nachfragen.
Checkliste nach DIN 33430
Die nächste Empfehlung ist folgende Checkliste nach DIN 33430:
- Hat das Verfahren einen inhaltstheoretischen Hintergrund?
Ein Anbieter muss nachvollziehbar erklären und begründen, was gemessen wird und warum.
Wichtig bei Persönlichkeitsfragebögen: Wenn Sie zum Beispiel so etwas wie „Offenheit für Veränderung“ oder „Engagement im Change“ messen wollen und bei einem Verfahren steht „Offenheit“ auf dem Etikett, dann ist es wichtig, dass Sie sich die Fragen zeigen lassen, mit dem der Fragebogen das erfasst. Diese Fragen sollten Sie dann mit den Verhaltensankern aus Ihrer Anforderungsanalyse abgleichen. Nur so können Sie sicherstellen, dass Sie mit dem Wort „Offenheit“ das Gleiche meinen, wie der Konstrukteur des Verfahrens.
- Wird erklärt, wie das Personalauswahlverfahren konstruiert wurde?
Lassen Sie es sich erklären und fragen Sie nach, wenn Sie etwas nicht verstehen.
Detailfragen, die Sie dazu stellen sollten: Welche Testtheorie nennt der Autor? Wie wurden die einzelnen Aufgaben oder Fragen (technisch heißen diese „Items“: einzelne Teile oder Einzelteile) entwickelt oder ausgewählt? Für welche Zielgruppe ist das Verfahren gedacht?
- Welche empirische Evidenz spricht für das Verfahren?
Liegen Untersuchungen vor und werden die Ergebnisse der Untersuchungen nachvollziehbar beschrieben?
Zur Beurteilung von Untersuchungen fragen Sie mindestens nach der Aktualität. Bei eher „zeitlosen“ Merkmalen wie „komplexes Problemlösen“ kann die Untersuchung älter sein. Für Merkmale, die direkter an Aktualität gebunden sind, wie „digitale Kompetenz“, sollte das erfasste Merkmal inhaltlich deutlich aktueller sein.
Dann weiter nachfragen: Haben sich seit den Untersuchungen die Rahmenbedingungen verändert? Falls ja, muss das Verfahren angepasst werden.
Wie sieht die Stichprobe aus? Ist sie mit Ihren Bewerberinnen und Bewerbern vergleichbar?
Gibt es Konstruktionsstichproben? Die sollte es geben, am besten mehrere.
Gab es Vorversionen die verworfen wurden oder hat alles von Anfang an gepasst? Die Entwicklung eines Messverfahrens ist meistens ein agiler Prozess, bei dem man erst einmal etwas ausprobiert, ein paar Hypothesen testet. Einen Itempool bildet, einige Items erprobt, ein paar Items wieder rauswirft. Dass das alles beim ersten Mal klappt, ist sehr unwahrscheinlich. Aber vielleicht ist ein angebotenes Tool auch das „minimal viable Product (MVP)“. Auch das muss nicht schlecht sein, sollte nur offen erklärt werden.
Aber ganz wichtig: das MVP darf nicht der erste ungeprüfte Versuch einer völlig neuen Herangehensweise sein!
Notwendigkeit einer Normenstichprobe zum Personalauswahlverfahren
Gibt es eine Normstichprobe? Das ist ein absolutes Muss. Wenn es die nicht gibt, kann man Menschen nicht mit einem größeren Maßstab vergleichen. Normierung ist eine Muss-Anforderung nach DIN 33430.
Dazu sollten Sie folgendes wissen:
- Studentinnen und Studenten sind keine optimale Normstichprobe. Sie müssen oft an solchen Untersuchungen teilnehmen und stehen häufig noch vor ihrem Eintritt ins Arbeitsleben.
- Personen, die mit dem Versprechen für die Untersuchung gewonnen wurden, dass sie ihre Ergebnisse zur eigenen Standortbestimmung als Belohnung erhalten: Für Leistungstests kann das ok sein, für Fragebögen ist es nicht so gut, da so gewonnene Personen eher aus einem Wunsch nach Selbsterkenntnis teilgenommen haben und um sich mit sich selbst zu beschäftigen. Da haben sie wahrscheinlich eine andere Haltung beim Bearbeiten als tatsächliche Bewerberinnen oder Bewerber.
- Personen, die gegen Belohnung oder Bezahlung teilgenommen haben: Genauer nachfragen, siehe Standortbestimmung oben.
- Bewerberinnen und Bewerber wären für eine Normstichprobe am passendsten, wenn Sie das Verfahren bei eben dieser Zielgruppe einsetzen möchten. Dann kann man noch schauen, ob Alter, Bildungsgrad, berufliche Situation und weitere Merkmale passen. Es muss aber nicht eine Basketballer Stichprobe die Vergleichsstichprobe sein, wenn Sie Basketballer nach Körpergröße aussuchen. Wichtig ist, dass man die Anforderung mit der zur Verfügung stehenden Normstichprobe quantifizieren kann.
Das Personalauswahlverfahren muss wissenschaftlichen Gütekriterien entsprechen
Das bedeutet im Detail vor allem Folgendes für den Tooleinsatz bei Personalauswahlverfahren:
Objektivität
Ein Verfahren ist vollständig objektiv, wenn es ohne Belang ist, wer den Test durchführt, auswertet und die Ergebnisse anschließend interpretiert. Das wird am besten gewährleistet durch ein hohes Maß an Standardisierung.
Für die Objektivität ist es von Vorteil, wenn den Test ein Computerprogramm durchführt, auswertet und interpretiert. Aber Achtung, für nichts davon ist künstliche Intelligenz zwingend notwendig!
Auch wenn manche Testanbieter behaupten, ihr Verfahren nutze KI. Dann unbedingt nachfragen: Was wird mit fest definierten Algorithmen bearbeitet? Gibt es so etwas wie maschinelles Lernen? Wenn letzteres bejaht wird, dann auch noch nach den Kennwerten für KI fragen:
Die Kennwerte für KI heißen Precision, Accuracy, Recall und F1. Und es kommt auf alle vier an. Der letzte heißt wirklich so wie die Formel eins, aber da Maschine Learning bei den allermeisten verfahren gar keine Rolle spielt, ist das eigentlich ein anderes Thema.
Reliabilität
Unter der Reliabilität versteht man wie präzise die Aussage eines Tests / Fragebogens ist?
Die Reliabilität wird als Korrelationskoeffizient gemessen und die Werte ( r ) variieren zwischen -1 und 1. Bei Kennwerten unter r = .7 sollten Sie eine kritische Prüfung durchführen und unbedingt nachfragen. Ab r = .8 können Sie von einem reliablen Verfahren ausgehen.
Fragen Sie ebenfalls nach, ob die angegebenen Reliabilitätswerte Homogenitätsmaße beschreiben oder ob sie sich auf Wiederholungsmessungen beziehen.
Wenn die Anbieter die Angemessenheit der Methode zur Zuverlässigkeitsbestimmung erklären können, ist das gut. Auch hier schreibt die DIN 33430 zur Aktualität ein Alter der Studien von maximal acht Jahren vor.
Validität
Validität ist die Antwort auf die Frage, wie gut Interpretationen von eignungsdiagnostischen Informationen zutreffen.
Auch die Antwort auf diese Frage wird in Korrelationskoeffizienten gegeben. Sie sollten hierbei Werte über 0.4 oder besser noch über 0.5 erwarten. Da die klassischen Intelligenztests und auch sehr gute Interviews diese Hürde nehmen und diese beiden Instrumente eigentlich immer anwendbar sind, gibt es eigentlich keinen Grund, sich mit weniger zufrieden zu geben.
Praxistipp:
Intelligenztests kann man auch schon im Screening anwenden, denn mit ihnen kann man mit hoher Wahrscheinlichkeit nicht geeignete Bewerberinnen und Bewerber gut identifizieren.
Wenn Ihnen Instrumente mit Kennwerten unter r = .4 angeboten werden, sollten Sie unbedingt eine kritische Prüfung durchführen und sich fragen:
- Was ist die Funktion des Verfahrens in Ihrem Prozess?
- Welche Entscheidungen wollen Sie auf der Basis dieses Verfahrens treffen?
- Kann das Verfahren überhaupt fair sein, wenn Sie Entscheidungen auf der Basis eines Verfahrens treffen, das weniger als 20 % der Unterschiedlichkeit in der Leistung erkennt?
Ein Verfahren mit einer Validität von 0.4 gibt Ihnen schon unterschiedliche Empfehlungen auf der Basis von weniger als einem Sechstel der insgesamt zu erwartenden Leitungsunterschiede.
Je nach Einsatzgebiet kann bei einer prädiktiven Validität ab r = .5 von einem wirklich nützlichen Verfahren ausgegangen werden.
Auch hier sollten Sie nach der für Ihre Fragestellung anzunehmenden Angemessenheit der Untersuchungen und nach der Aktualität fragen.
Wichtiger Unterschied bei der Validität von KI und DIN 33430
Wenn Sie den Anbieter einer KI fragen, ob sein Verfahren validiert ist, dann passen Sie bitte auf, denn Validität bei KI heißt etwas anderes als Validität von Verfahren nach DIN 33430.
Eine KI wird meist schon als „validiert“ bezeichnet, wenn sie angemessen oft modellkonforme Resultate erzielt. Das heißt aber noch lange nicht, dass das Modell selbst wirklich zutreffende Vorhersagen zur Eignung von Bewerberinnen und Bewerbern macht.
Letzteres ist aber das, was die DIN 33430 fordert. Und das, was für Ihren Einsatz bei Personalauswahlverfahren wichtig ist.
Es geht bei dem Gütekriterium Validität immer um die Eignung für Aufgabenstellungen. Danach, was für ein Wertbeitrag für eine Bewerberin oder ein Bewerber vorausgesagt wird und ob diese Voraussage stimmt. Auch um Erfolg in Sinne von schnellem Aufstieg oder Steigerung des eigenen Einkommens geht es bei dieser Prognose nicht. Daher ist es immer wichtig zu betrachten, welche Kriterien in einer Untersuchung zur Validität erfasst wurden. Wichtig ist, dass diese Kriterien etwas mit der Leistungsvoraussage in den Rollen zu tun haben, die Sie besetzen wollen.
Akzeptanz von Auswahlverfahren bei Bewerbenden
Die Frage nach der Akzeptanz eines Verfahrens bei Bewerbenden ist nach unserer Erfahrung eher eine Reaktion darauf, wie vorher, nachher und während des Prozesses zu den eingesetzten Personalauswahlverfahren kommuniziert wird. Meist ist Verweigerung der Teilnahme gar keine Reaktion auf das Verfahren selbst.
Aufsetzen einer eigenen Studie
Vertrauen Sie insbesondere auf die Ergebnisse einer Studie, die Sie selbst durchführen.
Die wichtigste Validität einer solchen Studie ist die Vorhersagevalidität. Ein Verfahren, das Ihnen angeboten wird, sollte dazu etwas aussagen können. Aber erwarten Sie nicht, dass es ein Verfahren gibt, das eine hohe Validität für genau Ihr Einsatzgebiet, die Besetzung Ihrer Stelle mit Ihren Bewerbenden schon nachweisen kann. Ganz spezifisch können Sie diese Prognosegüte nur selbst erfassen. Und das ist auch gar nicht schlimm. Eine eigene Studie ist auf jeden Fall die Mühe wert.
Sinnvolle Konstellationen für eine eigene Validierungsstudie
Konstellationen, die sich dafür anbieten, sind alle Besetzungen, bei denen Sie auf der Seite des Erfolgskriteriums so um die 20-30 Personen zusammen bekommen. Das kann eine Stelle sein, für die zum Beispiel viele aufwendige Interviews geführt werden, vielleicht mit Interviewerinnen und Interviewern, deren Zeit besonders wertvoll ist. Dann macht nämlich das Kriterium „schafft das Interview“ schon Sinn. Wenn ein vorgeschaltetes Verfahren das voraussagen kann, dann kann man die Zeit der Interviewer(innen) besonders effizient nutzen.
Wenn Sie ein Personalauswahlverfahren für eine Funktion oder Rolle nutzen wollen, für die Sie mindestens rund 20 Einstellungen pro Jahr durchlaufen, dann wäre ein mögliches Kriterium, „schafft die Probezeit“ oder „Ist nach Probezeit besonders gut“. Das kann zum Beispiel für ein Traineeprogramm wichtig sein oder für Quereinsteigerinnen und Quereinsteiger, die aufwändig ausgebildet werden müssen wie etwa Teammitglieder in einem Call- oder Servicecenter oder im Vertrieb.
Wenn Sie noch größere Zahlen in diesen Konstellationen haben, die Sie einstellen oder zum Interview einladen, dann könnten Sie sogar mehrere Verfahren in einer Studie miteinander vergleichen. Und die Vorhersagevalidität gleich zusammen mit Candidate Experience richtig aussagekräftig erfassen.
Einbezug relevanter Stakeholder
Holen Sie in jedem Fall gleich von Anfang an die relevanten Stakeholder mit ins Boot. Und formulieren Sie genau, wonach Sie ein Verfahren bewerten und auswählen wollen.
Als sehr sinnvoll hat es sich übrigens auch erwiesen, externe professionelle Dienstleister mit ins Boot zu holen. Wenn Sie mehrere davon gegeneinander pitchen lassen: Formulieren Sie klar, worum es Ihnen geht, damit jede Anbieterin und jeder Anbieter auch sein Bestes zeigen kann.
Nun wünschen wir Ihnen viel Erfolg bei der Prüfung von Tools und Anbietern im Bereich Personalauswahlverfahren!
Über die Co-Autorin Annika van Veen
Annika ist Leiterin F&E bei der Harald Ackerschott GmbH. Sie verantwortet die Entwicklung und Validierung von diagnostischen Verfahren und Vorgehensweisen. Zu ihrem Verantwortungsbereich gehört auch das online Assessment System www.abci.de und seine Lokalisierung in über einem Dutzend Sprachräumen.
Annika hat seit vielen Jahren auch einen Lehrauftrag im Fach Wirtschaftspsychologie an der Europäischen Fernhochschule Hamburg. Sie lehr dort unter anderem Statistik.
Newsletter