Titelbild: HR-Mythen wissenschaftlich geprüft

Noten, Intelligenz, Algorithmen: 3 HR-Mythen wissenschaftlich geprüft

Egal ob zu Noten, speziell Schulnoten, Intelligenz oder im Bereich Algorithmen: Einige Mythen halten sich noch immer hartnäckig in der HR-Welt. Manchmal hilft nur der streng wissenschaftliche Blick darauf, um sie zu entzaubern. Gastautor Dr. Philipp Karl Seegers prüft drei davon für Sie.

Mythos 1: Intelligente Menschen haben oft andere Defizite

Fehlt intelligenten Menschen tatsächlich Teamfähigkeit und Kreativität?

Diesem Mythos sind wir schon in vielen verschiedenen Versionen begegnet. Beispiele für die hier genannten Defizite sind in der Praxis gerne Zuschreibungen wie „fehlende Teamfähigkeit“ oder „geringe Kreativität“.

Grundsätzlich ist der Zusammenhang zwischen kognitiven Fähigkeiten und anderen Konstrukten in der Literatur recht gut beschrieben. Dabei finden sich meist gar keine und wenn dann sogar leicht positive Zusammenhänge. Das heißt: Sollte überhaupt ein Zusammenhang bestehen, dann sind intelligente Menschen in der Tendenz sogar teamfähiger und kreativer.

Warum wir intuitiv an die Korrektheit des Mythos zur Intelligenz glauben?

Aber warum klingt der Mythos für uns intuitiv erstmal richtig, obwohl er nachweislich falsch ist?

Zum einen kann dies mit sozialer Erwünschtheit zusammenhängen. Es ist für uns einfach besser zu ertragen, wenn jemand, der schon mit einer besonders guten Auffassungsgabe gesegnet ist, wenigstens in anderen Bereichen Defizite aufweist. Und da wir für unsere Intelligenz nur sehr wenig bis gar nichts können, wäre das ja auch viel fairer.

Zum anderen kann diese grundsätzlich falsche Aussage in bestimmten Situationen dennoch richtig sein. Ein stark vereinfachtes Beispiel: Um in eine bestimmte Position zu kommen, muss man entweder begabt oder fleißig oder beides sein. Wenn wir uns dann lediglich die Personen angucken, die es in diese Position geschafft haben, dann finden wir hier tatsächlich einen negativen Zusammenhang zwischen Fleiß und Begabung, welcher jedoch ausschließlich auf die Selektion zurückzuführen ist. Personen, die weder fleißig noch begabt sind, schaffen es in diesem Beispiel ja gar nicht in diese Position. Dieser aus der Auswahl der Personen resultierende Effekt ist aber nicht kausal und vor allem nicht generalisierbar.

Fazit zum Intelligenz-Mythos

Die Aussage ist falsch. Und Sie machen in der HR-Praxis wenig verkehrt, wenn Sie annehmen, dass kognitive Fähigkeiten und andere Eigenschaften erstmal nicht weiter zusammenhängen. Das ist natürlich verkürzt, aber in jedem Fall besser, als Scheinzusammenhänge zu unterstellen.

Mythos 2: Noten sagen nichts aus

Dies ist der Mythos, mit dem wir uns bei CASE mit Abstand am häufigsten konfrontiert sehen. Die Aussage ist grundsätzlich zwar richtig, führt aber meist zu falschen Schlussforderungen.

Zwei Thesen zur Aussagekraft von Noten im Rahmen von Bewerbungen

Aber der Reihe nach: Wenn Noten nichts aussagen, dann kann dies zwei Gründe haben:

  • Die im Bildungsbereich erbrachte Leistung ist nicht relevant für die spätere Leistung im Job oder
  • die im Bildungsbereich erbrachte Leistung wird durch Noten nur unzureichend gemessen.

In unserer Wahrnehmung wird meistens die erste These als richtig angenommen. Und genau hier liegt dann auch die falsche Schlussfolgerung. Natürlich sind das Umfeld „Bildung“ und das Umfeld „Arbeit“ verschieden. Aber wenn wir uns anschauen, was erfolgreiche Studierende ausmacht, dann finden sich nur wenige Unterschiede zu den Eigenschaften, die auch erfolgreiche Arbeitnehmer (m/w/d) mitbringen sollten. Beides korreliert mit kognitiven Fähigkeiten, siehe Mythos 1. Aber ebenfalls mit bestimmten Persönlichkeitsdimensionen wie beispielsweise Gewissenhaftigkeit.

So gilt auch hier: “Past performance is the best predictor of future performance”. Aber aufgepasst, umso mehr Zeit seit der Bildung vergangen ist, umso schwächer wird dieser Zusammenhang.

Past #performance is the best #predictor of future performance – wobei der Zusammenhang mit der Zeit schwächer wird. Klick um zu Tweeten

Nachdem die erste These also nicht stimmt, muss die fehlende Aussagekraft von Noten damit zusammenhängen, dass diese die erbrachte Leistung nur unzureichend messen.

Noten, als absolute Leistungsbewertungen brauchen einen Kontext

Noten sind absolute Leistungsbewertungen, welche aber in sehr unterschiedlichen Kontexten entstehen.

Und das führt wiederum zu zwei Problemen:

  • Für die Nutzung der Notenskala existiert kein einheitlicher Standard. Dadurch kommt es vor, dass in manchen Situationen eine bestimmte Note, sagen wir mal eine glatte Zwei, die beste vergebene Note ist. Es kann aber genauso passieren, dass es sich bei dieser Zwei um die schlechteste vergebene Note handelt. Diese Kontext-Information ist extrem relevant, der Note selbst allerdings nicht anzusehen.
  • Darüber hinaus unterscheidet sich die Kompetitivität je nach Situation. Ein Beispiel: In der zweiten Liga spielt unser geliebter FC Köln regelmäßig alle Gegner an die Wand. In der ersten Liga funktioniert das in der Regel eher nicht so gut. Jetzt ist das Ranking deutscher Fußballligen natürlich relativ trivial. Aber wissen Sie, ob es am KIT Karlsruhe oder an der RWTH Aachen leichter ist, zu den besten 10% der Studierenden zu gehören? Auch diese Information ist notwendig, um den Erfolg im Studium überhaupt einschätzen zu können.

Für alle, die es wissenschaftlich genau verstehen wollen folgender Einschub:

Ergebnisse einer Validierungsstudie

Noten sagen nichts aus, der Erfolg im Studium schon. Das zeigen die Ergebnisse einer Validierungsstudie beim Unternehmen MAHLE.

Im Rahmen einer Validierungsstudie (N=61) wurde der Zusammenhang zwischen der Arbeitsleistung von Trainees durchschnittlich zwei Jahre nach Einstellung, gemessen durch den Arbeitgeber, und der Note beziehungsweise der Leistung im Studium ermittelt.

Infografik: CASE Study MAHLE
Quelle: Candidate Select

Das erste Panel zeigt, dass kein Zusammenhang zwischen Noten und der Arbeitsleistung besteht. Dies gilt ebenso für den Zusammenhang zwischen relativen Noten (Prozentrang) und Arbeitsleistung (mittleres Panel). Eine lokale Korrektur von Noten geht demnach in die richtige Richtung, reicht aber nicht aus. Im dritten Panel wurde neben der lokalen Notengebung auch die Kompetitivität von Studienprogrammen berücksichtigt. Der daraus resultierende CASE Score misst die Studienleistung besser als Noten und weist einen signifikanten Zusammenhang mit der späteren Arbeitsleistung auf.

Fazit zum Noten-Mythos

Noten sagen in der Tat wenig aus. Dennoch ist die im Bildungsbereich erbrachte Leistung natürlich für Personaler relevant. Vor allem bei Einstellungsentscheidungen und dort insbesondere bei jungen Bewerbenden. Wie Sie diese Leistung im Rahmen Ihres Personalauswahlprozesses trotzdem sauber messen und berücksichtigen können, erklären wir sehr gerne anderer Stelle.

Mythos 3: Algorithmen sind intransparent und führen zu Diskriminierung

Dieser Mythos ist unserer Ansicht nach falsch. Das bedeutet aber nicht, dass das Gegenteil deswegen zutreffend sein muss. Eine pauschale Antwort ist schlicht nicht möglich. Es gibt aber durchaus relevante Kriterien, die bei einer Prüfung von Algorithmen berücksichtigt werden sollten.

Algorithmen folgen klar definierten Regeln

Sind Algorithmen folglich intransparent? Grundsätzlich auch nicht. Wir würden sogar argumentieren, dass Algorithmen der transparenteste Weg sind, um zu einer Entscheidung zu kommen. Algorithmische Entscheidungen folgen klaren, definierten Regeln. Dadurch sind diese Entscheidungen auch Jahre später noch reproduzier- und nachvollziehbar. Aber warum wird dies so nicht wahrgenommen?

Technisch könnten wir dies damit erklären, dass bestimmte Modelle aus dem Bereich des maschinellen Lernens so kompliziert sind, dass keine direkten Rückschlüsse auf das „warum“ möglich sind. Wir glauben allerdings, dass es hier vor allem um die Tatsache geht, dass viele Algorithmen nicht transparent erklärt werden.

Wenn weder die Bewerber noch die HR-Abteilung genau nachvollziehen können, welche Kriterien für die Personalauswahl herangezogen werden, dann entsteht schnell ein Gefühl der Intransparenz. Dass manche Anbieter ihre Lösungen auch noch bewusst als magische Black-Box vertreiben, hilft da wenig.

Wie steht es um die diskriminierende Wirkung von Algorithmen?

Kommen wir zum Schluss noch zur Frage, ob Algorithmen zu Diskriminierung führen? Auch hier erstmal ein „nein“. Dieses kommt aber mit einer direkten Einschränkung um die Ecke: Auch Algorithmen können diskriminieren!

Um diesen scheinbaren Widerspruch aufzulösen, möchten wir erstmal festhalten, dass Algorithmen nicht selbst zu Diskriminierung führen, sondern diese, wenn überhaupt, fortschreiben. Die vielen Ungleichbehandlungen am Arbeitsmarkt sind fast ausschließlich menschengemacht.

Wenn Algorithmen dann mit Daten zu Gehalt, Beförderungen, Arbeits-Evaluationen oder Vergleichbarem trainiert werden, dann schreiben sie diese Diskriminierung fort. Und das auch dann, wenn sensible Informationen wie Geschlecht oder Herkunft dem Algorithmus gar nicht bekannt sind. Das ist sogar nochmal ein falscher Mythos für sich genommen. Aber auch hier gibt es Lösungen in Form von besseren, beispielsweise eignungsdiagnostischen oder bereinigten Trainingsdaten. Und vor allem in Form von besseren Optimierungs-Strategien für den Einsatz von Algorithmen im HR. Denn auch die „Diskriminierungsneigung“ eines Algorithmus kann gemessen und berücksichtigt werden.

Fazit zum Algorithmen-Mythos

Algorithmen sind per se transparent und diskriminieren selbst nicht. Hier kann aber sehr viel schief gehen. Daher müssen Anbieter deutlich besser erklären, was ihr Algorithmus genau tut. Darüber hinaus kann kein Algorithmus, ebenso wie kein eignungsdiagnostischer Test, ohne Daten evaluiert werden. Man sollte hier neben der Vorhersagekraft (sagt ein Algorithmus oder Test die spätere Arbeitsleistung voraus) auch auf Fairness-Kriterien achten. Dabei wird sich dann zeigen, dass manche Algorithmen besser abschneiden als andere. Denn „den Algorithmus“ gibt es schon gar nicht.

Unterm Strich können Algorithmen Personalerinnen und Personalern helfen, transparentere und vor allem fairere Entscheidungen zu treffen. Ein Selbstläufer ist das jedoch in keinem Fall.

Autorin Katarina Ebert

 

Katarina Ebert betreut seit Anfang 2020 das Business Development bei CASE. Vorher hat Katarina an der Dualen Hochschule Baden-Württemberg (ein sehr interessanter Fall für Mythos Nummer 2) und an der Universität Paderborn Wirtschaftswissenschaften studiert.

Katarina bereichert CASE nicht nur mit ihrer langjährigen Erfahrung im Business Development, sondern auch mit technischer Expertise aus ihrer Zeit bei IBM.

Philipp Seegers

Gastautor: Dr. Philipp Karl Seegers auf PERSOBLOGGER.DE

 

Dr. Philipp Karl Seegers beschäftigt sich als „Labour Economist“ mit dem Übergang zwischen Bildung und Arbeitsmarkt.

Er ist Mitgründer des HR-Tech Unternehmens candidate select (CASE), welches Bildungsabschlüsse auf Basis von Daten besser vergleichbar macht.

Darüber hinaus forscht Philipp als Research Fellow der Maastricht University, im Rahmen des FAIR Projektes und als Initiator der Studienreihe „Fachkraft 2030“ aktiv zu Bildungsökonomie, psychologischer Diagnostik, Diskriminierung und Arbeitsmarkt.

2 Antworten

  1. Der Artikel bzw. Dr. Philipp Karl Seegers hat hier wirklich sehr spannende Einsichten gegeben, was ich als Laie in diesem speziellen Bereich ganz besonders wertschätze.

    Natürlich ist der Platz und die Zeit begrenzt, aber es wäre natürlich reizvoll zu erfahren, wie man z. B. Algorithmen transparent oder offen gestalten will, wenn diese im Grunde oftmals das „Geschäftsgeheimnis“ oder Produktfeature der Anbieter ist.

    Mir bleibt aber als menschlicher Recruiter und z. T. selbst Betroffener bei früheren Jobsuchen ein mulmiges Gefühl in der Magengegend, wenn man Menschen immer und überall digital vermessen, sortieren und qualifizieren möchte.

    Damit könnte die Welt deutlich technischer werden, obwohl uns die Kreativität und das Unvorsehbare erst bis hierhin gebracht haben.

    Oder sehe ich das zu menschlich?

    1. Hallo Marc,
      vielen Dank für das Feedback!
      Wie man Algorithmen transparent erklären und vor allem validieren kann versuchen wir in unserem FAIR Projekt besser zu verstehen (www.fair.nrw). Grundsätzlich kann aber jede HR-Abteilung die Ergebnisse eines Algorithmus auf Vorhersagekraft und Fairness evaluieren, dafür muss braucht man keinen Zugang zu den Geschäftsgeheimnissen wie Datenbasis oder Code (wobei letzeres je nach Situation durchaus auch offengelegt werden kann). Falls hier Fragen bestehen helfen wir gerne weiter.
      Und zum zweiten Teil: Ich glaube Auswahlprozesse lösen bei den meisten Menschen ein mulmiges Gefühl aus, egal ob jetzt ein Mensch oder ein digitales Tool die Bewerbung einschätzt. Gerade deswegen finde ich es wichtig, dass solche Entscheidungen bestmöglich getroffen werden und da können digitale Tools einen Mehrwert bieten. Gerade unfaire Entscheidungen lösen ja sehr starke Reaktionen in Menschen aus. Das soll aber nicht bedeuten, dass jetzt weniger kreative Menschen bevorzugt werden, das Gegenteil kann sogar der Fall sein (auch Kreativität korreliert leicht positiv mit IQ), sondern dass der Prozess fairer, effizienter und hoffentlich transparenter wird.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

  • Anzeigen:

  • Mit StepStone Kandidaten finden!
  • abci für Ihre besten Personalentscheidungen
  • rexx Recruiting Award 2021
  • Abonnieren Sie den PERSOBLOGGER.DE Newsletter
  • Weitere Artikel-Empfehlungen:

    PERSOBLOGGER Newsletter Newsletter
    ×

    Holen Sie sich den HR-Newsletter für Praktiker von PERSOBLOGGER.DE!

    Die aktuellen Blogbeiträge, die neusten HR-Studien und Infografiken, Zugriff auf alle HR-Veranstaltungen im DACH-Raum und die wichtigsten Trends und Personaler-News.