So unterscheiden Sie gute von schlechten Testverfahren! (15 Minuten Wirtschaftspsychologie) (1080p)

00:18:28
https://www.youtube.com/watch?v=b28y0_rjKOA

Summary

TLDRIn diesem Video geht es um die Erkennung guter Testverfahren in der Wirtschaftspsychologie, die häufig in der Personalauswahl und -entwicklung verwendet werden. Einige kritische Punkte für die Beurteilung von Tests werden angesprochen, z. B. Objektivität, Reliabilität und Validität. Die Objektivität sichert, dass die Ergebnisse unabhängig von Fachleuten gleichbleibend sind. Reliabilität bezieht sich auf die Genauigkeit und Zuverlässigkeit eines Tests bezüglich seiner Messwerte. Validität beschreibt, ob der Test tatsächlich das misst, was er soll. Unternehmen verwenden oft Tests von Beratungsfirmen, die nicht immer wissenschaftlich fundiert sind. Käufer sollten kritische Fragen stellen und nach empirischen Studien zu den Tests fragen, um die Qualität sicherzustellen.

Takeaways

  • 🔍 Gute Tests sind objektiv und liefern gleiche Ergebnisse unabhängig vom Prüfer.
  • 📏 Reliabilität ist entscheidend für die Genauigkeit der Testergebnisse.
  • ✅ Validität ist das wichtigste Kriterium: Ein Test muss messen, was er vorgibt.
  • 🏢 Viele Unternehmen nutzen nicht-wissenschaftliche Tests aus Beratungsfirmen.
  • 🧠 Käufer sollten Fragen zur Empirie und Qualität eines Tests stellen.
  • 🌐 Häufig verwendete Persönlichkeitstests wären aus wissenschaftlicher Sicht veraltet.
  • ✍️ Gute Tests erfordern umfassende empirische Validierung.
  • 📝 Wichtige Eigenschaften wie Intelligenz und Motivation sollten konsistent gemessen werden.
  • 📊 Transparenz über Forschungsergebnisse ist entscheidend beim Kauf eines Tests.
  • ❌ Studien aus anderen Ländern sollten nicht direkt als valide anerkannt werden.

Timeline

  • 00:00:00 - 00:05:00

    Der zweite Abschnitt thematisiert wichtige Qualitätskriterien von Testverfahren, insbesondere Objektivität, Reliabilität und Validität. Objektivität bedeutet, dass der Test unabhängig von der Person, die ihn durchführt, gleiche Ergebnisse liefern sollte. Beispielhaft wird ein Fragebogen zur Leistungsmotivation genannt, dessen Ergebnisse unabhängig von der durchführenden Person konstant sein sollten. Tests haben meist eine hohe Objektivität, wenn sie computergestützt sind, was bei unstrukturierten Interviews oft nicht der Fall ist. Insgesamt sind objektive Tests besser zur Bewertung von Bewerbern geeignet als solche mit geringer Objektivität.

  • 00:05:00 - 00:18:28

    Im dritten Abschnitt werden die Zuverlässigkeitstests weiter erklärt. Es wird darauf eingegangen, dass ein gutes Testverfahren immer gewisse messtechnische Genauigkeit (Reliabilität) bieten sollte, die durch Konsistenz mehrerer Fragen in einem Test erreicht wird. Es ist wichtig, dass mehrere Fragen etwa zur selben Persönlichkeitseigenschaft ähnlich beantwortet werden, um Messfehler zu minimieren. Kurze Tests mit wenigen Fragen sind in der Regel nicht zuverlässig. Ebenso sollte ein Test bei Wiederholung über einen Zeitraum, beispielsweise ein halbes Jahr, stabile Ergebnisse zeigen. Weiter wird erklärt, wie wichtig es ist, dass ein Test seine Messgenauigkeit durch Studien belegt und bei Übersetzungen von Tests (z.B. aus dem Englischen) ebenfalls erneut getestet werden muss.

Mind Map

Video Q&A

  • Warum sind Testverfahren wichtig in Unternehmen?

    Testverfahren spielen eine zentrale Rolle in der Personalauswahl und -entwicklung, da sie helfen, Persönlichkeitsmerkmale und Fähigkeiten von Bewerbern zu bewerten.

  • Was sind die drei Hauptkriterien eines guten Testverfahrens?

    Objektivität, Reliabilität und Validität.

  • Wie wird die Validität eines Tests geprüft?

    Die Validität wird durch Studien geprüft, die zeigen, ob der Test das misst, was er vorgibt zu messen.

  • Warum sollte man Beratungsfirmen kritisch betrachten?

    Viele Tests von Beratungsfirmen sind nicht hinreichend wissenschaftlich untersucht und werden oft offensiv vermarktet.

  • Was bedeutet Objektivität bei einem Testverfahren?

    Objektivität bedeutet, dass die Ergebnisse eines Tests unabhängig von der Person, die den Test durchführt, konstant bleiben.

  • Ist die Länge eines Fragebogens wichtig?

    Ja, längere Fragebögen sind oft besser, da sie mehr Fragen zur genauen Erfassung eines Merkmals bieten.

  • Welche Art von Tests kommen oft aus den USA nach Europa?

    Persönlichkeits- und Leistungstests, die ins Deutsche übersetzt werden müssen, wobei auch die Validität überprüft werden muss.

View more video summaries

Get instant access to free YouTube video summaries powered by AI!
Subtitles
de
Auto Scroll:
  • 00:00:01
    [Musik]
  • 00:00:12
    [Musik]
  • 00:00:14
    ja herzlich willkommen zu 15 minuten
  • 00:00:16
    wirtschaftspsychologie heute geht es um
  • 00:00:18
    die frage woran erkenne ich eigentlich
  • 00:00:20
    ein gutes testverfahren
  • 00:00:22
    sie müssen sich vorstellen viele
  • 00:00:23
    unternehmen setzen heute testverfahren
  • 00:00:25
    zum beispiel im rahmen der
  • 00:00:27
    personalauswahl oder in der
  • 00:00:28
    personalentwicklung und da kommt es
  • 00:00:30
    natürlich darauf an dass diese tests
  • 00:00:32
    auch wirklich gut sind dass sie auch
  • 00:00:33
    wirklich in der lage sind zb die
  • 00:00:35
    persönlichkeitsmerkmale eines menschen
  • 00:00:37
    vernünftig zu erfassen
  • 00:00:39
    das ganze ist eine sehr komplexe materie
  • 00:00:41
    und wir wollen uns heute nun mal die
  • 00:00:43
    aller grundlegenden kriterien anschauen
  • 00:00:45
    das ist wichtig damit man beispielsweise
  • 00:00:47
    in einer gesprächssituation mit einem
  • 00:00:50
    verkäufer eines solchen test verfahrens
  • 00:00:52
    auch die richtigen fragen stellt und die
  • 00:00:54
    qualität seines grundlegende
  • 00:00:56
    qualitätskriterien richtig einschätzen
  • 00:00:58
    kann was wissen wir über die verbreitung
  • 00:01:01
    von testverfahren in deutschen
  • 00:01:03
    unternehmen es gibt eine ältere studie
  • 00:01:04
    aus dem jahr 2007 die hat gezeigt dass
  • 00:01:07
    in der personalauswahl etwa 20 prozent
  • 00:01:10
    der unternehmen in deutschland
  • 00:01:11
    persönlichkeits fragebögen einsetzen
  • 00:01:13
    also fragebögen mit denen ich
  • 00:01:15
    beispielsweise die gewissenhaftigkeit
  • 00:01:16
    oder die leistungsmotivation eines
  • 00:01:19
    menschen im selbstbild überprüfen möchte
  • 00:01:22
    und etwa 30 prozent setzen
  • 00:01:24
    intelligenztests eines bezieht sich aber
  • 00:01:26
    fast ausschließlich auf die auswahl von
  • 00:01:28
    auszubildenden eine neuere studie
  • 00:01:30
    beschäftigt sich nur mit großen
  • 00:01:32
    unternehmen da liegt der wert für
  • 00:01:34
    persönlichkeit frage würden sogar bei 80
  • 00:01:36
    prozent wobei sich das nicht nur auf die
  • 00:01:39
    personalauswahl bezieht sondern auch auf
  • 00:01:41
    die personalentwicklung beispielsweise
  • 00:01:44
    setzt man in irgendeinem training oder
  • 00:01:45
    in einem coaching einen fragebogen ein
  • 00:01:47
    um die selbstreflektion der teilnehmer
  • 00:01:50
    anzuheben
  • 00:01:51
    im prinzip ist das auch alles gar nicht
  • 00:01:53
    verkehrt ist kommt eben darauf an dass
  • 00:01:55
    der test oder der fragebogen wenig
  • 00:01:57
    einsätze auch wirklich qualitativ gut
  • 00:02:00
    ist schätzungen gehen davon aus dass
  • 00:02:02
    etwa 80 bis 90 prozent der testverfahren
  • 00:02:05
    die in deutschland in unternehmen
  • 00:02:07
    gesetzt werden gar nicht über
  • 00:02:09
    wissenschaftsverlage bezogen werden
  • 00:02:11
    sondern direkt über beratungsfirmen
  • 00:02:14
    unternehmensberatungen
  • 00:02:15
    personalberatungen bezogen werden
  • 00:02:17
    das sind zum teil auch eigenproduktionen
  • 00:02:20
    das muss nicht zwangsläufig bedeuten
  • 00:02:22
    dass es sich um schlechtere verfahren
  • 00:02:24
    handelt auch in einem unternehmen kann
  • 00:02:25
    ich ja einen guten test entwickeln das
  • 00:02:27
    problem ist aber dass diese verfahren
  • 00:02:30
    oft sehr offensiv vermarktet werden und
  • 00:02:32
    dass man gar nicht eingeht auf die
  • 00:02:34
    grundlegenden qualitätskriterien hier
  • 00:02:36
    ist also der kunde gefordert mündlich zu
  • 00:02:39
    sein die richtigen fragen zu stellen um
  • 00:02:41
    nicht über den tisch gezogen zu werden
  • 00:02:43
    während wissenschaftsverlage sehr
  • 00:02:45
    transparent mit den ganzen
  • 00:02:47
    forschungsergebnissen zu einem
  • 00:02:48
    testverfahren umgehen ist es bei
  • 00:02:50
    unternehmensberatungen ganz oft so dass
  • 00:02:53
    sie überhaupt am liebsten gar nichts
  • 00:02:55
    verraten würden über irgendwelche kennen
  • 00:02:57
    werte und da muss man dann auch wirklich
  • 00:02:59
    sich trauen nachzufragen was sind so
  • 00:03:02
    typische verkaufsargumente wenn es um
  • 00:03:04
    solche testverfahren gibt da wird zum
  • 00:03:06
    beispiel wie immer auf zufriedene kunden
  • 00:03:09
    verwiesen dass man sagt wir machen das
  • 00:03:10
    jetzt seit 20 jahren werden nur
  • 00:03:12
    zufriedene kunden
  • 00:03:13
    oder man sagt dieses oder jenes
  • 00:03:15
    dax-unternehmen setzt unseren test auch
  • 00:03:17
    ein
  • 00:03:18
    das sollte man komplett ignorieren alles
  • 00:03:21
    auch in großunternehmen testverfahren
  • 00:03:23
    gibt die nicht sinnvoll sind weil sie
  • 00:03:25
    einfach nicht professionell ausgewählt
  • 00:03:27
    werden
  • 00:03:28
    sie können auch leider nichts geben auf
  • 00:03:30
    die weite verbreitung die
  • 00:03:32
    persönlichkeits fragebögen die in
  • 00:03:34
    deutschland am weitesten verbreitet sind
  • 00:03:36
    sind solche die man aus der forschung
  • 00:03:38
    kommen überhaupt nicht empfehlen würde
  • 00:03:40
    die zum teil mit konzepten arbeiten die
  • 00:03:43
    seit jahrzehnten überholt sind aber nach
  • 00:03:45
    wie vor gerne eingesetzt werden und die
  • 00:03:48
    jahrzehntelange erfahrung eines anbieter
  • 00:03:50
    sagt natürlich auch nichts ich kann auch
  • 00:03:52
    20 jahre lange schlechte testverfahren
  • 00:03:54
    verkaufen
  • 00:03:55
    das alles sind also reine
  • 00:03:56
    verkaufsargument die hört man sich an
  • 00:03:58
    und dann geht man zur tagesordnung über
  • 00:04:01
    und beschäftigt sich mit den wirklich
  • 00:04:03
    wichtigen kriterien die für die auswahl
  • 00:04:06
    eines tests relevant sind
  • 00:04:08
    die drei wichtigsten kriterien sind
  • 00:04:10
    einmal die objektivität schauen wir uns
  • 00:04:12
    gleich auch noch mal an
  • 00:04:14
    bei der objektivität geht es um die
  • 00:04:15
    frage inwieweit ist das ergebnis des
  • 00:04:18
    testverfahrens beeinflusst durch die
  • 00:04:20
    leute die diesen test durchführen
  • 00:04:22
    es geht um die rehabilitierung die
  • 00:04:26
    genauigkeit mit der ich eine aussage
  • 00:04:28
    treffen kann und es geht schließlich um
  • 00:04:31
    die validität das ist das wichtigste
  • 00:04:32
    kriterium
  • 00:04:33
    es geht um die frage inwieweit kann der
  • 00:04:36
    test tatsächlich das erfüllen was er
  • 00:04:39
    erfüllen soll also inwieweit ist
  • 00:04:40
    beispielsweise mein leistungstest in der
  • 00:04:42
    lage die leistung der azubis zu
  • 00:04:45
    prognostizieren oder irgendwie weitem
  • 00:04:47
    ist mein fragebogen zur messung der
  • 00:04:49
    leistungsmotivation tatsächlich
  • 00:04:51
    leistungsmotivation und nicht
  • 00:04:53
    irgendetwas anderes wir werden uns das
  • 00:04:55
    jetzt der hai nach anschauen wir starten
  • 00:04:57
    mit der objektivität stellen wir uns vor
  • 00:05:00
    wir haben ein junger mann der bewirbt
  • 00:05:02
    sich in unserem unternehmen auf einer zu
  • 00:05:04
    bestellen und die mitarbeiterinnen frau
  • 00:05:06
    meyer setzt einen fragebogen ein der
  • 00:05:08
    beispielsweise die leistungsmotivation
  • 00:05:10
    und die gewissenhaftigkeit dieses
  • 00:05:12
    menschen erfassen soll
  • 00:05:14
    und da kommt am ende ein punkt wert von
  • 00:05:16
    3,8 raus auf einer fünfstufigen skala
  • 00:05:19
    jetzt ist aber ja auch sein können dass
  • 00:05:21
    die frau meier an dem tag krank ist und
  • 00:05:24
    nicht frau meier sondern herr schulz
  • 00:05:25
    seit in diesen test durchgeführt und
  • 00:05:27
    dann sollte natürlich das gleiche
  • 00:05:28
    ergebnis herauskommen das heißt
  • 00:05:30
    unabhängig von der frage ob frau meier
  • 00:05:32
    oder schulze die untersuchung durchführt
  • 00:05:34
    sollte jedes mal 3,8 punkte heraus
  • 00:05:37
    kommen genau das ist der punkt um den es
  • 00:05:39
    bei der objektivität geht wenn
  • 00:05:42
    diejenigen die die untersuchungen
  • 00:05:43
    durchführen überhaupt keinen einfluss
  • 00:05:45
    nehmen auf das ergebnis dann ist die
  • 00:05:47
    objektivität gewährleistet das ist bei
  • 00:05:50
    testverfahren relativ leicht möglich
  • 00:05:52
    dass sich ganz anders bei einstellungs
  • 00:05:54
    interviews aus wenn sie an die beliebten
  • 00:05:57
    unstrukturierten einstellungs interviews
  • 00:05:58
    denken die haben sehr schlechte
  • 00:06:00
    objektivität weil der interviewer sich
  • 00:06:02
    die fragen größtenteils aus denkt und er
  • 00:06:04
    denkt sich auch aus wir das am ende
  • 00:06:06
    bewertet da haben sie also schon bei dem
  • 00:06:08
    alle einfachsten kriterium eine schwäche
  • 00:06:10
    im system testverfahren gerade und
  • 00:06:13
    insbesondere computergestützte
  • 00:06:14
    testverfahren haben in der regel eine
  • 00:06:16
    hohe objektivität weil ich kann
  • 00:06:18
    möglichkeiten habe da noch etwas zu
  • 00:06:20
    beeinflussen die objektivität bezieht
  • 00:06:22
    sich auf die durchführung der
  • 00:06:23
    untersuchungen da geht es um solche
  • 00:06:25
    fragen wie wie viel hilfestellung
  • 00:06:26
    leistete ich eigentlich und natürlich
  • 00:06:28
    darf ich nicht im einen bewerber viel
  • 00:06:30
    helfen und dem anderen bewerber wenig es
  • 00:06:32
    geht um die auswertung also um die frage
  • 00:06:34
    wie berechne ich diesen punkt wäre da
  • 00:06:36
    gibt es natürlich vorgaben wenn das
  • 00:06:38
    nicht der computer macht dann macht es
  • 00:06:40
    halt ein mensch aus dem unternehmen und
  • 00:06:42
    da ist genau vorgegeben durch den
  • 00:06:44
    entwickler des testverfahrens was ich
  • 00:06:45
    machen muss und es geht am ende um die
  • 00:06:47
    interpretation um die frage was bedeutet
  • 00:06:49
    denn jetzt 3,8 punkte ist das viel oder
  • 00:06:52
    ist das wenig gute testverfahren haben
  • 00:06:55
    kein problem mit der objektivität es
  • 00:06:57
    gibt aber extrembeispiele ich habe ihnen
  • 00:06:58
    hier mal was mitgebracht die
  • 00:07:00
    tintenklecks texte tests von denen sie
  • 00:07:02
    bestimmt schon mal was gehört haben der
  • 00:07:04
    ortschaft fest aus den dreißiger jahren
  • 00:07:06
    das wäre so ein beispiel für ein sehr
  • 00:07:07
    schlechter läufern sehr schlechten test
  • 00:07:10
    im hinblick auf die objektivität da lege
  • 00:07:12
    ich einen menschen solch einen gebilde
  • 00:07:14
    vor und er soll sagen was er darin sieht
  • 00:07:17
    und auf der anderen seite sitzt ein
  • 00:07:18
    untersucher der dann wieder runter das
  • 00:07:20
    interpretiert was der kandidat gesagt
  • 00:07:23
    hat und da können sie sich vorstellen da
  • 00:07:25
    haben sie quasi in den 0 objektivität
  • 00:07:27
    oder eine sehr geringe objektivität
  • 00:07:29
    solche verfahren dürften aber auch heute
  • 00:07:31
    keine rolle mehr spielen im
  • 00:07:33
    personalwesen zumindest gut die
  • 00:07:36
    objektivität können wir abhaken die ist
  • 00:07:38
    in der regel kein großes problem bei dem
  • 00:07:40
    test verfahren wie sie zum der rallye
  • 00:07:42
    abily täters bei der villa bonität geht
  • 00:07:44
    es um messfehler es geht um die frage
  • 00:07:46
    wie genau kann ich eigentlich sagen dass
  • 00:07:49
    ein bestimmtes ergebnis die realität
  • 00:07:52
    widerspiegelt wir haben eben gesehen
  • 00:07:54
    dass unser kandidat 3,8 punkte bekommen
  • 00:07:56
    hat bei der realitaet labilität geht es
  • 00:07:58
    um die frage sind das jetzt wirklich 3,8
  • 00:08:01
    punkte oder könnten es nicht auch 4,2
  • 00:08:03
    punkte oder 3,5 punkte sein
  • 00:08:07
    wir gehen davon aus leipzig oder die
  • 00:08:09
    dass wir immer messfehler haben das
  • 00:08:10
    heißt wir werden nie eine 100% exakte
  • 00:08:13
    messung haben
  • 00:08:14
    die frage ist wie groß und sind solche
  • 00:08:16
    mesz fiel also im es wieder sind auch
  • 00:08:17
    nichts spezifisches für die psychologie
  • 00:08:19
    sondern die finden sie auch in der
  • 00:08:21
    physik
  • 00:08:21
    also wenn sie beispielsweise ein brot
  • 00:08:23
    auf ihre vage zu hause legen dann zeigt
  • 00:08:26
    die waage obwohl sie ein physikalisches
  • 00:08:27
    messinstrument ist natürlich nicht zu
  • 00:08:29
    hundert prozent das exakte gewicht des
  • 00:08:32
    brotes an
  • 00:08:32
    beim mond ist das vielleicht auch gar
  • 00:08:34
    nicht so wichtig aber bei wichtigen
  • 00:08:35
    personalentscheidungen kommt schon
  • 00:08:37
    darauf an dass ich möglichst exakte
  • 00:08:39
    aussagen treffen kann
  • 00:08:40
    da gibt es verschiedene möglichkeiten
  • 00:08:42
    jetzt die realität zu berechnen wir
  • 00:08:44
    schauen uns zunächst einmal die
  • 00:08:45
    einfachste form an die innere konsistenz
  • 00:08:47
    wenn sie sich vor wir haben einen
  • 00:08:49
    fragebogen der mit sechs fragen die
  • 00:08:52
    gewissenhaftigkeit eines bewerbers
  • 00:08:54
    untersuchen möchte der entwickler eines
  • 00:08:58
    solchen fragebogens der muss jetzt diese
  • 00:08:59
    fragen in mehreren studien mehreren
  • 00:09:02
    stichproben vorliegen um unter anderem
  • 00:09:04
    die realität zu berechnen
  • 00:09:06
    und da interessiert ihn ob die antworten
  • 00:09:09
    auf diese sechs fragen ob die ähnlich
  • 00:09:11
    sind oder ob die sehr unterschiedlich
  • 00:09:13
    sind wenn ich sechs fragen formuliert
  • 00:09:15
    habe zur gewissenhaftigkeit dann sollte
  • 00:09:18
    es ja schon so sein dass die menschen
  • 00:09:19
    diese fragen recht ähnlich beantworten
  • 00:09:22
    und ich völlig unterschiedliche
  • 00:09:23
    antworten geben zum roten beispiel soll
  • 00:09:26
    signalisiert werden die probanden geben
  • 00:09:28
    sehr unterschiedliche antworten sollte
  • 00:09:31
    eigentlich so sein wie im blauen
  • 00:09:32
    beispiel dass die sehr ähnliche
  • 00:09:34
    antworten geben weil jede frage ist ja
  • 00:09:37
    das gleiche merkmal also die
  • 00:09:38
    gewissenhaftigkeit
  • 00:09:40
    so etwas wird ausgedrückt durch einen
  • 00:09:42
    mathematischen koeffizienten der
  • 00:09:43
    sogenannte rehabilitation effizient denn
  • 00:09:46
    die innere konsistenz an gibt in diesem
  • 00:09:48
    fall dass ein zahlenwert zwischen 0 und
  • 00:09:50
    1 0 würde bedeuten völliges chaos sie
  • 00:09:54
    haben nur messfehler sie können gar
  • 00:09:55
    nichts anfangen mit diesen ergebnissen 1
  • 00:09:58
    würde bedeuten perfekt es gibt überhaupt
  • 00:10:01
    gar kein messfehler sowas kommt nur in
  • 00:10:03
    der theorie vor nicht in der praxis wir
  • 00:10:05
    haben immer messfehler das heißt also
  • 00:10:07
    wenn ein anbieter ihnen erzählt dass
  • 00:10:09
    seine persönlichkeit fragebogen eine
  • 00:10:11
    innere konsistenz von 1,0 oder 9,99 hat
  • 00:10:15
    dann können sie schon davon ausgehen das
  • 00:10:17
    ist mit sicherheit gelogen so etwas kann
  • 00:10:19
    es eigentlich gar nicht geben
  • 00:10:22
    sie sehen an diesem punkt auch schon ein
  • 00:10:24
    wichtiges prinzip der testentwicklung
  • 00:10:26
    nämlich dass man mehrere fragen braucht
  • 00:10:29
    um ein konzept zu untersuchen das gilt
  • 00:10:31
    auch fürs interview sprachen mehrere
  • 00:10:33
    fragen im interview und teamfähigkeit zu
  • 00:10:35
    lassen oder im assessment-center hatten
  • 00:10:37
    mehrere übungen um
  • 00:10:39
    kommunikationsfähigkeit zu messen
  • 00:10:41
    fragebögen die gut sind sind in der
  • 00:10:44
    regel auf fragebögen die lang sind das
  • 00:10:46
    heißt ich kann nicht mit einem
  • 00:10:47
    fragebogen der 15 fragen hat zehn
  • 00:10:50
    verschiedene persönlichkeitsmerkmale
  • 00:10:51
    messen ich brauch bei jedem
  • 00:10:53
    persönlichkeitsmerkmal immer mehrere
  • 00:10:55
    fragen 678 manchmal zehn fragen denn je
  • 00:10:58
    mehr fragen ich stelle desto größer ist
  • 00:11:01
    die wahrscheinlichkeit dass die
  • 00:11:02
    messgenauigkeit ansteigt weil einzelne
  • 00:11:04
    mesz wieder die mit einzelnen fragen
  • 00:11:06
    verbunden sind einander ausgleichen
  • 00:11:08
    also sehr kurze testverfahren die sehr
  • 00:11:11
    viele konzepte messen wollen sind in der
  • 00:11:13
    regel nicht zu empfehlen weil sie mit
  • 00:11:15
    hoher wahrscheinlichkeit eine schwäche
  • 00:11:17
    bei der messgenauigkeit haben eine
  • 00:11:20
    zweite form der rehabilitation die sogar
  • 00:11:23
    theorietest realität stellen wir uns
  • 00:11:25
    wieder unseren bewerber vor der einen
  • 00:11:28
    wert von 3,8 punkten in unserem test hat
  • 00:11:31
    und wir stellen uns weiterhin vor wir
  • 00:11:32
    würden diesen menschen ein halbes jahr
  • 00:11:34
    später noch mal untersuchen wir würden
  • 00:11:36
    ihm also denselben test noch ein zweites
  • 00:11:38
    mal geben
  • 00:11:39
    und jetzt stellt sich die frage welchen
  • 00:11:41
    punkt wert hat er denn in einem jahr die
  • 00:11:43
    merkmale für die wir uns im
  • 00:11:45
    personalwesen interessieren sind fast
  • 00:11:47
    immer stabil merkmal
  • 00:11:48
    persönlichkeitsmerkmale intelligenz
  • 00:11:50
    gewissenhaftigkeit und so weiter die
  • 00:11:52
    verändern sich wenn nichts schlimmes
  • 00:11:54
    passiert in einem halben jahr nicht das
  • 00:11:56
    heißt es sollte so sein dass dieser
  • 00:11:58
    mensch heute und in einem halben jahr
  • 00:12:00
    möglichst exakt den gleichen wert hat
  • 00:12:03
    und genau das muss der entwicklung eines
  • 00:12:05
    testverfahrens überprüfen nicht mit
  • 00:12:07
    einem bewerber sondern mit einer großen
  • 00:12:09
    stichprobe von menschen die heute diesen
  • 00:12:11
    test regen und zb in einem halben jahr
  • 00:12:14
    und auch das kann ich dann wieder
  • 00:12:15
    ausdrücken als rehabilitieren das ist
  • 00:12:18
    wie eine zahl zwischen 0 und 1 0 würde
  • 00:12:21
    bedeuten die zweite messung hat
  • 00:12:23
    überhaupt nichts mit der ersten zu tun
  • 00:12:25
    das was sich der messe sind offenbar
  • 00:12:28
    messfehler und 1 würde bedeuten perfekt
  • 00:12:31
    es kommt genau exakt dasselbe ergebnis
  • 00:12:33
    heraus
  • 00:12:34
    in der forschung gibt es da konventionen
  • 00:12:37
    mann würde sagen sowohl bei der innere
  • 00:12:39
    konsistenz also bei der idee ist
  • 00:12:40
    realität würde man sich schon einen wert
  • 00:12:42
    wünschen der höher liegt also bei der
  • 00:12:45
    inneren konsistenz kann man das auch gut
  • 00:12:47
    benennen da sagt man sobald punkt 7
  • 00:12:49
    sollte das mindestens liegen ab da geht
  • 00:12:51
    es eigentlich erst los dass man einen
  • 00:12:53
    solchen test ernst nimmt wenn der test
  • 00:12:56
    anbieter keine angaben zur identität
  • 00:12:58
    machen kann
  • 00:12:59
    wissen sie nicht die stabilität der
  • 00:13:01
    gemessenen merkmale sie wissen nichts
  • 00:13:03
    über den messfehler und deshalb sollten
  • 00:13:05
    sie an solchen test auch nicht einsetzen
  • 00:13:07
    oder es gibt manchmal mogelpackungen ich
  • 00:13:09
    habe mal einen test gesehen bei dem der
  • 00:13:11
    entwickler
  • 00:13:12
    zwischen der ersten und zweiten messung
  • 00:13:14
    einen zeitraum von einem einzigen tag
  • 00:13:16
    hat hatte das ist ein
  • 00:13:18
    taschenspielertrick um hohe werte zu
  • 00:13:20
    erzeugen also das müssen schon mal ein
  • 00:13:22
    paar monate sein und wird zum
  • 00:13:24
    wichtigsten kriterium der validität bei
  • 00:13:27
    der validität geht es um die frage
  • 00:13:29
    inwieweit mein neuer test tatsächlich in
  • 00:13:32
    der lage ist etwas zu messen für das ich
  • 00:13:34
    mich interessiere
  • 00:13:36
    also stellen wir uns beispielsweise vor
  • 00:13:37
    ein test entwickler entwickelt einen
  • 00:13:39
    neuen intelligenztest dann muss er
  • 00:13:41
    nachweisen in einer studie oder in
  • 00:13:43
    mehreren studien dass dieser neue test
  • 00:13:46
    in gewisser weise eine übereinstimmung
  • 00:13:49
    hat mit bereits guten bereits
  • 00:13:51
    vorliegenden testverfahren
  • 00:13:52
    es kann ja nicht sein dass sozusagen
  • 00:13:54
    einen intelligenztest ein bewerber als
  • 00:13:56
    durchschnittlich intelligent gilt in
  • 00:13:58
    einem sehr gut erforschten test aber als
  • 00:14:01
    hochbegabt gilt da stimmt was nicht da
  • 00:14:03
    ist also irgendwas nicht in ordnung ich
  • 00:14:05
    muss nachweisen dass es da eine
  • 00:14:07
    überschneidung gibt zwischen den
  • 00:14:09
    testverfahren oder wenn es um die
  • 00:14:10
    prognose berufliche leistung geht muss
  • 00:14:13
    sich beispielsweise nachweisen dass ich
  • 00:14:14
    mit meinem test verfahren tatsächlich
  • 00:14:16
    vorhersagen kann dass die menschen die
  • 00:14:19
    in meinem test gut abschneiden dass die
  • 00:14:21
    auch in der ausbildungs note bei den
  • 00:14:24
    azubis besser abschneiden als diejenigen
  • 00:14:26
    die einen niedrigen test in meinem test
  • 00:14:28
    wert haben in einem testverfahren und so
  • 00:14:31
    kann man sich ganz viele verschiedene
  • 00:14:32
    kriterien denken arbeitszufriedenheit
  • 00:14:34
    kundenzufriedenheit usw
  • 00:14:36
    gut untersuchte testverfahren haben
  • 00:14:38
    manchmal ziehen oder sogar 20
  • 00:14:39
    validierungs studien die im manuels
  • 00:14:42
    diesem test offengelegt werden so dass
  • 00:14:44
    ich eine sehr gute vorstellung davon
  • 00:14:46
    bekommen welche mühe hat man sich
  • 00:14:48
    gegeben und inwieweit ist die qualität
  • 00:14:50
    des verfahrens tatsächlich belegt aber
  • 00:14:53
    auch hier haben wir einen koeffizienten
  • 00:14:54
    den sogenannten validität koeffizienten
  • 00:14:56
    und sagen wir der zwischen minus eins
  • 00:14:59
    und plus einzig bewegt in der regel
  • 00:15:00
    reden wir aber nur über positive werte 0
  • 00:15:03
    wäre das worst case szenario 0 würde
  • 00:15:05
    bedeuten meint es hatte überhaupt nichts
  • 00:15:07
    zu tun mit dem wofür ich mich
  • 00:15:09
    interessiere
  • 00:15:10
    punkt eins wäre ja genial das kommt
  • 00:15:12
    natürlich auch nicht vor
  • 00:15:13
    hier gilt je höher der wert je weiter er
  • 00:15:16
    von null abweicht desto besser und er
  • 00:15:18
    regeln wie gesagt reden wir hier über
  • 00:15:20
    positive koeffizienten nicht über
  • 00:15:22
    negative koeffizienten gut was machen
  • 00:15:26
    zwielichtige anbieter zwilich die
  • 00:15:28
    anbieter haben oft überhaupt gar keine
  • 00:15:30
    studien durchgeführt die eine aussage
  • 00:15:32
    ermöglichen im die qualität eines
  • 00:15:34
    solchen test verfahrens die haben nur
  • 00:15:36
    schöne seiten gestaltet schöne
  • 00:15:38
    werbeseiten gestaltet und versuchen mich
  • 00:15:40
    rein über marketing argumente dazu
  • 00:15:42
    bringen ihren test zu kaufen oder sie
  • 00:15:45
    wir haben es durchaus mit studien zu tun
  • 00:15:48
    aber die anbieter halten diese studien
  • 00:15:51
    geheimen das machen sehr viele anbieter
  • 00:15:53
    aus der wirtschaft dass sie sagen ich
  • 00:15:56
    darf dir gar nicht sagen was ich genau
  • 00:15:58
    untersucht habe weil ich muss ja mein
  • 00:16:00
    produkt vor piraten beispielsweise
  • 00:16:02
    schützen
  • 00:16:03
    das sollte auch sollte man sich nicht
  • 00:16:05
    einlassen gute verfahren müssen sich
  • 00:16:07
    nicht scheuen wirklich alles offen zu
  • 00:16:09
    legen sie würden ja auch nicht
  • 00:16:10
    beispielsweise wenn sie einen computer
  • 00:16:12
    kaufen vier unternehmen akzeptieren wenn
  • 00:16:15
    der hersteller ihn nicht sagte wie groß
  • 00:16:17
    die festplatte ist oder überhaupt keine
  • 00:16:19
    kennwerte verrät und da sollte man auch
  • 00:16:22
    hier als mündiger kunde darauf bestehen
  • 00:16:24
    dass solche kennwerte offengelegt werden
  • 00:16:26
    ja und dann gibt es noch das problem
  • 00:16:28
    dass viele verfahren die in der
  • 00:16:29
    wirtschaft eingesetzt werden aus den usa
  • 00:16:31
    kommen das ist im prinzip erst mal gar
  • 00:16:33
    kein problem
  • 00:16:34
    die müssen natürlich dann übersetzt
  • 00:16:35
    werden ins deutsche aber wenn ich die
  • 00:16:38
    ins deutsche übersetzt habe muss ich
  • 00:16:39
    auch alle studien wiederholen ich muss
  • 00:16:41
    dann auch wieder die rehabilitative die
  • 00:16:43
    validität überprüfen
  • 00:16:45
    natürlich durch diese übersetzung ist
  • 00:16:47
    eine veränderung der bedeutung der
  • 00:16:49
    einzelnen formulierungen gegeben hat
  • 00:16:51
    also einfach nur zu sagen das ist ein
  • 00:16:52
    test aus den usa haben den übersetzt und
  • 00:16:55
    dann präsentiert man die kennwerte aus
  • 00:16:57
    den usa
  • 00:16:57
    das ist jetzt eigentlich auch wieder ein
  • 00:16:59
    taschenspielertrick es ist fazit können
  • 00:17:02
    wir ziehen das ist prinzipiell durchaus
  • 00:17:04
    sinnvoll testverfahren im personalwesen
  • 00:17:06
    einzusetzen
  • 00:17:08
    man kann die qualität der test in der
  • 00:17:10
    regel aber nicht per augenschein
  • 00:17:11
    feststellen das heißt sie brauchen auf
  • 00:17:13
    jeden fall fachkompetenz und sie
  • 00:17:15
    brauchen und mathematische kennwerte um
  • 00:17:17
    die qualität eines solchen tests zu
  • 00:17:19
    erkennen nur die vielleicht
  • 00:17:20
    allerschlechtesten tests kann man auch
  • 00:17:22
    wirklich per augenschein als solche
  • 00:17:23
    erkennen
  • 00:17:24
    sie müssen kennwerte haben zu müssen
  • 00:17:26
    empirische studien vorliegen wenn sie
  • 00:17:29
    die nicht selbst interpretieren können
  • 00:17:30
    müssen sie sich jemanden holen der das
  • 00:17:32
    interpretiert das kann durchaus auch in
  • 00:17:34
    psychologie student eines höheren
  • 00:17:36
    semesters in der regel der kandidat
  • 00:17:39
    beihilfen und sie sollten ein mündiger
  • 00:17:41
    kunde sein sie sollten sich nicht darauf
  • 00:17:43
    einlassen dass der test anbieter einfach
  • 00:17:45
    sagt dass dürfen wie ich sagen wenn der
  • 00:17:48
    test anbieter die kennwerte nicht
  • 00:17:50
    veröffentlicht dann gehen sie einfach
  • 00:17:52
    zum nächsten anbieter oder wenn sich
  • 00:17:54
    vielleicht an einen wissenschaftsverlag
  • 00:17:55
    die liegen nämlich alle kennwerte ja
  • 00:17:59
    soweit unser kurzer einblick in das
  • 00:18:01
    thema testverfahren und woran erkenne
  • 00:18:04
    ich einen guten oder schlechten test
  • 00:18:05
    hier wie immer noch ein bisschen was zum
  • 00:18:07
    nachlesen
  • 00:18:08
    ich bedanke mich für eure aufmerksamkeit
  • 00:18:09
    bis zum nächsten halten
  • 00:18:17
    [Musik]
Tags
  • Wirtschaftspsychologie
  • Testverfahren
  • Personalauswahl
  • Personalentwicklung
  • Objektivität
  • Reliabilität
  • Validität
  • Qualitätskriterien
  • Beratungsfirmen
  • Empirische Studien