En beslutningsteoriens tilnærming til industriens forutsigere og kriterium

Utvalgsproblemet kan ses fra et noe annet perspektiv enn det som brukes. Denne andre tilnærmingen viser seg interessant ved at vi finner at prediktorvaliditet kanskje ikke er så viktig en variabel i valg som det tradisjonelle synspunktet gjør det til å være. Vårt nye perspektiv er en basert på en beslutningsteori-modell. Vi bør begynne med å gjenopprette målet i en typisk utvalgssituasjon. I mange utvalgssituasjoner ønsker vi å etablere en kuttresultat på vår prediktor som vil resultere i å minimere våre beslutningsprosjekter.

Implikt i denne typen situasjon er antakelsen om at utvelgelsesforholdet kan manipuleres etter vilje; det vil si, det er ikke "fast" til noen verdi. Også implisitt er tanken om at vår kriterievariabel kan deles meningsfullt i to eller flere forskjellige grupperinger som "vellykket" og "mislykket". Vårt mål er å manipulere kuttresultatet (som er det samme som å manipulere utvelgelsesforholdet) i rekkefølge for å minimere antall feil i prosessen med å avgjøre om en person skal ansettes eller avvises.

Tidligere påpekte vi at det var to forskjellige typer beslutningsfeil i utvalgsparadigmet, falske positive og falske negativer, som vist nedenfor:

Målet vårt er da å finne avskjæringspunktet som vil resultere i det minste antall totale feil. For enkelhets skyld skal vi begynne med å anta at begge typer feil anses å være like kostbare. Det vil si, vi har ingen grunn til å foretrekke å lage en falsk positiv feil over en falsk negativ feil, eller omvendt. Ved å gjøre denne antagelsen er det mulig å kaste problemet direkte når det gjelder å minimere totalt antall begge typer feil, i stedet for å veie de to typer feil ved deres respektive "kostnad".

Plassering av skjæringspunktet:

For å illustrere hvordan problemet med å finne en optimal plassering for skjærepunktet kan nærmer seg, må du vurdere saken der vi har en spesifisert gyldighet (f.eks. Ca. 0, 70) og en spesifisert prosent av dagens ansatte anses vellykket (ofte omtalt i denne sammenhengen som "grunnrenten").

Dette kan bli skissert som følger:

Det neste trinnet er å presentere de samme dataene i en litt annen form. For det første vet vi at vår totale gruppe medarbeidere antas å ha en normal fordeling når det gjelder deres prediktor score. For det andre, og like viktig, antas begge undergrupper (vellykket og mislykket) å ha normale fordelinger. Ved å se på eksemplet ovenfor er det enkelt å utlede at den gjennomsnittlige prediktorpoengsummen til den vellykkede gruppen skal være høyere enn den mislykkede gruppen.

Vi kan skisse dette som:

Begge fordelingene vil være like store siden de er basert på det samme antall personer (dvs. 50 prosent i hver gruppe). Det er et algebraisk forhold mellom forskjellen mellom middelene til de to undergruppene som sett på denne måten og størrelsen på korrelasjonskoeffisienten. Hvis gruppen betyr at det er betydelig forskjellig fra hverandre (si ved et signifikansnivå på 0, 05), vil korrelasjonskoeffisienten også bli signifikant på samme nivå.

Ta vårt diagram et skritt videre, vi kan plassere de to frekvensfordelingen av undergruppene side om side på samme basislinje, som vist nedenfor.

Etter å ha gjort dette, kan vi nå gå tilbake til vårt opprinnelige spørsmål - hvor finner vi et avslag på prediktoren slik at det totale antall feil blir minimert? Det viser seg at den matematiske løsningen på dette problemet resulterer i et veldig enkelt svar: Skjæringspunktet som minimerer total feil er det punktet ved hvilken de to fordelingene skjærer hverandre.

Dette kan enkelt demonstreres på et konseptnivå ved å se på de tre tilfellene som er illustrert nedenfor. Den samme forskjellen mellom midlene (det vil si samme korrelasjon) brukes i hvert tilfelle. Alt som har blitt endret er plasseringen av avskjæringspunktet på prediktoren.

I illustrasjon (a) er antall falske positive (feil som er over avskåret) gitt av området B. Antallet falske negativer (suksesser som er under avskjæringen) er gitt av området A. Således,

Total feil = A + B

For illustrasjon (b) er antall falske positiver gitt av B og antall falske negative er gitt av A + C. Således,

Total feil = A + B + C

For illustrasjon (c) er antall falske positive gitt av B + C og antall falske negative er gitt av A. Således,

Total feil = A + B + C

Siden inspeksjon av alle tre illustrasjonene raskt bekrefter at området A + B er det samme for alle tre tilfellene, så er det åpenbart at feilen økes med noe beløp C når avskjæringen flyttes bort (i begge retninger) fra punktet hvor de to fordelingene krysser hverandre.

Noen uvanlige ramifications:

Vi har nå et generelt prinsipp for å finne en skjæringsscore som vil minimere totalt antall feil i en valgbeslutningssituasjon, nemlig ved skjæringspunktet.

Det viser seg at så lenge begge typer feil anses å være like dyre, er dette en veldig generell regel og påvirkes ikke av:

(1) De relative størrelsene til de to gruppene (dvs. prosent anses vellykket), eller

(2) De respektive avvikene eller dispersjonene av de to fordelingene.

Dette fører til noen interessante og svært viktige aspekter ved det generelle prediksjonsproblemet knyttet til forholdet mellom testgyldighet og testverktøy. Rorer, Hoffman, LA Forge og Hsieh (1966) har påpekt tre slike interessante saker.

Sak 1:

Både midlene og avvikene i de to gruppene skiller seg fra hverandre. Anta at vår vellykkede gruppe er like stor som den mislykkede gruppen og har et betydelig høyere gjennomsnitt på prediktoren, men variansen er mye mindre.

Et diagram over en slik situasjon er som følger:

Vårt prinsipp om å etablere cut-off-poeng sier at vi bør plassere dem hvor de to fordelingene krysser. Merk at dette skjer to ganger i dette spesielle tilfellet. Dermed har vi en øvre cut-off og en lavere cut-off. Vi bør bare velge de menneskene som faller innenfor intervallet mellom cut-offs i forhold til deres testresultat. Eventuelle andre avskjæringspunkter vil resultere i større total feil enn det som ville oppnås med de som befinner seg ved skjæringspunktene.

Sak 2:

Grupper har like betyr men forskjellige avvik. I dette veldig interessante tilfellet er de to gruppene ikke forskjellige med hensyn til deres gjennomsnittlige prediktor score, det vil si, i gjennomsnitt går de mislykkede medarbeider like godt på prøve som de vellykkede medarbeiderne. Dette innebærer at korrelasjonskoeffisienten er null mellom prediktoren og kriteriet. Vi har imidlertid videre uttalt at de to gruppene er forskjellige i forhold til deres variabilitet.

Hvis vi antar den vellykkede gruppen, er gruppen med mindre variabilitet med hensyn til utstilling, kan vi uttrykke dette skjematisk som følger:

Selv om de to gruppene har samme betydelige kriteriepoeng, er det mulig å utvikle avskjæringspunkter som vil forbedre prediksjonen over det som nå nytes gjennom nåværende metoder, siden de to fordelingene krysser på to punkter på grunn av deres ulikvariabilitet. Dermed har vi den unike situasjonen der det ikke ville være noen åpenbar gyldighet (målt ved en korrelasjonskoeffisient), men hvor prediksjonen kan forbedres mye ved bruk av passende cut-offs.

Sak 3:

Gruppemedlemmer er vesentlig forskjellige, men gruppestørrelsen er også sterkt forskjellig. Anta at vi har å gjøre med en situasjon der grunnfrekvensen for mislykkede ansatte er svært liten, det vil si om lag 90 prosent av våre nåværende ansatte anses som vellykkede. En slik situasjon er vist i det følgende diagrammet.

Her har vi en annen unik situasjon. Selv om gruppen betyr at det kan være vesentlig forskjellig og dermed gi en betydelig sammenheng mellom kriterium og prediktor, vil det ikke være mulig å etablere noen avskjæring som vil resultere i å redusere feilen over det som nå er oppnådd med nåværende metoder. På grunn av den markerte forskjellen i størrelsen mellom de to gruppene ser vi at de to fordelingene ikke krysser på noe tidspunkt.

Under vårt nåværende utvalgssystem gjør vi bare feil 10 prosent av tiden. Hvis vi flytter avskjæringen fra venstre til høyre i tilfelle 3 (det ligger ekstremt til venstre til begynnelsen, siden vi for øyeblikket velger alle disse menneskene), vil vi selvsagt begynne å eliminere noen av de mislykkede personer som for tiden er ansatt under dagens system.

Samtidig vil vi imidlertid begynne å avvise ansatte som vil vise seg å lykkes. Når vi ser på diagrammet forteller vi oss raskt at denne økningen i falske negativer ville være større enn den tilsvarende nedgangen i falske positiver, uansett hvor vi setter vår cut-off. Dermed vil enhver testbasert avskjæring resultere i flere feil enn vi har uten testen, selv om testen er svært gyldig.