Bestemme verktøyet til et utvalgsinstrument i industrier

Verktøyet til en prediksjonsinnretning er i hvilken grad bruken av kvaliteten forbedrer kvaliteten på folkene som er valgt utover det som ville ha skjedd hvis den enheten ikke var blitt brukt. Gyldighet og pålitelighet, som begge spiller en viktig rolle ved å bestemme bruken av ethvert utvalgsinstrument. I tillegg er det imidlertid flere andre faktorer som er like kritiske for å bestemme verktøyet i enhver situasjon som involverer gruppevalg.

Disse tilleggsvariablene er:

(1) Kriterie pålitelighet,

(2) Kriterie relevans,

(3) Valgforholdet, og

(4) Prosentandelen av nåværende ansatte var vellykket.

Leseren blir advart om å huske på at gruppeversikt er prosessen med å systematisk velge en undersamling av søkere som er mer tilbøyelige til å lykkes i gjennomsnitt enn enten gruppen som helhet eller en undergruppe som er valgt tilfeldig fra hele. Dette er forskjellig fra prosessen med individuell prediksjon der man er opptatt av å forutse sannsynligheten for suksess for en bestemt person, snarere enn en gruppe personer.

Det er selvsagt utvalgssituasjoner som involverer både gruppe- og individuelle aspekter ved valg. Et eksempel er et utvalgsprogram som brukes av USAs flåte i deres utvalg av flykadetter. Navy bruker gruppespråketeknikker før og under flere ulike faser av flytrening.

I tillegg er det også nødvendig å foreta forutsigelser for en bestemt kadett og hans individuelle sannsynlighet for suksess i programmet. Behovet for disse sistnevnte typer spådommer oppstår når en kadettens rekord under trening har vært dårlig nok til å bringe ham før en anmeldelsestavle. For dette Navy-programmet brukes de samme grunnleggende prediktorer for både gruppen og de enkelte spådommene.

Predictor Gyldighet:

Den primære statistiske indeksen som påvirker bruken av ethvert prediksjonsinstrument, er dens gyldighet. Selv om det vil bli demonstrert at lave og like null validitetssituasjoner fortsatt kan resultere i ganske vellykket valg under spesielle forhold, er validitetskoeffisienten den sentrale variabelen i valg. For å illustrere, vurder diagrammene som er vist i figur 2.10, hvor to forskjellige prediktorkriterieforhold er vist, ett med en gyldighet på 0, 00 og den andre med en gyldighet på 0, 70. I begge tilfeller er det oppnådd et avslag på prediktoren som gjør at vi kan ta de øverste 50 prosent av personene som tar testen.

Hvilken prediktor vil resultere i den største økningen i gjennomsnittlig kriteriepoengsum for den valgte gruppen over hva som er oppnådd ved tidligere metoder (det vil si tilfeldig utvalg)? Ser først på prediktor A når det gjelder hvordan menneskene distribueres bare etter kriteriedimensjonen, men vi finner at den gjennomsnittlige kriteriepoengsummen for den "aksepterte" gruppen er nøyaktig den samme som den "avviste" gruppen. Det vil si at folket som er akseptert ved å ta den øverste halvdelen av resultatene i prøve A, har ikke en tendens til å ha høyere kriteriepoeng enn de laveste 50 prosent av scorerne på prøve A, som vist i figur 2.11.

Men når vi ser på prediktor B, får vi et ganske annet bilde. Vi kan se umiddelbart at de menneskene over cut-offen ser ut til å gjøre det bedre på kriteriet enn å gjøre dem under cutoff. Det vil si at menneskene over cut-offen har høyere gjennomsnittskriteriumpoeng enn de som er under. Dette er vist i figur 2.12, som igjen viser de tre fordelingene av kriterieverdier.

Dermed ser vi ut til å ha vårt første generelle prinsipp i testverktøyet: gitt noe vilkårlig definert avskjæring på en test, jo høyere gyldighet, jo større økning i gjennomsnittskriteriepoeng for den valgte gruppen over det som observeres for den totale gruppen.

Med andre ord, forskjellen:

(X _{valgt gruppe} ) - (X _{totalt gruppe} )

vil øke i direkte forhold til testgyldigheten. Faktisk kan det vises algebraisk at dette er slik (senere vil vi se visse unntak fra dette første prinsippet). Naylor og Shine (1965) har nylig publisert et sett med tabeller som gir enkel beregning av økningen i gjennomsnittlig kriteriepoengsum som vil bli oppnådd med en hvilken som helst test gitt at testgyldigheten og testavskjæringspunktet kan spesifiseres. Tabellen er gitt i vedlegget sammen med forklaringer og eksempler på bruken.

Utvelgelsesforhold og prosentandel av vellykkede ansatte:

To andre variabler som spiller en viktig rolle for å bestemme bruken av en prediktor er valgforholdet og prosentandelen av nåværende ansatte anses vellykket. Leseren vil huske at bruken av en prediktor ble definert som kvalitetsforbedring av hyrene som ble oppnådd ved hjelp av en prediksjonsanordning, sammenlignet med nåværende utvalgsmetoder.

Kvalitet er vanligvis definert i forhold til (1) gjennomsnittskriteriepoengsummen til gruppen, eller (2) når det gjelder andelen personer i gruppen som har kriteriepoeng over en verdi som anses å være minimal for at en skal kunne være en vellykket medarbeider. For en gitt gitt gyldighetskoeffisient mellom kriterium og prediktor vil en manipulering av enten utvelgelsesforholdet og / eller en endring i prosent av nåværende arbeidstakere betraktes som vellykket resultere i markante endringer i den resulterende kvaliteten til de ansatte (utvalgte) ansatte.

Utvalgsforhold:

Enkelt beskrevet, kan utvelgelsesforholdet (SR) uttrykkes som:

n / N = SR

Hvor n = antall arbeidsåpninger

N = Antall jobbsøkere tilgjengelig for plassering

Når SR er lik eller større enn 1, 00, har bruken av noen utvalgsenhet liten betydning. Med flere stillinger enn jobbsøkere, er søkeren i et selgermarked der selskapet måtte trenge å kjøpe sine tjenester uavhengig av kvaliteten. Hvis SR er mindre enn 1, 00, så er det flere jobbsøkere enn stillinger, og arbeidsgiveren er i stand til å være selektiv når det gjelder hvem han ansetter.

Måten SR kan påvirke utvelgelsesprosessen på, kan best påvises ved å henvise til figur 2.13. I figur 2.13a vises en scatterplot av poeng som er omtrent den formen som kan forventes med en stor utvalg av mennesker og en korrelasjon mellom prediktor og kriterium på 0, 70 (jo høyere korrelasjon, jo nærmere scatter-plottet vil nærme seg en rett linje, jo lavere korrelasjonen er, desto mer vil scatter-plottet nærme seg en sirkel). Andelen av det ovale som er skyggelagt representerer andelen søkere som faktisk er ansatt, det vil si SR. I figur 2.13a presenteres en SR på 100; Det er en jobbåpning for hver søker, så alle vil bli ansatt.

I del b i figur 2.13 ser vi hva som skjer med den gjennomsnittlige kvaliteten til de som blir ansatt når SR blir 0.80. Siden det er jobber for bare 80 prosent av søkerne, vil arbeidsgiveren logisk anta de 80 prosentene som har høyest prediktor score, siden prediktoren er svært knyttet til etterfølgende kriterieytelse.

Disse 80 prosent er representert av det skyggede området av det ovale fallende til høyre for avskjæringspunktet på prediktoren. Siden de som elimineres, generelt har lave kriteriepoeng, er det enkelt å se hvordan gjennomsnittlig kriteriepoengsum for de som er ansatt med en SR på 0, 80, er høyere enn det er hvis en tilfeldig gruppe søkere ble plassert på jobber som i figur 2.13a. Denne økningen i gjennomsnittlig kvalitet vises enda mer dramatisk i figur 2.13c som illustrerer en SR på 0, 20. I møte med en situasjon hvor det er ti søkere for hver jobb, er arbeidsgiveren "sittende pen" - han kan nå velge de 20 prosent av utøverne. Disse individer er representert av det skyggede området av det ovale fallende til høyre for avskjæringen i figur 2.13c. Forskjellen i gjennomsnittlig kvalitet på kriteriumpoeng for denne utvalgte undergruppen i motsetning til den for hele gruppen er veldig stor. Fordelene til arbeidsgiveren når det gjelder dollar i denne situasjonen, bør absolutt være betydelig.

Det generelle prinsippet om at et lavere utvalgsforhold alltid vil resultere i at bedre kvalitetsansatte blir ansatt, holder så lenge forholdet mellom prediktoren og kriteriet er noe verdi større enn null (negative eller positive r er like effektive hvis de er like store) . Faktisk kan det påvises at prinsippet om utvelgelsesforholdet kan utnyttes effektivt i noen tilfeller selv om alle søkere må ansettes. Dette kan oppstå hvis det er minst to jobber, hver med en rekke åpninger, og hver har sin egen prediktor med større enn null gyldighet.

Prosent av nåværende ansatte som er vellykkede:

I vår diskusjon om validitet og SR har vi så langt antatt kriteriet å være kontinuerlig og derfor jo høyere kriteriet score, desto mer tilfredsstillende er den ansatt som anses å være. La oss nå anta at et kriterium eksisterer som definerer om en arbeidstaker enten er tilfredsstillende eller utilfredsstillende, det vil si hvis han utfører over en standard, anses han som tilfredsstillende, og hvis han utfører under denne standarden, anses han som utilfredsstillende. Diagrammene i figur 2.14 illustrerer dette.

I del a vises et forhold på ca. 0, 70 mellom kriteriet og prediktoren. Vær oppmerksom på at den horisontale linjen, kalt kriteriumavbrudd, skiller alle arbeidstakere i to grupper: de anses vellykket og de som anses mislykket. En slik cut-off må selvfølgelig være ganske vilkårlig i sin natur. Men i mange tilfeller er det ikke så vanskelig å komme frem til enighet om minimal akseptabel ytelse.

Del b i figur 2.14 viser de samme dataene med en prediktoravgrensning basert på et utvalgsforhold på ca. 0, 5. Den siste delen av figuren viser begge kuttene sammen. Når det kombineres på denne måten, blir det mulig å skille mellom de forskjellige underdelene av dataene som dannes ved skjæringspunktet mellom de to avskårne linjer.

Del A. De søkerne som er til høyre for testresultatet, er kuttet og over kriteriet cut-off kalles sanne positive. De er de som sier testen, burde være vellykkede og som faktisk vil lykkes i henhold til kriteriet. De representerer riktige beslutninger basert på testen.

Del B. Dette segmentet omfatter de søkere som har score under prediktorens avskjæring og under kriteriumavbrudd. Kalt de sanne negativene, disse søkerne, som de sanne positive, representerer riktige beslutninger basert på prediktoren.

Del C. Disse søkerne har score under prediktorens avskjæring, men over kriteriet cut-off. Disse menneskene ville ikke bli ansatt dersom ansettelsesbeslutninger ble basert på testen, til tross for at deres eventuelle kriteriepoengsum var høy nok til å plassere dem i tilfredsstillende kategori. Dette representerer en slags feil eller feil som oppstår i testing og refereres til som falske negativer.

Del D. Det siste segmentet av det ovale består av jobbsøkere som ville bli ansatt, men som senere skulle vise seg å være utilfredsstillende i sitt arbeid. Disse personene representerer også "feil" i utvelgelsesprosessen og er kjent som falske positiver.

Flere meningsfulle forhold kan bygges ved hjelp av de ulike delene i figur 2.14c. For eksempel,

(1) C + D / A + B

Dette er et forhold mellom antall feil i valg til antall ansatte riktig plassert. Størrelsen på dette forholdet avhenger av alle tre variablene: plasseringen av kriteriumavbrudd, plasseringen av prediktoravbrudd og validitetskoeffisienten. Ikke bare er størrelsen på dette forholdet påvirket av disse variablene, men det er også den relative størrelsen på de to typer feil, C og D. Vanligvis er arbeidsgiveren mer opptatt av å minimere falske positive enn han er bekymret for antall falske negative .

Dette blir ofte beslaglagt av de som er imot testing som en av de store ondskapene ved vitenskapelig utvelgelse via tester, nemlig at noen mennesker blir avvist som vil lykkes på jobben hvis de får anledning til å bevise seg selv. Leseren må overveie fordelene og ulemperne ved dette problemet for seg selv - forfatterne peker bare på vanskeligheten.

Forfatterne skynder imidlertid å legge til at industrisykologer kan være så sosialt tenkende som deres kritikere. Industrisykologer har generelt dataene for å fortelle hele historien, mens noen kritikere uten noen data i det hele tatt bare "holler" om en feil.

Et annet forhold av betydning er gitt av

(2) A + C / A + B + C + D = prosent for tiden vellykket

Dette representerer andelen av de nåværende ansatte som er tilfredsstillende. Det er en basisprosent som uttrykker graden av suksess som oppnås med hvilke valgmetoder som ble brukt før innføringen av prediktoren. Det tredje forholdet,

(3) A / A + D = prosent vellykket ved hjelp av prediktor er et uttrykk for andelen ansatte søkere som vil lykkes hvis man bruker prediktoren som hjelpemiddel til valg sammen med metodene som nå er ansatt. I den utstrekning at (3) er større enn (2), legger forutsigeren til noe i utvelgelsesprosessen.

Ved å sammenligne den relative størrelsen av (2) og (3), kan noen generelle prinsipper angis:

1. For en bestemt gyldighets- og kriterieavbrudd vil en reduksjon i SR føre til en økning i den effektive gyldigheten. Dermed kan man kompensere for lav statistisk validitet hvis man kan være selektiv i sine ansettelser.

2. For et bestemt statistisk validitets- og utvalgsforhold, jo mindre prosentandelen av nåværende ansatte var tilfredsstillende, desto større prosentvis økning av tilfredsstillende søkere oppnådd ved hjelp av prediktoren. Med andre ord, hvis vi definerer forskjellen mellom forholdene (2) og (3) som

Utility = A + C - A + C / A + B + C + D = prosentøkning i effektivitet

Hvor effektiviteten er definert som prosentandelen av suksessene blir ansatt, vil den største fordelen bli observert under de forhold der den fattigste jobben for tiden gjøres - et logisk utfall. Det er selvfølgelig noen unntak. For eksempel, se figur 2.15.

Legg merke til fra figur 2.15 at uansett hvilken av de tre forskjellige utvalgsforholdene man bruker, vil 100 prosent av alle ansatte søkere til slutt bli vurdert tilfredsstillende. Dermed er det en situasjon der store utvalgsforholdsendringer ikke har noen konsekvens.

Taylor-Russell Tabeller:

Et detaljert uttrykk for de nøyaktige forholdene mellom størrelsen på validitetskoeffisienten, utvelgelsesforholdet og prosentandelen tilfredsstillende arbeidstakere har blitt utarbeidet av Taylor og Russell (1939). Under givne vilkår for validitet, valgforhold og prosent tilfredsstillende, tillater tabellene seg en til å bestemme prosentandelen av ansettelser som vil være tilfredsstillende ved hjelp av prediktoren i forbindelse med dagens metoder.

Imidlertid synes Naylor-Shine-tabellene som er omtalt i avsnittet om prediktorvaliditet, å ha flere fordeler over Taylor-Russell-tabellene. Naylor-Shine-tabellene er formulert i forhold til forskjeller i gjennomsnittskriteriepoeng mellom den valgte gruppen og den opprinnelige gruppen; Taylor og Russell bruker forskjeller i prosenten vellykket mellom den valgte gruppen og den opprinnelige gruppen.

Dermed synes Naylor-Shine-tabellene å gi en mer meningsfylt indeks av testverktøy. Bruken av Taylor-Russell-tabellene krever også at ansatte blir delt inn i to grupper, "vellykket" og "mislykket" ved å velge noen tilfeldig punkt på kriteriedimensjonen som representerer "minimal tilfredsstillende ytelse." Naylor-Shine-bordene krever ikke noen beslutning av denne typen for deres bruk og er derfor mer generelle i deres anvendelighet.

En advarsel. Både Naylor-Shine-bordene og Taylor-Russell-bordene har visse begrensninger som er svært viktige. Begge metoder for å evaluere testverktøyet er basert på forutsetningene om at (1) forholdet mellom prediktor og kriterium er en lineær, og (2) gyldighetskoeffisienten som brukes er en oppnådd ved samtidige gyldighetsprosedyrer.

Smith (1948) og andre har pekt på farene som eksisterer hvis man forsøker å bruke tabeller som Taylor og Russell under forhold der forholdet ikke er lineært mellom prediktoren og kriteriet. Et slikt forhold er vist i figur 2.16. Når slike ikke-lineære forhold eksisterer, er begge tabellene helt upassende for å bestemme testverktøyet.

At begge tabellene antar en validitetskoeffisient basert på samtidige valideringsprosedyrer, kan komme som en overraskelse siden tidligere ble det påpekt at samtidig gyldighet ikke var en særlig god erstatning for prediktiv validitet. Testverktøyet innebærer imidlertid å bestemme økningen i enten gjennomsnittlig kriteriepoengsum (Naylor-Shine-tabeller) eller prosent av vellykkede ansatte (Taylor-Russell-tabeller) over det som nå oppnås med nåværende ansatte. Den grunnleggende scatter-plot er en basert på nåværende ansatte ansatt av de vanlige utvalgsprosedyrene - det typiske samtidig validitetsparadigmet.

Pålitelighet og forutsetninger:

Påliteligheten til kriteriet og forutsetningen er også viktig, først og fremst fordi de påvirker eller setter grenser for størrelsen på validitetskoeffisienten som kan oppnås. Det er et grunnleggende algebraisk forhold som eksisterer mellom validitet og pålitelighet av prediktoren og kriteriet som er

r _pc (oppnådd) = r _pc (sant) √r _pp xr _cc

Hvor

r _pc (oppnådd) = observert korrelasjon (validitet) mellom prediktor og kriterium

r _pc (sant) = "ekte" korrelasjon (validitet) mellom prediktor og kriterium

r _pp = pålitelighet av prediktor

r _cc = pålitelighet av kriterium

Legg merke til fra ovenstående forhold at bare når r _pp og r _pcc er enhet (perfekt pålitelighet) vil den innhentede gyldigheten være lik den sanne gyldigheten. Som påliteligheten av de to tiltakene avtar, så vil den oppnådde gyldigheten. For eksempel, anta r _{pc (sant)} = 0, 06, r _pp = r _pcc = 0, 08, deretter r _{pc (oppnådd)} = 0, 06 √0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Vær også oppmerksom på at hvis påliteligheten av enten prediktoren eller kriteriet er null, vil de innhentede gyldigheten også være null.

Kriterie Relevans:

Relevansen av et kriterium har lite å gjøre med det faktiske empiriske verktøyet til et prediksjonsinstrument, selv om det har mye å gjøre med det logiske verktøyet.