Détermination de l'utilité d'un instrument de sélection dans des industries

L'utilité d'un dispositif de prévision réside dans le fait que son utilisation améliore la qualité des personnes sélectionnées au-delà de ce qui se serait passé si ce dispositif n'avait pas été utilisé. La validité et la fiabilité, qui jouent toutes deux un rôle important dans la détermination de l’utilité de tout instrument de sélection. En outre, il existe plusieurs autres facteurs qui sont tout aussi critiques pour déterminer l'utilité dans toute situation impliquant la sélection d'un groupe.

Ces variables supplémentaires sont:

(1) fiabilité des critères,

(2) pertinence du critère,

(3) le rapport de sélection, et

(4) Le pourcentage d'employés actuels considérés comme ayant réussi.

Le lecteur est prié de garder à l'esprit que la prédiction de groupe est le processus de sélection systématique d'un sous-échantillon de candidats plus aptes à réussir que le groupe dans son ensemble ou tout sous-groupe sélectionné au hasard dans l'ensemble. Cela diffère du processus de prédiction individuelle qui consiste à prédire la probabilité de succès d’une personne donnée plutôt que d’un groupe de personnes.

Il y a bien sûr des situations de sélection qui impliquent des aspects de sélection à la fois individuels et en groupe. Un exemple est un programme de sélection utilisé par la marine américaine dans la sélection des cadets de l'aviation. La Marine utilise des techniques de prévision de groupe avant et pendant les différentes phases de la formation au pilotage.

En outre, il est également nécessaire que des prévisions soient établies pour un cadet spécifique et ses chances de réussite individuelles dans le programme. Ces derniers types de prédictions sont nécessaires chaque fois que le dossier d'un cadet pendant l'instruction est suffisamment médiocre pour l'amener devant un comité de révision. Pour ce programme Navy, les mêmes prédicteurs de base sont utilisés pour les prédictions de groupe et individuelles.

Validité du prédicteur:

Le principal indice statistique influençant l'utilité de tout instrument de prévision est sa validité. Bien qu'il soit démontré que des situations à validité faible et même nulle peuvent encore aboutir à une sélection assez réussie dans des conditions spéciales, le coefficient de validité reste la variable centrale de la sélection. A titre d’illustration, considérons les diagrammes de la figure 2.10 dans lesquels sont représentées deux relations prédicteurs-critères différentes, l’une avec une validité de 0, 00 et l’autre avec une validité de 0, 70. Dans les deux cas, un score seuil sur le prédicteur a été établi, ce qui nous permet de prendre les 50% les plus performants du test.

Quel facteur prédictif entraînera la plus forte augmentation du score de critère moyen du groupe sélectionné par rapport à ce qui a été réalisé par les méthodes précédentes (à savoir, la sélection aléatoire)? En examinant tout d'abord le prédicteur A en termes de répartition des personnes sur la seule dimension du critère, nous constatons que le score moyen au critère du groupe «accepté» est exactement le même que celui du groupe «rejeté». C'est-à-dire que les personnes acceptées en prenant la moitié supérieure des scores du test A n'ont pas tendance à avoir des scores de critères plus élevés que les 50% les plus bas des correcteurs du test A, comme le montre la figure 2.11.

Cependant, lorsque nous examinons le prédicteur B, nous obtenons une image tout à fait différente. Nous pouvons voir immédiatement que les personnes au-dessus du seuil semblent mieux répondre au critère que les personnes au-dessous du seuil. C'est-à-dire que les personnes au-dessus du seuil ont un score de critère moyen supérieur à celui des personnes en dessous. Ceci est illustré à la Figure 2.12, qui montre à nouveau les trois distributions de valeurs de critères.

Il semble donc que notre premier principe général en matière d’utilité du test soit le suivant: plus le seuil de validité est élevé, plus le score moyen des critères pour le groupe sélectionné est élevé par rapport à celui observé pour le groupe total.

En d'autres termes, la différence:

(X groupe sélectionné ) - (X groupe total )

augmentera proportionnellement à la validité du test. En effet, on peut montrer algébriquement que tel est le cas (nous verrons plus tard certaines exceptions à ce premier principe). Naylor et Shine (1965) ont récemment publié une série de tableaux permettant de calculer facilement l’augmentation du score moyen des critères qui sera obtenu avec tout test, étant donné que la validité et la limite de test peuvent être spécifiées. Ce tableau est donné en annexe avec des explications et des exemples d'utilisation.

Ratio de sélection et pourcentage d'employés ayant réussi:

Le ratio de sélection et le pourcentage d'employés actuels considérés comme ayant réussi sont deux autres variables qui jouent un rôle important dans la détermination de l'utilité d'un prédicteur. Le lecteur se souviendra que l’utilité d’un prédicteur était définie comme l’amélioration de la qualité des recrutements obtenus à l’aide d’un dispositif de prédiction par rapport aux méthodes actuelles de sélection.

La qualité est généralement définie en termes de (1) le score de critère moyen du groupe, ou (2) en termes de proportion de personnes de ce groupe qui ont des scores de critère supérieurs à une valeur considérée comme minimale pour être un employé qui réussit. Pour tout coefficient de validité obtenu entre le critère et le prédicteur, une manipulation du ratio de sélection et / ou une modification du pourcentage d'employés actuels considérés comme ayant abouti entraînera des changements marqués dans la qualité des employés embauchés (sélectionnés).

Ratio de sélection:

Simplement décrit, le rapport de sélection (SR) peut être exprimé par:

n / N = SR

Où n = nombre de postes disponibles

N = nombre de demandeurs d'emploi disponibles pour le placement

Lorsque le SR est égal ou supérieur à 1, 00, l'utilisation de tout périphérique de sélection a peu de signification. Avec plus de possibilités d'emploi que de candidats, le demandeur se trouve sur un marché de vendeurs où l'entreprise peut avoir besoin d'acheter ses services quelle que soit sa qualité. Si, toutefois, le SR est inférieur à 1, 00, alors il y a plus de candidats que de postes et l'employeur est en mesure de choisir les personnes qu'il embauche.

La meilleure façon dont le RS peut influer sur le processus de sélection peut être démontrée en consultant la Figure 2.13. La figure 2.13a montre un diagramme de dispersion des scores correspondant approximativement à la forme que l’on pouvait espérer avec un large échantillon de personnes et à une corrélation de 0, 70 entre le prédicteur et le critère (plus la corrélation est élevée, plus le diagramme de dispersion est proche). s’approchera d’une ligne droite; plus la corrélation est faible, plus le diagramme de dispersion se rapprochera d’un cercle). La proportion de l'ovale qui est ombrée représente la proportion de candidats qui sont réellement embauchés, à savoir le SR. La figure 2.13a présente un SR de 100; il y a une offre d'emploi pour chaque candidat, donc tous seront embauchés.

Dans la partie b de la figure 2.13, nous voyons ce qu’il advient de la qualité moyenne des personnes embauchées lorsque le RS atteint 0, 80. Puisqu'il n'y a que des emplois pour 80% des postulants, l'employeur engagera logiquement les 80% présentant les scores de prédicteur les plus élevés, ce dernier étant fortement lié aux performances de critère ultérieures.

Ces 80% sont représentés par la zone ombrée de l'ovale qui tombe à droite du point limite du prédicteur. Étant donné que les personnes éliminées possèdent généralement des scores critères faibles, il est facile de voir comment le score critère moyen pour les personnes embauchées avec un RS de 0, 80 est supérieur à celui obtenu si un groupe aléatoire de candidats occupaient un emploi, comme le montre la figure 2.13a. Cette augmentation de la qualité moyenne est illustrée de manière encore plus spectaculaire à la figure 2.13c, qui illustre un SR de 0, 20. Face à une situation dans laquelle il y a dix candidats pour deux emplois, l'employeur est «assis à sa place» - il peut maintenant sélectionner les 20% les plus performants. Ces individus sont représentés par la zone ombrée de l'ovale qui tombe à droite de la coupure, à la figure 2.13c. La différence de qualité moyenne du score de critère pour ce sous-groupe sélectionné par opposition à celle de l'ensemble du groupe est très grande. Les avantages en termes de dollars pour l’employeur dans cette situation devraient certainement être substantiels.

Le principe général selon lequel un ratio de sélection inférieur donnera toujours lieu à des employés de meilleure qualité lors de l'embauche est valable tant que la relation entre le prédicteur et le critère correspond à une valeur supérieure à zéro (les r négatifs ou positifs sont également efficaces s'ils sont d'égale ampleur). . En fait, il peut être démontré que le principe du ratio de sélection peut être utilisé efficacement dans certains cas, même si tous les candidats doivent être embauchés. Cela peut se produire s'il existe au moins deux travaux, chacun comportant un nombre d'ouvertures et disposant chacun de son propre prédicteur avec une validité supérieure à zéro.

Pourcentage d'employés présents qui réussissent:

Dans notre discussion concernant la validité et le RS, nous avons jusqu'ici supposé que le critère était continu et que par conséquent, plus le score du critère était élevé, plus le travailleur était considéré comme satisfaisant. Supposons maintenant qu’un critère de score existe permettant de déterminer si un travailleur est satisfaisant ou non. En d’autres termes, s’il dépasse un standard, il est considéré comme satisfaisant et s’il respecte un niveau inférieur, il est considéré comme non satisfaisant. Les diagrammes de la figure 2.14 illustrent cela.

Dans la partie a, une relation d'environ 0, 70 entre le critère et le prédicteur est indiquée. Notez que la ligne horizontale, appelée limite de critère, sépare tous les travailleurs en deux groupes: ceux considérés comme ayant réussi et ceux considérés comme ayant échoué. Bien entendu, une telle coupure devra être de nature plutôt arbitraire. Cependant, dans de nombreux cas, il n’est pas trop difficile de parvenir à un consensus concernant une performance minimale acceptable.

La partie b de la figure 2.14 présente les mêmes données avec un seuil de prédicteur basé sur un rapport de sélection d'environ 0, 5. La dernière partie de la figure montre les deux seuils ensemble. Lorsque combiné de cette manière, il devient possible de distinguer les différentes sous-parties des données qui sont formées par l'intersection des deux lignes de coupure.

Partie A. Les candidats qui se trouvent à droite du seuil de score du test et au-dessus du seuil de critère sont appelés vrais positifs. Ce sont ceux qui, selon le test, doivent réussir et qui réussiront en fonction du critère. Ils représentent des décisions correctes basées sur le test.

Partie B. Ce segment comprend les candidats dont les scores sont inférieurs au seuil de prédicteur et au seuil de critère. Appelés les vrais négatifs, ces candidats, comme les vrais positifs, représentent des décisions correctes fondées sur le prédicteur.

Partie C. Ces candidats ont des scores inférieurs au seuil de prédicteur mais supérieurs au critère. Ces personnes ne seraient pas embauchées si les décisions d'embauche étaient fondées sur le test, en dépit du fait que leur score de critère éventuel était suffisamment élevé pour les placer dans la catégorie «satisfaisant». Cela représente un type d'erreur ou d'erreur qui survient lors des tests et est appelé faux négatifs.

Partie D. Le dernier segment de l'ovale est constitué de candidats à un emploi qui seraient embauchés mais qui se révéleraient par la suite insatisfaisants dans leur travail. Ces personnes représentent également des «erreurs» dans le processus de sélection et sont appelées faux positifs.

Plusieurs ratios significatifs peuvent être construits en utilisant les différentes parties de la figure 2.14c. Par exemple,

(1) C + D / A + B

Il s'agit du rapport entre le nombre d'erreurs dans la sélection et le nombre d'employés correctement placés. La taille de ce rapport dépend des trois variables: l'emplacement du seuil de critère, l'emplacement du seuil de prédicteur et le coefficient de validité. Non seulement la taille de ce ratio est affectée par ces variables, mais également l'ampleur relative des deux types d'erreurs, C et D. Généralement, l'employeur est plus soucieux de minimiser les faux positifs que le nombre de faux négatifs. .

Ceux qui s’opposent aux tests considèrent souvent que c’est l’un des plus grands maux de la sélection scientifique par le biais de tests, à savoir que certaines personnes sont rejetées et réussiraient sur le tas si on leur donnait la possibilité de le prouver. Le lecteur devra délibérer lui-même sur le pour et le contre de ce problème - les auteurs soulignent simplement la difficulté.

Cependant, les auteurs s'empressent d'ajouter que les psychologues industriels peuvent être aussi socialement responsables que leurs critiques. Les psychologues industriels ont généralement les données pour raconter toute l'histoire, alors que certains critiques sans aucune donnée se contentent de "crier" d'une erreur.

Un autre rapport d’importance est donné par

(2) A + C / A + B + C + D = pourcentage de réussite actuelle

Cela représente le pourcentage d'employés actuels qui sont satisfaisants. C'est un pourcentage de base qui exprime le degré de réussite obtenu avec les méthodes de sélection utilisées avant l'introduction du prédicteur. Le troisième rapport,

(3) A / A + D = pourcentage de réussite avec l'utilisation du prédicteur est une expression de la proportion de candidats embauchés qui réussiront si l'on utilise le prédicteur comme aide à la sélection avec les méthodes actuellement utilisées. Dans la mesure où (3) est supérieur à (2), le prédicteur ajoute quelque chose au processus de sélection.

En comparant l’ampleur relative de (2) et (3), on peut énoncer quelques principes généraux:

1. Pour toute validité particulière et limite de critère, une réduction du SR entraînera une augmentation de la validité effective. Ainsi, on peut compenser la faible validité statistique si on peut être sélectif dans ses recrutements.

2. Pour tout rapport de validité statistique et de sélection particulier, plus le pourcentage d'employés actuels jugé satisfaisant est faible, plus le pourcentage d'augmentation du nombre de candidats satisfaisants obtenu à l'aide du prédicteur est important. En d’autres termes, si nous définissons la différence entre les ratios (2) et (3) comme

Utilité = A + C - A + C / A + B + C + D = augmentation en pourcentage de l'efficacité

Lorsque l'efficacité est définie comme le pourcentage de succès obtenus, le bénéfice le plus important sera observé dans les conditions où le travail le plus médiocre est actuellement effectué - résultat logique. Il y a quelques exceptions, bien sûr. Par exemple, considérons la figure 2.15.

Notez dans la Figure 2.15 que, quel que soit le rapport de sélection utilisé, 100% des candidats embauchés seront finalement jugés satisfaisants. Il existe donc une situation dans laquelle les modifications importantes du rapport de sélection sont sans conséquence.

Tables de Taylor-Russell:

Taylor et Russell (1939) ont élaboré une description détaillée des relations exactes entre la taille du coefficient de validité, le rapport de sélection et le pourcentage d'employés actuellement satisfaisants. Dans des conditions données de validité, de taux de sélection et de pourcentage de satisfaction, leurs tableaux permettent de déterminer le pourcentage d’embauches satisfaisantes à l’aide du prédicteur en conjonction avec les méthodes actuelles.

Cependant, les tables de Naylor-Shine présentées dans la section sur la validité des prédicteurs semblent présenter plusieurs avantages par rapport aux tables de Taylor-Russell. Les tableaux de Naylor-Shine sont formulés en termes de différences dans le score de critère moyen entre le groupe sélectionné et le groupe d'origine; Taylor et Russell utilisent des différences dans le pourcentage de succès entre le groupe sélectionné et le groupe d'origine.

Ainsi, les tables de Naylor-Shine semblent donner un indice plus utile de l’utilité du test. De plus, l'utilisation des tables de Taylor-Russell exige que les employés soient séparés en deux groupes, «réussi» et «non réussi», en sélectionnant un point arbitraire sur la dimension du critère qui représente «une performance minimale satisfaisante». Les tables de Naylor-Shine ne nécessitent aucune décision de ce type pour leur utilisation et sont donc plus générales dans leur applicabilité.

Une note de prudence. Les tables de Naylor-Shine et de Taylor-Russell ont certaines limitations qui sont très importantes. Les deux méthodes d'évaluation de l'utilité du test reposent sur l'hypothèse selon laquelle (1) la relation entre le prédicteur et le critère est linéaire et (2) le coefficient de validité utilisé est celui obtenu par les procédures de validité concurrente.

Smith (1948) et d'autres ont souligné les dangers qui existent si l'on essaie d'utiliser des tableaux tels que ceux de Taylor et Russell dans des conditions où la relation n'est pas linéaire entre le prédicteur et le critère. Une telle relation est illustrée à la figure 2.16. Lorsque de telles relations non linéaires existent, les deux tables sont totalement inappropriées pour déterminer l'utilitaire de test.

Le fait que les deux tables supposent un coefficient de validité basé sur des procédures de validation simultanées peut être une surprise, car il a été souligné précédemment que la validité concurrente ne constituait pas un substitut particulièrement efficace de la validité prédictive. Toutefois, l’utilité du test implique de déterminer l’augmentation du score moyen des critères (tableaux de Naylor-Shine) ou du pourcentage d’employés ayant obtenu un succès (tableaux de Taylor-Russell) par rapport à celui obtenu avec les employés actuels. Le nuage de points de base est basé sur les employés actuels embauchés selon les procédures de sélection habituelles - le paradigme typique de validité concurrente.

Fiabilité du prédicteur et du critère:

La fiabilité du critère et du prédicteur est également importante, principalement parce qu’elle influence ou limite la taille du coefficient de validité susceptible d’être obtenu. Il existe une relation algébrique fondamentale entre la validité et la fiabilité du prédicteur et le critère qui est

r pc (obtenu) = r pc (vrai) √r pp xr cc

r pc (obtenu) = corrélation observée (validité) entre le prédicteur et le critère

r pc (vrai) = corrélation «vraie» (validité) entre le prédicteur et le critère

r pp = fiabilité du prédicteur

r cc = fiabilité du critère

Notez, d'après la relation ci-dessus, que la validité obtenue sera uniquement égale à la validité réelle lorsque r pp et r pcc sont égaux à l'unité. À mesure que la fiabilité des deux mesures diminue, la validité obtenue diminue également. Par exemple, supposons que r pc (true) = 0, 06, r pp = r pcc = 0, 08, puis r pc (obtenu) = 0, 06 √0, 80 x 0, 80 = 0, 60 (0, 80) = 0, 48. Notez également que si la fiabilité du prédicteur ou du critère est égale à zéro, leur validité obtenue sera également égale à zéro.

Pertinence du critère:

La pertinence d'un critère a peu à voir avec l'utilité empirique réelle d'un instrument de prévision, bien qu'elle ait beaucoup à voir avec son utilité logique.