Caractéristiques de l'évaluateur: Fiabilité et prévisibilité des évaluations

Jusqu'ici, nous avons ignoré les noteurs eux-mêmes et leur importance pour le processus d'évaluation des performances. Bien qu'il ait été indiqué que les évaluateurs sont soumis à de nombreuses «erreurs» de jugement et que les échelles d'évaluation devraient être conçues pour minimiser ces erreurs, les caractéristiques de chacun des évaluateurs n'ont pas été examinées quant à leur incidence sur le processus d'évaluation.

Fiabilité et prévisibilité de l'évaluateur:

Le problème des caractéristiques des évaluateurs a fait l’objet de beaucoup d’attention ces dernières années. Buckner (1959) a exploré la relation entre l’accord des évaluateurs et la mesure dans laquelle on peut prédire des évaluations avec une autre variable. En d'autres termes, Buckner a posé la question «Des évaluations très fiables impliquent-elles un critère qu'il sera plus facile de prévoir?». La réponse s'est révélée non. Buckner a divisé ses notes en quatre groupes, en fonction de l’accord des juges pour attribuer leurs notes.

Groupe 1: les juges étaient très d'accord sur ces taux

Groupe 2: les juges étaient d'accord modérément sur ces taux

Groupe 3: les juges étaient peu d'accord sur ces taux

Groupe 4: les juges étaient à zéro d'accord sur ces taux

Il a ensuite procédé à la validation de deux tests en établissant une corrélation entre les résultats des tests et leur notation - cette opération a été effectuée pour chaque groupe séparément. Il n'a trouvé aucune relation systématique entre la taille de ses validités obtenues en fonction du groupe avec lequel il travaillait. Windle et Dingman (1960) ont critiqué l'interprétation de Buckner et ont réalisé une deuxième étude dans laquelle ils trouvaient les résultats présentés dans le tableau 7.4.

Notez les grandeurs relatives des coefficients de validité indiqués dans le tableau 7.4. Plus les évaluateurs sont fiables, plus les validités sont élevées. De même, plus les cotes sont fiables, plus les validités sont élevées.

Par conséquent, on pourrait logiquement s'attendre à des résultats plus proches de ceux de Windle et Dingman que de ceux de Buckner. Cependant, il faut aussi garder à l'esprit qu'une fiabilité élevée n'est qu'une condition nécessaire pour des validités élevées - ce n'est pas une condition suffisante.

Wiley, dans une série d’études, a examiné la cohérence des jugements d’évaluateur au fil du temps en ce qui concerne leur accord avec les jugements antérieurs du même évaluateur (Wiley 1963; Wiley et Jenkins, 1963) et leur accord avec un groupe composite. classement (Wiley et Jenkins, 1964). En général, les noteurs ont été notés de manière cohérente jusqu'à une période de dix mois.

En outre, il a constaté que les évaluateurs qui étaient en accord étroit avec le groupe composite dans une tâche de notation initiale étaient également ceux qui étaient le plus en accord avec le composite de groupe pour une tâche d'évaluation différente un mois plus tard. Il suggère que ces connaissances puissent être utilisées pour sélectionner des évaluateurs véritablement représentatifs du consensus moyen d’un groupe d’évaluateurs plus large.

Malheureusement, le problème de savoir si les évaluateurs qui sont en accord avec le groupe composite sont les meilleurs évaluateurs à solliciter n'a pas encore été résolu. Cependant, il est logique de penser que s’il est possible d’obtenir une note composite en utilisant un nombre réduit d’évaluateurs qui se rapprochent du composite obtenu en utilisant un nombre plus élevé, on peut certainement gagner du temps et de l’argent.

Il a été démontré que de nombreuses autres caractéristiques des évaluateurs jouent un rôle dans les évaluations de performance obtenues par les notations. Christal et Madden (1960) ont montré qu’un point important à prendre en compte était la mesure dans laquelle un évaluateur connaissait la profession qu’il évaluait, constatation corroborée par d’autres études de Madden (1960-1961). De même, Wiley, Harber et Giorgia (1959a, 1959b) ont démontré que l'influence des tendances généralisées sur les évaluateurs était perceptible dans leurs effets sur les notations.

Format d'évaluation et jugement d'évaluation de la performance:

Madden a rapporté un certain nombre d'études traitant de l'influence de l'échelle de notation elle-même. Dans une étude (Madden, 1960b), il a constaté que la fiabilité et la facilité d’évaluation n’étaient pas influencées par l’utilisation ou le manque d’exemples dans la définition de l’échelle d’évaluation, mais par le fait de savoir si l’échelle était définie ou non. affecter la fiabilité et la facilité d'utilisation.

Dans une étude ultérieure, Madden et Bourdon (1964) ont étudié l’effet de sept formats différents d’échelles de notation sur les notations de 15 professions différentes sur 9 facteurs d’emploi différents. Les résultats, bien que de nature quelque peu compliquée, indiquaient clairement que la note attribuée à une profession dépendait à la fois du facteur travail impliqué et du format d’échelle de notation utilisé.