Trouver une methode de profilage automatique

Rappel: 640 000 observations sur 131 items sur 12 ans , tous âges, sexe, CSP

Il s’agit ici d’une réflexion à voix haute sur une problématique qui nous occupe. Les commentaires sont donc bienvenus.

Les données du problème

L’objectif est qu’à l’issue du test, les résultats permettent de dire si le profil de la personne correspond à une catégorie professionnelle. Autrement dit, de pouvoir dire à un employé qu’il a le profil d’un cadre, ou à un cadre qu’il a le profil d’un chômeur. (un peu d’humour noir …. 🙂 )

Le plus simple étant de prendre un exemple, nous nous baserons sur les « cadres du secteur informatique ».

La première étape est donc de repérer si les « cadres du secteur informatique » répondent différemment des autres catégories professionnelles et, en les rassemblant, générer un indicateur.

Empirique

Nous avons généré toutes les moyennes des 131 questions par catégorie professionnelle. Pour des raisons de confidentialité, nous ne pouvons les rendre public.

Pour autant, nous pouvons sortir quelques chiffres, pour le moins, étonnants.

Pour l’exemple qui nous préoccupe, la Q1 « Je fais attention à ma façon de m’habiller «  marque une différence !

Les cadres du secteur informatique ont une moyenne de 1.93 pts (de 1 à 4. oui =1 , non =4, neutre =2.5)

et les cadres « autres secteurs » ont une moyenne de 1.73 pts.

C’est une différence énorme ! Elle s’interprète facilement : Les cadres du secteur informatique font moins attention à leur façon de s’habiller que les autres. (En cela… pas de commentaires 🙂 )

Oui, mais comment le repérer ? :

– Avec une moyenne de 1.93 pt, nous sommes sur une réponse de type « plutôt oui » , mais avec 1.73 pts aussi ! Nous ne pouvons donc pas repérer sur cette simple question la différence entre les personnes.

Passer outre la méthode classique

La méthode classique la plus simple (que nous utilisons sur d’autres types de résultats au test) consiste à attribuer des points suivant la réponse. L’incrément est linéaire, par exemple : oui = 10pts, plutôt oui=6.5pts, plutôt non=2.5 pts et non=0pts.

Puis de créer un indicateur en moyenne de différentes questions suivant leur importance. Par exemple ( Q1 x 2 + Q123 x5 + Q321 x1 ) / 8 = résultat

Mais dans notre problème, cette méthode sera difficile à mettre en place car elle ne reflète pas « les tendances » par profils. Elle nous oblige à tout faire reposer sur l’importance des questions.
Autrement dit, il y a une sorte de perte d’information dans l’équation que nous serons condamné à essayer de recréer.

La conclusion s’impose : Nous devons trouver un moyen de refléter les différences de profils dans la cotation des réponses.

Autrement dit, nous devons trouver une méthode d’attribution des points non-linéaire et fonction des différences de moyennes.

La nouvelle méthode que nous allons tester

Soit les cadres du secteur informatique avec une moyenne à la Q1 de 1.93 pts , soit 0.25 > à moyenne générale (1.68)

Soit les cadres autres secteurs avec une moyenne à la Q1 de 1.73 pts, soit 0.05 > à moyenne générale

Nous partirons du principe que pour un cadre informatique, le fait de « ne pas faire attention à la façon de s’habiller » est plus courant que pour les autres (sauf les retraités qui montent à 2.09…)

aussi, au lieu d’attribuer la Q1 de la forme 10->6.5->2.5->0, nous coterons la Q1 de la forme 0->10->10->10 , et nous donnerons à cette question un facteur de 25 (écart x 100)

En d’autres termes, nous devons, dans le score final, prendre en compte que pour un cadre informatique, il n’est pas « normal » de faire très attention à la façon de s’habiller, alors que cela peut l’être dans toutes les autres catégories professionnelles.

Autrement dit, la formule finale, appliquée aux 131 questions du test de personnalité, sera composée de ( Ecart_moyenne_totale x 100) x poids + etc.

TODO (à faire)

  1. Ecrire un programme qui établis automatiquement l’équation
  2. vérifier que l’équation donne bien un score nettement différent que les autres CSP
  3. vérifier le taux de positifs sur 100 000 fiches

A suivre …

 

 

 

 

 

Outil « hors normes »

Il nous manquait un outil permettant une vision brute et précise.

Brute dans le sens : hors de toute interprétation.

Précise dans le sens : au niveau des réponses singulières.

Cet outil permet aux utilisateurs de lister les questions pour lesquelles il a répondu à l’opposé de la moyenne. Plus que cela, il peut choisir la moyenne de comparaison, soit par Âge/sexe, soit par CSP.

Les résultats sont particulièrement étonnant car les moyennes diffèrent largement suivant la qualification.

Au niveau de l’interprétation, cela permet de repérer les questions pour lesquelles le sujet est susceptible de choqué la moyenne des personnes, en bien ou en mal. C’est-à-dire, les thèmes sur lesquels l’utilisateur est en décalage.

Leader ou pas

Et voilà de quoi réfléchir…

Le facteur le plus corrélé, quelles que soient les méthodes de l’analyse factorielle, est un groupe de questions qui reflètent le leadership dans le sens « obéir/commander », comme les animaux.

Il est assez incroyable que l’analyse mathématique, hors théorie, nous sorte ce facteur comme étant le premier.

Une deuxième passe nous a permis de segmenter 4 variations/angles. Les résultats sont étonnants !

Nous avons mis en place cette dimension, que nous appelons « Alpha » et ces 4 variations. D’emblée, il y a d’énormes différences quand on sort les moyennes par CSP.

L’évident se vérifie en chiffres : Les CSP+ ont des moyennes largement supérieures au CSP- ,
Les hommes par rapport aux femmes, les 35-45 par rapport aux autres âges. etc.

De quoi faire de jolies publications.

Les tests de recrutement – Etude de J.Pralong

Ca a fait un peu de bruit.

http://chaire.neoma-bs.fr/nouvelles-carrieres/docs/HRI3.pdf

En résumer : les tests de personnalité n’ont pas de caractère prédictif valide en terme de recrutement.

Notre avis : Évidement !  puisque cela n’a jamais été leur objectif d’une part, et ce pour deux raisons simples (dont la première soulignée dans l’étude) :

1. Dans le cadre d’un recrutement, les sujets répondent « intelligemment » par rapport au poste à pourvoir de sorte que leur profil correspondent au stéréotype attendu par le recruteur.

2. Un test de personnalité ne dit rien, et ne peut rien dire par nature, du comportement du sujet dans le futur contexte réel de l’entreprise. Tout juste peut-il dire quelque chose de certaines attitudes par défaut (ex: introvertie, rigoureux etc.), mais rien de l’exercice réel des compétences. Pour combler au mieux cette lacune, il y a les assessment center.

Alors à quoi servent les tests de personnalité ?

Dans le cadre d’un recrutement, les tests servent avant tout à confirmer l’intuition du recruteur, ou, au pire, à lui demander de creuser certains aspects.

A aucun moment un test de personnalité ne peut prétendre à se substituer au travail du recruteur !

Ce qui est intéressant quand même, c’est que même si l’étude met à bas les tests (comprendre: tous les tests qui existent), elle en profite quand même pour donner 4 axes qui devraient être testés et qui ne le sont toujours pas…

Comment comprendre cette hypothèse selon 4 axes ? Est-ce à dire que la  « Neoma BUISNESS School » prépare un test vrai de vrai qui sert à quelque chose ?

Quoi qu’il en soit, nous sommes d’accord sur le fond : Un test de recrutement ne peut et ne doit jamais être suffisant. Il doit rester un effort d’objectivité du recruteur dans le sens :  Confirmer ou infirmer une intuition.