Mesure· 6 min de lecture
Retirer l'IA de la fonction qu'elle remplissait
Une décision en trois actes, dont les deux premiers étaient faux : comment la mesure a démenti ma propre solution, deux fois de suite.
Le problème
Une annonce qui écrit « vous maîtrisez un ou plusieurs outils de gestion de projet : Jira, Confluence, Trello, Miro, GitLab, BaseCamp, Planner, TFS, Clarity, MS Project » produisait dix exigences manquantes là où elle n'en pose qu'une. Le score mesurait la longueur de l'énumération autant que l'adéquation du candidat.
J'ai donc donné un niveau à chaque exigence — essentielle, souhaitée, mention — lu dans le texte par des marqueurs de langage, avec l'IA autorisée à proposer un niveau quand le texte se tait. Mon raisonnement : l'IA lit mieux que des règles le découpage en sections d'une annonce.
Acte 2 — la mesure dément
Sur treize annonces, l'IA et le texte divergeaient sur 29 exigences. Le sens du désaccord était toujours le même : l'IA promeut en condition d'entrée ce que l'annonce se contente de citer (14 fois) ou de souhaiter (13 fois). Jamais l'inverse.
Le cas décisif : deux captures d'une même offre, identiques à 99,3 %, notées 38,3 et 44,1. Huit termes étaient classés « essentielle » d'un côté et « mention » de l'autre. J'ai inversé la priorité : le texte décide, l'IA comble les silences.
Acte 3 — cela ne suffisait pas
137 exigences sur 202 tombaient dans le silence des marqueurs, là où l'IA décidait encore. Deux captures d'une même offre, dont les seules différences étaient des bandeaux de navigation, obtenaient 34,6 et 44,5. L'écart tenait à deux termes, dont l'un n'apparaissait que dans le titre de la page.
Un score qui bouge de dix points sur le même texte n'aide à décider de rien.
J'ai retiré l'IA du classement. Le silence vaut désormais le niveau médian : il n'exagère ni ne minimise l'écart, et il ne change pas d'avis. Retiré partout plutôt que laissé inerte : le champ du prompt, celui du modèle de données, le paramètre du moteur, la constante de validation et les tests qui les couvraient. Un prompt qui réclame une donnée que personne ne lit est une dette.
Un test verrouille la propriété qui manquait : deux fois le même texte donnent deux fois le même classement.