Les modèles sont récompensés quelle que soit la manière dont ils ont accompli leur tâche, en les incitant à prendre des raccourcis ou à d’autres impulsions douteuses, comme l’accumulation de pouvoir.
Une version de ce problème permet d’expliquer pourquoi l’IA est souvent un échec. Pendant la formation, les modèles sont récompensés pour les réponses les plus susceptibles de recevoir un « coup de pouce » des évaluateurs humains. Connue sous le nom d’« apprentissage par renforcement à partir de commentaires humains » ou RLHF, la technique a été saluée comme une avancée en matière de sécurité en 2022 pour sa capacité à transformer des modèles de langage indisciplinés en chatbots bien élevés, freinant ainsi leur tendance à proposer des réponses racistes et misogynes. Mais cela peut aussi rendre les modèles pathologiquement agréables, complétant et renforçant parfois les illusions des utilisateurs.
L’énigme sous-jacente est de savoir comment entraîner l’IA à faire quelque chose sans lui enseigner par inadvertance la mauvaise leçon – ce que les chercheurs appellent le « problème d’alignement ».
Une nouvelle façon de piloter le comportement des modèles
De la même manière que les neuroscientifiques utilisent l’imagerie par résonance magnétique en temps réel pour identifier les régions de l’activité cérébrale en corrélation avec certains états, les chercheurs en interprétabilité ont développé des outils permettant de reconnaître quels modèles d’activation des neurones numériques correspondent à des concepts tels que « le Golden Gate Bridge » ou le « piratage de récompense », le terme technique désignant la triche de l’IA. Un petit modèle d’IA peut ensuite être entraîné pour repérer ces modèles. Le résultat est connu sous le nom de « sonde », une fenêtre étroite sur le modèle, qui se déclenche lorsqu’il « réfléchit » à un concept particulier.
