Comment la « théorie des jeux inversés » pourrait contrôler les agents de l’IA

Une deuxième approche, envisagée par Elad Hazan, professeur d’informatique à Princeton, consiste à concevoir des mécanismes qui s’inspirent de la manière dont la société humaine maintient les gens « alignés » : les normes sociales, le système judiciaire, les incitations monétaires du capitalisme de libre marché. « Nous voulons aligner l’IA superintelligente », dit-il. “Pourquoi ne parlons-nous pas d’abord des humains ? Comment aligner les humains ?”

Le mécanisme suggéré par Hazan implique que les modèles d’IA jouent à tour de rôle soit des « résolveurs » qui s’attaquent aux problèmes, soit des « auditeurs » qui vérifient le travail des autres. « Un agent agit comme les forces de l’ordre ; l’autre agent agit comme le citoyen », dit-il.

Pendant la formation, les modèles sont récompensés en fonction des résultats : les solveurs qui sont surpris en train de tricher sont punis, tout comme les auditeurs qui ne parviennent pas à attraper les tricheurs. Dans les situations où il existe un désaccord entre les auditeurs et les résolveurs, l’affaire peut être envoyée en « procès » – peut-être qu’un expert humain décidera qui a raison.

Il existe, admet Hazan, un risque que les agents s’entendent entre eux – comme les auditeurs ont été de connivence avec les entreprises qu’ils sont censés auditer, ou que des policiers corrompus ont été de connivence avec des criminels. Mais ce problème peut être résolu en récompensant suffisamment bien les auditeurs, de sorte que se faire prendre ne vaut pas le risque (beaucoup plus facile dans le monde de la formation en IA que dans le monde réel, où l’argent pour les salaires de la police est serré), et en auditant les auditeurs en utilisant des techniques proches de l’emploi de clients mystères.

Hazan cite les travaux de l’économiste Gary Becker, lauréat du prix Nobel, qui a introduit l’idée du « délinquant rationnel » dans les années 1960. Les criminels n’enfreignent pas la loi parce qu’ils sont intrinsèquement de mauvaises personnes, a-t-il déclaré. Au lieu de cela, ils le font lorsque c’est le choix le plus rationnel compte tenu des incitations proposées. Le crime n’a de sens que lorsque les bénéfices sont supérieurs à la punition potentielle.

L’alignement ne doit pas être considéré comme une propriété d’un modèle, affirme-t-il, mais comme un descripteur de son comportement à un moment donné. “Tu es une personne sympa”, dit-il. “Êtes-vous aligné ? Je ne sais pas. Vous êtes probablement aligné la plupart du temps, mais il pourrait y avoir une situation où vous ne l’êtes pas.”

Un problème potentiel lié à l’application de la conception de mécanismes à l’IA : elle repose sur l’hypothèse que les agents d’IA se comportent de manière rationnelle. La conception des mécanismes a un bilan mitigé auprès des humains, qui ne parviennent souvent pas à se comporter comme le prédisent les modèles économiques.

C’est ironique : les économistes ont passé des décennies à essayer de réduire le comportement humain aux mathématiques, et maintenant, dans de grands modèles de langage, nous avons construit des systèmes mathématiques qui fonctionnent sur le langage humain et pourraient être tout aussi impénétrables. Les modèles d’IA présentent des comportements qui semblent plus humains que mécaniques, et ils peuvent être influencés par des facteurs subtils difficiles à comprendre et à expliquer. « Est-il même raisonnable de supposer qu’ils réagiront aux incitations ? » demande Helen Qu, chercheuse au Flatiron Institute, une organisation à but non lucratif dédiée à l’avancement de la découverte scientifique grâce à des méthodes informatiques, qui a écrit sur la conception de mécanismes et la sécurité de l’IA.