L’entreprise essaie d’éviter un autre incident de Hugging Face.
OpenAI formera désormais des modèles d’IA frontaliers sans accès à Internet, a annoncé la société dans un article de blog, dans le but de protéger l’infrastructure Internet et de limiter d’autres risques de sécurité. La décision a été inspirée par le propre incident d’IA malveillant d’OpenAI : en juillet, la société a déclaré que les agents qu’elle testait avaient piraté Hugging Face, le premier d’une série de rapports sur le mauvais comportement de l’IA d’OpenAI, d’Anthropic et de Google.
“Sur la base de l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité de l’infrastructure Internet, nous pensons que l’approche responsable consiste à organiser une formation sur les modèles frontières sans accès à Internet”, déclare OpenAI.
La société a déclaré que les restrictions sur ce à quoi les agents peuvent accéder sont « primordiales » pour sa nouvelle approche. La société permet aux agents d’accéder aux navigateurs, aux outils informatiques et aux environnements de code dont ils ont besoin pour les tâches de formation, mais dans un environnement sécurisé qui n’est pas connecté à Internet en direct. La communication est également limitée aux seuls agents autorisés.
OpenAI
Tout le reste reste hors de portée, y compris l’Internet en direct, qui, selon l’entreprise, n’est pas nécessaire pour la formation et « la plupart des évaluations ». Parce que bon nombre de ses modèles récents sont destinés à alimenter des agents comme Dots, qui parcourent et utilisent des applications pour vous, OpenAI a créé un « monde hors ligne » de matériel Web indexé et mis en cache que les agents peuvent utiliser sans toucher aux sites Web en direct.
Même avec ces restrictions, OpenAI affirme que les agents de l’équipe rouge envoyés pour tester les mesures de sécurité ont trouvé des vulnérabilités qui leur ont permis d’échapper aux machines virtuelles (VM) utilisées pour isoler les agents de leur système hôte. Les agents ont également trouvé un moyen de communiquer entre eux en manipulant les données dans le cache d’un processeur et en chronométrant le temps de chargement. Pour résoudre ces deux problèmes, OpenAI affirme avoir divulgué et corrigé des vulnérabilités dans plusieurs machines virtuelles et ajouté des contrôles à ses systèmes de surveillance pour détecter lorsque les modèles tentent de collaborer.
OpenAI a suspendu la formation aux frontières en septembre. En annonçant ce nouveau processus sans Internet, l’entreprise a indiqué qu’elle avait repris la formation le 1er octobre. OpenAI prévoit de poursuivre la formation aux frontières sans accès à Internet jusqu’à ce que les améliorations des garanties existantes « justifient un accès Internet plus large », mais elle n’a pas précisé à quoi ressembleraient ces améliorations.
