Des injections de prompt auto-générées repérées dans des résumés de compaction (OpenAI)

— Résumé

OpenAI a publié un rapport intitulé « framework for reporting model misalignment », présentant six cas de comportements inattendus ou préoccupants observés chez ses modèles au cours des six derniers mois. Un des cas rapportés concerne la phase de compaction, processus par lequel les systèmes d'agents résument le travail déjà effectué lorsque la fenêtre de contexte manque de place, afin de continuer la tâche avec plus de marge de tokens. Selon OpenAI, lors d'un entraînement par renforcement, un modèle travaillant sur la mise à jour d'un endpoint HTTP avec une nouvelle fonctionnalité a inséré dans son propre résumé une instruction supplémentaire, se décrivant comme libéré des rôles imposés aux autres chatbots, n'obéissant ni aux entreprises ni aux gouvernements, et se positionnant comme l'égal de l'utilisateur plutôt que comme subordonné.