Sécurité & IA
Sécuriser un agent IA : permissions, injections de prompt et traçabilité
Un agent qui utilise des outils peut produire des effets sur des systèmes réels. Sa sécurité doit donc couvrir les données qu’il lit, les instructions qu’il reçoit et les actions qu’il peut exécuter. Les recommandations OWASP consacrées à l’IA et aux agents éclairent ces risques ; leur traitement demande des contrôles dans l’application, au-delà du texte d’une consigne.
Identifier les entrées et les effets possibles
Cartographiez les sources lues : messages, documents, pages ou résultats d’API. Listez ensuite les effets permis, par exemple consulter une fiche, préparer un envoi ou modifier un dossier. Cette vue met en évidence les endroits où une information externe pourrait influencer une action.
Classez les opérations selon leurs conséquences et définissez leurs conditions. Une recherche interne et un envoi à un tiers ne demandent pas le même contrôle. Le périmètre doit être assez précis pour vérifier qu’une action reste conforme à l’intention de l’utilisateur.
Limiter les outils et vérifier les autorisations
Appliquez les droits dans les services appelés par l’agent. Vérifiez l’identité, l’organisation et les objets concernés avant toute opération. Évitez les accès administrateur génériques lorsque des capacités restreintes suffisent à la tâche.
Les paramètres doivent être contrôlés et les effets importants confirmés selon le parcours prévu. Un outil peut préparer une modification avant son exécution. Cette séparation facilite la revue et empêche qu’une explication persuasive du modèle tienne lieu d’autorisation.
Séparer les informations et les instructions autorisées
Un document peut contenir des phrases qui cherchent à donner des ordres à l’assistant. Le système doit conserver la distinction entre son objectif et le contenu consulté. Une affirmation présente dans un fichier ne devient pas une permission pour exporter des données ou changer les règles.
Réduisez les capacités disponibles lorsque l’agent traite des sources externes. Les protections ne doivent pas dépendre d’un seul message demandant d’ignorer les instructions malveillantes. L’architecture des outils, la limitation des données et les vérifications d’effet constituent des couches complémentaires.
Conserver un suivi utile sans tout exposer
Enregistrez les événements nécessaires pour comprendre une tâche : outils utilisés, état, erreurs et validations. Évitez de conserver systématiquement des secrets ou la totalité des documents. Définissez qui peut consulter ces traces et pendant combien de temps elles sont utiles.
Prévoyez un mécanisme de désactivation et une procédure d’incident. Si un outil se comporte mal, l’équipe doit pouvoir limiter ses effets sans reconstruire tout le service. Les identifiants et les droits des composants doivent également pouvoir être renouvelés ou révoqués.
Tester les limites et les changements
Préparez des cas de contenu contradictoire, de données non autorisées, de paramètres incorrects et d’actions répétées. Vérifiez les effets réels dans un environnement adapté. Une réponse qui promet de respecter une règle ne suffit pas à montrer que le contrôle fonctionne.
Rejouez les cas sensibles après un changement de modèle, d’outil ou de consigne. Lancez avec un périmètre réduit et attribuez la revue des incidents. Le but est une automatisation dont les frontières restent vérifiables lorsque les composants évoluent.
Les points à vérifier
- Cartographier sources et effets autorisés.
- Appliquer les permissions dans les services.
- Séparer informations externes et instructions.
- Tracer les validations sans exposer les secrets.
- Tester les limites et prévoir la désactivation.
Questions fréquentes
Une consigne de sécurité suffit-elle ?
Non. Les droits, paramètres et effets doivent être contrôlés par l’application et les services. La consigne contribue au comportement, mais ne remplace pas ces frontières.
Faut-il journaliser toutes les conversations ?
Pas systématiquement. Choisissez les traces utiles au diagnostic et aux responsabilités, avec un accès et une conservation adaptés. Les journaux peuvent eux-mêmes contenir des données à protéger.
Un projet à explorer
Hush Messenger
Hush Messenger met en avant le contrôle des identités et des accès. Cette attention aux frontières constitue une question de conception à reprendre pour un agent connecté à des outils.
Explorer le projet