JetBrains présente les recommandations pour la gouvernance de l'IA agentique, notamment concevoir des workflows IA avec des points de contrôle intentionnels et une notation des risques avec JetBrains Central

JetBrains présente ces recommandations pour la gouvernance de l'IA agentique, notamment concevoir des workflows IA avec des points de contrôle intentionnels et une notation des risques avec JetBrains Central

JetBrains est une société spécialisée dans le développement de logiciels, qui conçoit des outils destinés aux développeurs et aux chefs de projet. L'entreprise a son siège social à Amsterdam et dispose de bureaux en Chine, en Europe et aux États-Unis. JetBrains propose divers environnements de développement intégrés (EDI), tels que IntelliJ IDEA, PyCharm, WebStorm et CLion. Elle a également créé en 2011 le langage de programmation Kotlin, qui peut s'exécuter dans une machine virtuelle Java (JVM).

En mars, Jetbrains a présenté JetBrains Central, un système ouvert pour le développement de logiciels agentique, qui transforme les workflows isolés basés sur l’IA en un système de production unifié. Il connecte les outils, les agents et l’infrastructure pour permettre l’exécution, la surveillance et la gestion des tâches automatisées au sein des équipes, avec une visibilité claire sur les résultats, les coûts et les performances.

De nombreuses organisations déploient déjà des flux de travail IA agentique. Certains en sont encore au stade expérimental, tandis que d'autres sont déjà opérationnels. Dans ce contexte, JetBrains présente ces recommandations pour la gouvernance de l'IA agentique pour garantir la responsabilité et le contrôle.


Réfléchissez à la chaîne de commandement

Dès lors qu'un agent IA peut agir au nom d'une entreprise, la question n'est plus de savoir s'il est utile, mais ce qui se passe en cas de problème. Il est tentant de se concentrer sur la recherche de responsables : le fournisseur d'IA, le responsable, l'ingénieur ou l'employé dont les données ont alimenté le modèle. Mais on ne peut pas attendre qu'un échec se produise pour commencer à mettre en place une gouvernance. La responsabilité doit être intégrée dès le départ dans le système par le biais d'autorisations, de limites, de surveillance et de traçabilité.

Les entreprises n'achètent pas seulement des capacités d'IA. Elles achètent de la confiance et un contrôle opérationnel. Les systèmes agentiques ont besoin d’une place définie au sein du modèle opérationnel d’une organisation. Lorsqu’un agent IA approuve un bon de commande ou met à jour une fiche client, il agit au nom d’une personne ou d’une fonction spécifique, comme le marketing ou l’informatique.

Cette responsabilité est importante. Quelqu’un doit avoir autorité sur le résultat : approuver la logique métier, surveiller le comportement et intervenir lorsque le système dévie. La gouvernance ne signifie pas surveiller chaque appel d’API. Elle implique une responsabilité claire. Sans cela, la responsabilité disparaît de l’organigramme.

Tenez compte de vos conditions limites

La flexibilité des LLM dans le cloud rend tentant d’accorder d’emblée des autorisations étendues. En pratique, c’est là que le risque commence. Une question clé de gouvernance n’est pas « Qui est responsable en cas de fuite ? », mais « Cet agent aurait-il dû être autorisé à accéder à ce système ? ». L’octroi excessif d’autorisations crée une exposition inutile.

Une gouvernance à grande échelle nécessite une approche cohérente en matière de garde-fous, de gestion des accès et de contrôle entre les agents et les workflows, une approche qui s'adapte à mesure que le nombre d'agents, d'équipes et de systèmes augmente. JetBrains Central a été conçu pour répondre à ce besoin : intégrer la gouvernance au cœur même de l'infrastructure de développement, plutôt que de la traiter comme un élément rajouté après coup, une fois que les workflows d'IA sont déjà en production.

Traitez les agents comme de nouvelles recrues. Ne laissez pas un agent IA improviser sur la politique de remboursement ou accéder aux systèmes RH sans autorisation. Accordez plutôt l’autonomie par paliers. Faites en sorte que l’agent respecte des périmètres restreints et des règles strictes du type « jamais » jusqu’à ce que vous soyez sûr qu’il puisse assumer davantage de responsabilités.

Mettez en place une piste d'audit efficace

Les applications traditionnelles suivent des chemins de code déterministes. En cas de panne, les journaux expliquent ce qui s'est passé. Les agents basés sur les LLM ne se comportent pas ainsi. Une même entrée peut produire des résultats différents selon le contexte, le modèle, l'état du système et même le moment, ce qui rend la traçabilité essentielle. Une piste d'audit pertinente doit consigner : qui a lancé l'action, l'intention ou le workflow qui l'a déclenchée, quels systèmes et données ont été concernés, ce que l'agent a renvoyé ou modifié, si une politique a été enfreinte, la durée et le coût.

C'est là que les outils prennent toute leur importance. L'équipe de JetBrains déclare : « Chez JetBrains, nous considérons cela comme un véritable problème de produit. Un tableau de bord d'audit de l'IA doit permettre d'inspecter le comportement au niveau des actions et des workflows individuels, sans avoir à deviner. »

Maintenir l’humain dans la boucle stratégique

Par exemple, un agent qui approuve automatiquement les factures supérieures à 10 000 $ devrait signaler chaque approbation avec un indicateur de risque, la règle de politique à laquelle elle correspond et un lien vers un réviseur, et pas seulement un horodatage dans un fichier journal. La révision humaine est importante, mais certaines approches sont meilleures que d’autres. L’approbation systématique n’est pas la solution, pas plus que d’exiger une validation manuelle pour chaque action.

La solution consiste à concevoir des workflows avec des points de contrôle intentionnels et une notation des risques. Laissez l’agent gérer le travail de routine de manière autonome, mais signalez les actions à fort impact pour qu’elles soient examinées par un humain.

Les organisations peuvent étendre progressivement l’autonomie d’un agent, mais uniquement lorsqu’il existe des preuves claires que les contrôles sont efficaces et que le système continue de fonctionner dans le respect de la politique. Les seuils doivent être déterminés par des preuves, et non par l’instinct. Cela permet de maintenir l’implication humaine là où le jugement est important, tout en permettant au système d’évoluer.

Réduire la portée des incidents et définir les responsabilités

Deux aspects supplémentaires prennent une importance cruciale pour la confiance des entreprises :

- Isolation : les agents doivent fonctionner dans des environnements contrôlés : identifiants à portée restreinte, portée des incidents limitée et capacité de restauration. En cas de problème, les dégâts doivent être circonscrits. Il s'agit là d'une isolation classique des pannes appliquée aux systèmes autonomes, et cela revêt d'autant plus d'importance lorsque l'acteur est non déterministe.

- Indemnisation : l'autre question que les entreprises soulèvent systématiquement concerne la responsabilité en cas de défaillance, notamment en matière de propriété intellectuelle. Un fournisseur de confiance ne se contente pas de proposer des outils ; il offre des garanties contractuelles et techniques quant à la limitation de la responsabilité et à la gestion des risques.

La gouvernance est un choix produit

La gouvernance n’est pas un simple ajout. Elle fait partie intégrante de l’architecture, des flux de travail et des relations qu’un produit crée. Les organisations qui considèrent la gouvernance comme une fonctionnalité essentielle progresseront plus rapidement, résoudront les problèmes plus efficacement, fonctionneront avec des limites plus claires et auront la confiance nécessaire pour laisser les agents IA effectuer un travail utile sans supervision constante.

Concevoir dans une optique de responsabilité signifie que lorsqu’un problème survient – et cela finira par arriver –, vous savez déjà qui est responsable, ce que l’agent a fait et comment y remédier. C’est ce qui rend l’IA agentique viable en entreprise. Et c’est là que le vrai travail commence. JetBrains conclut : « Nous travaillons avec un groupe restreint d’organisations pour explorer ces défis dans la pratique. Devenez partenaire de conception JetBrains Central. »

Devenez partenaire de conception