JetBrains présente le Benchmark Kotlin : un benchmark destiné à évaluer les agents de codage IA sur des tâches d'ingénierie logicielle Kotlin

JetBrains s.r.o. (anciennement IntelliJ Software s.r.o.) est une société à responsabilité limitée internationale spécialisée dans le développement de logiciels, qui conçoit des outils destinés aux programmeurs (développeurs de logiciels) et aux chefs de projet. JetBrains propose divers environnements de développement intégrés (EDI), tels que IntelliJ IDEA, PyCharm, Rider, WebStorm et CLion. Elle a également créé en 2011 le langage de programmation Kotlin, qui peut s'exécuter sur une machine virtuelle Java (JVM).

Kotlin est un langage de programmation multiplateforme, à typage statique, polyvalent et de haut niveau, doté d’une inférence de types. Kotlin est conçu pour interagir pleinement avec Java, et la version pour la machine virtuelle Java (JVM) de la bibliothèque standard de Kotlin s’appuie sur la bibliothèque de classes Java. L'inférence de types permet une syntaxe plus concise que celle de Java, tandis que les fonctionnalités de sécurité null réduisent une catégorie courante d'erreurs d'exécution. Kotlin cible principalement la JVM, mais se compile également en JavaScript (par exemple, pour les applications web front-end utilisant React) ou en code natif via LLVM (par exemple, pour les applications iOS natives partageant une logique métier avec des applications Android). JetBrains prend en charge les coûts de développement du langage, tandis que la Fondation Kotlin protège la marque Kotlin.

Les benchmarks de codage par agents se rapprochent de plus en plus du développement logiciel en conditions réelles. Pour les équipes Kotlin, la question la plus importante est de savoir dans quelle mesure les agents IA sont capables d’accomplir de manière fiable des tâches Kotlin de bout en bout, depuis la lecture d’un ticket jusqu’à la production d’une solution validée.

L'équipe de JetBrains franchit une première étape pour combler cette lacune en lançant le Benchmark Kotlin, le benchmark officiel de JetBrains destiné à évaluer les agents de codage IA sur des tâches d’ingénierie logicielle Kotlin. L'objectif est d’offrir aux développeurs un moyen public et fiable d’évaluer les performances de différents agents sur Kotlin et de comparer leurs configurations à l’aide de tâches plus proches du travail quotidien des développeurs. Parallèlement à la publication du benchmark, ils mettent à disposition les ressources associées sur GitHub et lancent le classement officiel permettant de suivre les résultats des évaluations.


Fonctionnement du Benchmark Kotlin

La première version publique du Benchmark Kotlin s’appuie sur la méthodologie SWE-bench et se concentre sur des tâches d’ingénierie logicielle Kotlin au niveau des dépôts. Kotlin dispose déjà de solides ressources d’évaluation axées sur les modèles, notamment Kotlin_HumanEval et Kotlin_QA, qui permettent de mesurer la compréhension par un modèle de la syntaxe et des concepts fondamentaux du langage. Le Benchmark Kotlin s’intéresse à un autre niveau : la capacité d’un agent de codage IA à mener à bien des tâches d’ingénierie logicielle validées dans des projets Kotlin existants.

L’ensemble de données comprend 105 tâches d’ingénierie issues de dépôts open source actifs. Chaque tâche exige de l’agent IA qu’il interprète la description d’un véritable ticket, qu’il s’oriente dans le contexte du projet et qu’il génère un correctif fonctionnel. Les solutions sont rigoureusement vérifiées dans des environnements conteneurisés, et une tâche n’est considérée comme résolue que lorsque la solution générée passe avec succès les tests de vérification requis.

Premiers résultats

Les premières évaluations montrent que les principaux agents de codage sont capables de mener à bien une grande partie des tâches actuelles du Benchmark Kotlin. Ces résultats reflètent la première itération publique du benchmark et n’incluent pas encore les versions les plus récentes des modèles. JetBrains travaille déjà sur la deuxième itération et met à jour le classement à mesure que de nouvelles évaluations seront ajoutées.

Lors de cette série de tests, le meilleur résultat a été obtenu par Claude Code avec Opus 4.7 xhigh, qui a résolu 90 tâches sur 105, soit un taux de résolution de 85,71 %. JetBrains Junie avec Opus 4.7 max (81,9 %) et Codex avec GPT 5.5 xhigh (81,9 %) suivaient de près. Le classement complet est disponible, et vous pouvez comparer en détail les agents et les configurations.


Pour les équipes qui évaluent des agents de codage, ce benchmark fournit un cadre de référence commun permettant de comparer les configurations sur des tâches Kotlin, plutôt que de se fier uniquement aux affirmations des fournisseurs. Les scores sont fournis à titre indicatif et ne constituent pas une garantie pour chaque base de code. Les résultats concrets dépendent de votre architecture, de vos API internes, de vos normes de codage, de vos outils et de votre processus de validation.

Voici les prochaines étapes du Benchmark d'après JetBrains :

Prochaines étapes

Nous privilégions une approche ouverte, c’est pourquoi nous avons développé ce benchmark sur l’infrastructure open source Multi-SWE-bench et rendu publics tous les ensembles de données et les harnais de test.

Nous considérons les benchmarks comme un pipeline continu de mesure de la qualité. À l’avenir, nous prévoyons d’étendre le cadre dans les domaines suivants :

- Une couverture plus large de l’écosystème Kotlin : nous souhaitons que l’éventail des tâches reflète mieux la manière dont Kotlin est utilisé dans la pratique, notamment dans des domaines tels qu’Android et Kotlin Multiplatform, et couvre un éventail plus large de niveaux de difficulté des tâches.

- Davantage de métriques d’évaluation : la réussite des tests est un indicateur utile de la justesse, mais ce n’est qu’une partie de l’évaluation des agents. Les prochaines itérations prendront en compte le coût, les performances, la maintenabilité et la qualité du code.

- Davantage d’agents et de configurations de modèles : nous prévoyons d’évaluer davantage d’agents commerciaux, de configurations d’agents et de modèles à poids ouverts, afin que les équipes puissent comparer un éventail plus large de configurations.

Le benchmark est ouvert : vous pouvez donc examiner les tâches, comparer les résultats et nous indiquer quels scénarios Kotlin nous devrions aborder ensuite.

Consultez le Benchmark Kotlin