Les scores affichés dans les classements de modèles d’intelligence artificielle générative pourraient devenir plus difficiles à optimiser. Artificial Analysis, dont l’outil d’évaluation indépendant occupe une place importante dans le secteur, a lancé la cinquième version de son dispositif avec une modification centrale : la majorité des tests utilisés ne sont plus publics.
Des résultats qui bougent fortement
Cette évolution a déjà provoqué des écarts marqués dans les performances mesurées. Les modèles chinois à poids ouverts figurent parmi les plus concernés par ces variations de scores. Le changement intervient alors que les concepteurs de systèmes d’IA utilisent largement les évaluations comparatives pour présenter leurs progrès et leur position face à leurs concurrents.
Le « benchmaxxing » désigne l’optimisation d’un modèle pour obtenir de meilleures notes sur les tests censés mesurer ses capacités.
Ce phénomène constitue l’un des enjeux associés aux bancs d’essai. Selon CafeTech, certains développeurs peuvent adapter leurs modèles aux critères connus à l’avance, ce qui complique l’interprétation d’un résultat élevé. L’ampleur exacte de cette pratique reste toutefois difficile à mesurer, malgré quelques cas documentés.
Un outil utilisé par les entreprises
Les bancs d’essai ne servent pas uniquement à la communication des éditeurs. Les entreprises s’en servent également pour effectuer une première sélection parmi les modèles disponibles. Une note publiée dans un classement peut donc influencer à la fois la perception des progrès réalisés par un acteur et le choix d’une solution pour un usage professionnel.
- Version concernée : la cinquième mouture de l’outil Artificial Analysis.
- Évolution : une majorité de tests désormais non publics.
- Effet déjà observé : de fortes variations de scores, surtout pour des modèles chinois à poids ouverts.
| Élément | Rôle |
|---|---|
| Bancs d’essai | Mesurer et comparer les capacités des modèles |
| Tests non publics | Réduire l’adaptation directe aux critères connus |
| Scores | Appuyer la communication des concepteurs et un premier tri des solutions |
Avec cette nouvelle méthode, Artificial Analysis cherche à rendre l’évaluation moins prévisible pour les concepteurs de modèles. La démarche ne supprime pas les limites des benchmarks, mais elle modifie les conditions dans lesquelles les résultats sont produits et comparés.
