Pourquoi existe-t-il autant de modèles d'IA ?

Quand on parle d'IA, on donne souvent l'impression qu'il s'agit d'un système unique qui s'améliore au fil du temps. En réalité, l'écosystème de l'IA est constitué de nombreuses familles de modèles, chacune développée par des équipes différentes, entraînée dans un but différent et disponible en plusieurs versions.

GPT, Llama, Mistral, Gemma et Qwen sont des exemples de familles de modèles plutôt que de produits individuels figés. Chaque famille peut comprendre des modèles de base, des modèles réglés pour suivre des instructions, des modèles de code, des modèles vision-langage, des modèles plus légers exécutables sur appareil, ainsi que des checkpoints expérimentaux.

C'est pourquoi le nombre de modèles d'IA augmente si rapidement. Une nouvelle famille peut donner lieu à de nombreuses variantes officielles, et chacune de ces variantes peut ensuite servir de point de départ à des fine-tuning réalisés par la communauté, à des adaptations spécifiques à un domaine et à des versions optimisées pour le déploiement.

Un modèle de fondation est un modèle généraliste entraîné sur de larges volumes de données afin de prendre en charge de nombreux usages en aval. Il ne s'agit généralement pas de la version finale utilisée dans chaque produit. Il sert plutôt de plateforme que d'autres équipes adaptent, évaluent et spécialisent.

Par exemple, un modèle linguistique général peut servir d'assistant de programmation, de modèle de synthèse médicale, de classificateur de documents juridiques, de modèle de traduction multilingue ou d'assistant de service client. L'architecture sous-jacente peut être similaire, mais les modèles qui en résultent se comportent différemment, car ils sont optimisés pour des tâches différentes.

Cet effet d'écosystème est l'une des principales raisons qui expliquent le nombre élevé de modèles. L'élément important n'est pas seulement le modèle de fondation d'origine, mais aussi les nombreuses versions pratiques qui se développent autour de lui pour des langues, des domaines, des politiques de sécurité, des objectifs de latence et des environnements matériels spécifiques.

Le fine-tuning consiste à prendre un modèle existant et à poursuivre son entraînement sur des exemples plus spécifiques. Au lieu de partir de zéro, les développeurs s'appuient sur un modèle qui comprend déjà le langage, le code, les images ou d'autres motifs, puis l'adaptent à un objectif plus précis.

LoRA et d'autres techniques d'adaptation rendent ce processus moins coûteux et plus accessible. Elles permettent aux équipes d'adapter un modèle à une tâche spécifique sans réentraîner tous les paramètres du système d'origine. Le résultat peut être publié sous la forme d'un nouveau modèle ou d'un adaptateur qui modifie un modèle de fondation.

Un hôpital, une banque, un laboratoire de recherche, un studio de jeux vidéo ou une entreprise de robotique peuvent tous avoir besoin d’un modèle qui se comporte différemment. Le fine-tuning leur permet de créer des versions spécialisées adaptées à leur vocabulaire, à leurs documents, à leurs contraintes et à leurs flux de travail. Chaque adaptation utile peut devenir une nouvelle contribution à l’écosystème public des modèles.

Les plateformes de modèles ouvertes accélèrent considérablement la mise à disposition des modèles. Hugging Face facilite la publication, la découverte et la réutilisation des modèles. GitHub permet de partager facilement du code d'entraînement, des scripts d'évaluation, des outils de traitement des données et des exemples de déploiement.

Les communautés open source réduisent également les obstacles à l'expérimentation. Une petite équipe peut partir d'un modèle public, tester un nouvel ensemble de données, améliorer les performances pour une langue donnée, compresser le modèle afin de réduire le coût de l'inférence ou développer une version fonctionnant sur du matériel grand public.

Cela ne signifie pas pour autant que tous les modèles publics aient la même importance ou soient prêts à être mis en production. Beaucoup d'entre eux sont des expériences, des tests de performance, des dérivés ou des améliorations progressives. Mais l'écosystème ouvert est précieux, car il transforme le développement de modèles en un processus collaboratif plutôt qu'en une activité fermée, confinée à quelques grands laboratoires.

Le fait qu’il existe un grand nombre de modèles ne signifie pas pour autant que le monde compte des centaines de milliers de systèmes comparables aux plus grands modèles de pointe. La plupart des modèles ne sont pas des systèmes de l’envergure de GPT-4, entraînés à partir de zéro grâce à des budgets colossaux et à une infrastructure privée gigantesque.

De nombreux modèles publics sont de taille réduite, spécialisés ou dérivés de travaux existants. Certains sont des classificateurs, des modèles d’embeddings, des modèles de reconnaissance vocale, des modèles d’image, des modèles de traduction, des modèles de recherche, des checkpoints de recherche ou des variantes fine-tunées d’un modèle de fondation plus vaste.

Cette distinction est importante lorsqu'on analyse les indicateurs liés à l'IA. Un registre de modèles mesure l'activité au sein de l'écosystème, et non le nombre de laboratoires de pointe. Il indique combien d'artefacts réutilisables sont publiés, adaptés et testés au sein de la communauté plus large de l'apprentissage automatique.

Les modèles spécialisés sont utiles car chaque domaine a des exigences spécifiques. Un modèle médical peut devoir comprendre la terminologie clinique, tandis qu'un modèle financier peut devoir traiter des documents réglementaires, le vocabulaire lié aux risques et des informations structurées sur les marchés.

Les modèles de robotique peuvent relier la perception à des actions physiques. Les modèles de traduction peuvent se concentrer sur les langues peu répandues. Les modèles de vision peuvent détecter des défauts industriels, des caractéristiques d'images satellites ou des images médicales. Un modèle général unique peut être impressionnant, mais il ne constitue pas toujours l'outil le plus adapté ou le moins coûteux pour chaque tâche.

Cette diversité rend l'écosystème de l'IA plus résilient et plus pratique. Plutôt que de s'appuyer sur un seul modèle censé répondre aux besoins de tous les utilisateurs, il est possible d'optimiser de nombreux modèles en fonction de critères tels que la précision, la rapidité, la confidentialité, le coût, la couverture linguistique, les contraintes liées aux appareils ou les exigences réglementaires.

Il est probable que le nombre de modèles accessibles au public continue d'augmenter. Si la création et l'adaptation de modèles deviennent plus faciles, davantage d'équipes publieront des versions destinées à des secteurs d'activité, des langues, des appareils, des flux de travail et des questions de recherche spécifiques.

Cette croissance ne sera peut-être pas linéaire. Certains modèles deviendront obsolètes, d’autres seront fusionnés, et certaines plateformes pourraient supprimer les doublons ou les dépôts inactifs. Parallèlement, l’amélioration des outils pourrait rendre la création de modèles aussi courante que la publication de paquets logiciels.

La question la plus importante n'est pas de savoir si ce chiffre s'élève à des centaines de milliers ou à des millions. Il est plus pertinent de se demander combien de modèles sont fiables, bien documentés, évalués et adaptés à une utilisation concrète. La quantité reflète l'activité de l'écosystème ; la qualité détermine sa valeur à long terme.