Un grand modèle de langage Open Source, qu'est-ce que c'est ?

Un grand modèle de langage (LLM)Open Source contient du code et une architecture accessibles publiquement, qui permettent de l'utiliser, le modifier et le distribuer gratuitement. En raison des aspects complexes de la conception et de la distribution des LLM, il est parfois difficile de déterminer si un LLM est réellement Open Source.

En règle générale, le terme « Open Source » renvoie à la possibilité d'accéder à l'ensemble de la conception d'un produit. Dans le cas des logiciels Open Source, ce terme renvoie à la version d'un programme informatique couverte par un type spécifique de licence, dans le cadre de laquelle le code source est mis à la disposition du grand public à des fins d'utilisation ou de modification. Généralement, le logiciel peut être considéré comme Open Source dans les cas suivants :

• Son code source est disponible sans coût supplémentaire.
• Le code source peut être réutilisé pour créer un autre logiciel.

Dans le cadre des LLM, les valeurs de l'Open Source jouent un rôle essentiel : elles permettent d'éliminer les obstacles pour mieux comprendre l'innovation technologique et y contribuer. 

Les critères qui définissent un LLM Open Source n'ont pas encore été clairement et unanimement définis par les experts du secteur, car la définition traditionnelle du code Open Source ne peut s'appliquer aussi simplement aux technologies d'intelligence artificielle (IA).

Contrairement au code Open Source classique, qui comporte principalement des instructions de programmation, un LLM repose sur :

• de (très) grandes quantités de données d'entraînement, susceptibles de comporter des travaux protégés ou des données privées, ce qui peut poser des problèmes juridiques en cas de partage ;
• des paramètres numériques appelés pondérations, qui déterminent la façon dont les données d'entrée sont traitées pour leur donner du sens, ainsi que la façon dont le modèle comprend le langage. Les pondérations sont comme des blocs de construction qui créent le « cerveau » d'un modèle et déterminent sa façon d'accorder la priorité à des thèmes lorsqu'il traite des informations.

En d'autres termes, il ne s'agit plus simplement de code. Les LLM sont bien plus complexes, car ils nécessitent des modèles mathématiques et des ensembles de données pour créer du contenu. Si les LLM « ouverts » peuvent divulguer des pondérations du modèle et les premières lignes de code, ils ne partagent pas nécessairement chaque source de données utilisée pour créer le LLM en premier lieu. En revanche, un LLM Open Source partage chaque étape et chaque source de données dans le cadre d'une licence permissive qui autorise d'autres personnes à utiliser, modifier et distribuer ce modèle. 

Lorsque les recettes d'un LLM sont distribuées pour une utilisation gratuite, les particuliers et les entreprises peuvent exploiter le travail d'autres utilisateurs et profiter ainsi de nombreux avantages, notamment :

L'amélioration collaborative : la collaboration renforcée entre diverses sources est probablement l'avantage le plus important des LLM Open Source. L'accès élargi aux technologies d'IA générative facilite l'expérimentation et l'apprentissage tout en réduisant les biais, en augmentant la précision et en améliorant les performances.

La transparence : lorsque la méthode d'entraînement d'un modèle n'est pas clairement exposée, il est difficile de se fier aux résultats proposés. Les LLM Open Source offrent une transparence complète sur leur entraînement. Les utilisateurs peuvent comprendre leur fonctionnement et disposent des informations nécessaires pour déterminer si et comment ils appliqueront cette technologie.

Un effet réduit sur l'environnement : lorsque les modèles sont transparents, le travail qui a déjà été accompli est bien visible. Cet aspect permet d'éliminer les redondances dans les systèmes d'apprentissage et d'évaluation et contribue ainsi à éviter la création de calculs et d'émissions supplémentaires.

L'accessibilité financière : les LLM nécessitent globalement de nombreuses ressources et leur entraînement à partir de zéro est, en général, très coûteux. L'accès à un LLM propriétaire implique une probable responsabilité des frais de licence. La possibilité d'exploiter gratuitement le travail final d'autres utilisateurs élimine les obstacles à l'entrée pour les entreprises qui ne pourraient pas financer le développement d'un LLM.

Regarder le webinar sur l'exploitation de l'IA avec l'Open Source et Kubernetes

Les principes de l'Open Source sont à l'origine de nombreux aspects fondamentaux de l'Internet tel que nous le connaissons. Le modèle de développement Open Source a donné naissance à quelques-unes des principales applications et plateformes cloud utilisées aujourd'hui.

Cet esprit de liberté s'amplifie dans les grands modèles de langage et au travers de leur degré d'ouverture ou de fermeture au public. Intéressons-nous à certains des LLM les plus courants :

Modèles fermés
ChatGPT d'OpenAI et Claude d'Anthropic sont des modèles fermés. Ils sont strictement contrôlés et mis à la disposition des utilisateurs avec des restrictions, par le biais de services d'API payants.

Modèles ouverts
Le terme « Open Source » est utilisé couramment pour désigner tous les LLM qu'il est possible de télécharger gratuitement sur des plateformes comme Hugging Face. C'est le cas du modèle Llama 2 de Meta. Cependant, les conditions de Llama 2 ne correspondent pas à la définition courante des logiciels Open Source, car l'utilisateur doit accepter des clauses et des restrictions au sein du contrat de licence. En fait, Meta a mis en place des restrictions juridiques et morales pour définir ce qu'est une « utilisation acceptable ». De plus, selon le contrat de licence, une entreprise qui a un nombre précis d'utilisateurs mensuels doit déposer une demande pour toute licence supplémentaire auprès de Meta.

Modèles sous licence Open Source
La famille de modèles Granite d'IBM Research et les modèles Mistral AI sont des exemples de LLM disponibles avec une licence Apache 2.0. Ces modèles peuvent être utilisés gratuitement à des fins commerciales sans restrictions. Cependant, même ces modèles ne permettent pas l'inspection de toutes leurs données d'entraînement, dans certains cas en raison de restrictions de licence.

Chez Red Hat, nous œuvrons pour un avenir dans lequel chacun peut avoir accès à du code qui provient d'une base ouverte et fiable pour y contribuer, le réviser et s'en servir de base. Nous sommes convaincus que le modèle de développement Open Source permet de créer des technologies plus stables, plus sécurisées et plus innovantes. Face au développement continu de l'IA, nous proposons des plateformes Open Source qui peuvent aider les entreprises à concevoir, déployer et surveiller des modèles et des applications d'IA pour leurs besoins spécifiques avec leurs propres données.

La plateforme de modèle de fondation Red Hat® Enterprise Linux® AI facilite le développement, les tests et l'exécution des LLM de la famille Granite pour les applications d'entreprise. Basée sur les technologies de système d'exploitation Linux, de conteneurisation et d'automatisation, notre stratégie de cloud hybride ouvert permet aux entreprises d'exécuter des applications d'IA dans tous types d'environnements.

IBM et Red Hat ont développé le projet et la communauté Open Source InstructLab afin d'améliorer les LLM en suivant les principes de l'Open Source. Le projet InstructLab rassemble des données d'entraînement sélectionnées par des humains, génère des données synthétiques basées sur les données d'entraînement fournies, puis utilise ces données synthétiques pour réentraîner le modèle de base. Les contributions qu'apporte la communauté déclenchent régulièrement la publication de nouvelles versions du LLM. InstructLab offre une solution économique pour renforcer l'alignement des LLM. Il est ouvert à tous les contributeurs, même à ceux qui débutent encore dans le domaine des technologies d'apprentissage automatique.

Conçue sur la base de technologies Open Source, la plateforme d'applications d'entreprise Red Hat OpenShift® AI permet aux équipes de créer, d'exploiter et de faire évoluer leurs applications en toute confiance. En plus de l'accélération du matériel, la solution OpenShift AI facilite l'acquisition et la préparation des données, ainsi que l'entraînement, la surveillance, le réglage fin et le déploiement des modèles.