StableLM et est conçu pour générer efficacement du texte et du code
La nouvelle a été publiée que IA de stabilité, l’entreprise à l’origine du modèle d’IA d’imagerie à diffusion stablea annoncé le premier de son ensemble de modèles de langage StableLM.
Avec lui Stability espère reproduire les effets de son modèle de synthèse d’images open source Stable Diffusion, sorti en 2022. Avec raffinement, StableLM pourrait être utilisé pour construire une alternative open source à ChatGPT.
Pour ceux qui ne connaissent pas Stability AI, sachez qu’il s’agit d’une société basée à Londres qui se positionne comme un rival open source d’OpenAI, une société qui développe des modèles de langage artificiel puissants mais propriétaires tels que ChatGPT.
À propos de StableLM
StableLM est le nom de la famille de modèles de langage artificiel créés par Stability AI, qui sont disponibles en open source sur GitHub sous la licence Creative Commons BY-SA-4.0. StableLM est un modèle de génération de texte qui peut composer un texte humain et écrire des programmes en prédisant le mot suivant dans une séquence. Il utilise une technique appelée “prédiction de puce” qui consiste à deviner le fragment de mot suivant à partir du contexte fourni par un humain sous la forme d’un “indice”.
Comme les autres “petits” LLM StableLM prétend atteindre des performances similaires au modèle de référence GPT-3 d’OpenAI tout en utilisant beaucoup moins de paramètres généraux (7 milliards pour StableLM contre 175 milliards pour GPT-3).
StableLM prétend avoir des performances similaires à GPT-3, le modèle de langage qui alimente ChatGPT, tout en utilisant beaucoup moins de paramètres (7 milliards contre 175 milliards). Les paramètres sont des variables que le modèle utilise pour apprendre à partir des données d’apprentissage. Avoir moins de paramètres rend le modèle plus petit et plus efficace, ce qui peut faciliter son exécution sur des appareils locaux tels que les smartphones et les ordinateurs portables.
StableLM formés sur un nouveau jeu de données basé sur The Pile, contenant 1,5 billion de jetons, soit environ 3 fois la taille de The Pile. The Pile est un ensemble de données de haute qualité et diversifié pour la formation de modèles de langage.
Stability AI mentionne que les modèles sont déjà disponibles dans le référentiel GitHub et qu’un livre blanc complet sera bientôt disponible, et se réjouit de continuer à collaborer avec les développeurs et les chercheurs lors du déploiement de la suite StableLM.
En outre, ils mentionnent le lancement du programme de collaboration ouverte RLHF et la collaboration avec des efforts communautaires comme Open Assistant pour créer un ensemble de données open source pour les assistants IA.
Enfin, en parlant des versions de Stability AI, nous pouvons également souligner qu’elle a annoncé la version bêta de SDXL (qui signifie Stable Diffusion Extra Large), un nouveau modèle d’intelligence artificielle capable de générer des images à partir de descriptions textuelles. SDXL est le dernier ajout à la suite Stable Diffusion, qui comprend également les modèles SD, SDT et SDC.
SDXL diffère des autres modèles par sa taille et ses capacités. Avec 2,3 milliards de paramètres, SDXL est plus de 2,5 fois plus grand que le modèle SD original, qui n’en avait que 890 millions. Ces paramètres supplémentaires permettent à SDXL de générer des images qui adhèrent mieux aux modèles complexes. Par exemple, SDXL peut produire du texte lisible sur des images ou créer des portraits étonnamment réalistes de personnages fictifs.
SDXL est actuellement en version bêta dans DreamStudio et d’autres applications d’imagerie populaires telles que NightCafe Creator. Comme tous les modèles Stability AI, SDXL sera bientôt publié en open source pour une accessibilité optimale. Stability AI annonce que SDXL est sous licence permissive pour une utilisation commerciale et non commerciale, tant que vous suivez les directives éthiques et légales.
Enfin, si vous souhaitez en savoir plus, vous pouvez consulter les détails dans le lien suivant.
