Le logiciel peut aider les développeurs à guider les applications d’IA génératives pour créer des réponses textuelles impressionnantes qui restent sur la bonne voie.
Il a été récemment révélé que Nvidia a publié un nouveau logicielappelé Garde-corps NeMo, pour aider les développeurs et les entreprises à guider et contrôler les réponses génératives de leurs IA.
Garde-corps NeMo vise à créer des chatbots IA et d’autres applications créé à partir de modèles de langage étendus (LLM) sont exactes, appropriées, pertinentes et sécurisées. En d’autres termes, aidera les utilisateurs à empêcher les modèles d’IA d’indiquer des faits incorrects, sortir du sujet, parler de sujets dangereux ou ouvrir des failles de sécurité. L’annonce suggère que NeMo Guardrails peut aider à résoudre le problème hallucinant du chatbot AI, mais beaucoup sont sceptiques à ce sujet.
Malgré le battage médiatique, les grands modèles d’IA générant du texte comme le GPT-4 d’OpenAI font beaucoup d’erreurs, dont certaines sont préjudiciables. Et c’est que, comme nous le savons, les IA sont formées à partir de téraoctets de données pour créer des programmes capables de créer des blocs de texte qui sont lus comme s’ils étaient écrits par un humain.
Mais ils ont aussi tendance à inventer des choses, que les praticiens appellent souvent « hallucinations ». Les premières applications de la technologie, telles que la synthèse de documents ou la réponse à des questions de base, doivent minimiser les “hallucinations” pour être utiles.
Les créateurs de ces modèles d’IA prétendent agir pour résoudre les problèmes, tels que la mise en place de filtres et d’équipes de modérateurs humains pour résoudre les problèmes lorsqu’ils sont signalés. Mais il n’y a pas de solution unique.
Même les meilleurs modèles actuels sont sensibles aux biais, à la toxicité et aux attaques malveillantes. Dans sa quête de LLM “plus sécurisés”, Nvidia a publié NeMo Guardrails, un ensemble d’outils open source visant à rendre les applications alimentées par l’IA plus précises, appropriées, pertinentes et sécurisées. Nvidia a déclaré que son outil est le résultat d’années de recherche.
D’après NvidiaGarde-corps NeMos est une couche logicielle qui se situe entre l’utilisateur et le LLM ou d’autres outils d’IA depuis supprime les mauvais résultats avant que le modèle ne les produise et empêche le modèle de traiter des indications incorrectes.
Dans un communiqué, Jonathan Cohen, vice-président de la recherche appliquée de Nvidia, a expliqué :
« Si vous avez un chatbot de service client, conçu pour parler de vos produits, vous ne voulez probablement pas qu’il réponde aux questions sur nos concurrents. Vous voulez surveiller la conversation. Et si cela se produit, vous orientez la conversation vers les sujets que vous préférez.”
NeMo Guardrails inclut du code, des exemples et de la documentation pour ajouter de la sécurité aux applications d’IA qui génèrent du texte et de la parole. Nvidia indique que la boîte à outils est conçue pour fonctionner avec la plupart des LLM, permettant aux développeurs de créer des règles en utilisant seulement quelques lignes de code.
«En fin de compte, les développeurs contrôlent ce qui est en dehors des limites de leur application avec NeMo Guardrails. Ils peuvent développer des garde-corps trop larges ou au contraire trop étroits pour leur cas d’utilisation », a déclaré Cohen.
Garde-corps NeMo permet aux développeurs de définir trois types de limites :
- Mesures de sécurité Les thèmes empêchent les applications d’être redirigées vers des domaines indésirables. Par exemple, ils empêchent les assistants du service client de répondre aux questions sur la météo.
- Mesures de sécurité, ils s’assurent que les applications répondent avec des informations exactes et appropriées. Ils peuvent filtrer le langage indésirable et s’assurer que les références ne sont faites qu’à des sources crédibles ;
- Les applications sont limitées pour établir des connexions avec des applications tierces externes connues pour être sûres.
Selon Nvidia, NeMo Guardrails peut utiliser un LLM pour détecter les hallucinations en demandant à un autre LLM de vérifier la réponse du premier LLM.
Il renvoie ensuite “Je ne sais pas” si le modèle ne trouve aucune réponse correspondante. Bien que la méthode semble pratique, plusieurs critiques ont exprimé leur scepticisme à son égard. À cet égard, Nvidia a reconnu que NeMo Guardrails n’est pas une solution unique aux lacunes du modèle de langage. Le géant basé à Santa Clara, en Californie, a déclaré que son nouvel ensemble d’outils n’était pas sans défauts. En d’autres termes, NeMo Guardrails ne couvrira pas tout.
Cohen aussin souligne que NeMo Guardrails fonctionne beaucoup mieux avec des modèles suffisamment bons pour suivre des instructions, telles que ChatGPT, et qui utilisent le framework populaire LangChain pour créer des applications alimentées par l’IA.
Cela exclut certaines des options open source existantes. En plus des questions sur l’efficacité de l’outil, il convient de noter que Nvidia ne libère pas nécessairement NeMo Guardrails par pure bonté. Il fait partie du framework NeMo de la société, qui est disponible via la suite logicielle d’IA d’entreprise de Nvidia et son service cloud NeMo entièrement géré.
Enfin, si vous souhaitez en savoir plus, vous pouvez consulter les détails dans le lien suivant.
