Cours
Travailler avec l'API OpenAI
3 h
173.9K
Depuis le lancement de ChatGPT fin 2022 – l’événement qui a marqué le début de la révolution actuelle de l’IA – les modèles d’IA générative gagnent en puissance et en diversité. De nouveaux modèles, de tailles, de fonctionnalités, de modalités et d’usages variés, arrivent sur le marché chaque jour, rendant les limites du possible difficiles à cerner.
Dans l’ensemble, une tendance nette se dégage vers des modèles toujours plus grands et plus complexes. Augmenter le nombre de paramètres et la quantité de données d’entraînement est généralement considéré comme la meilleure stratégie pour améliorer les performances des grands modèles de langue (LLM), la technologie au cœur des modèles d’IA générative. Consultez notre article dédié pour savoir en détail ce qu’est un LLM.
Cependant, face aux inquiétudes croissantes liées aux ressources nécessaires pour entraîner et exécuter ces grands modèles (ainsi que à leur empreinte environnementale), l’efficacité dans le développement et le déploiement de l’IA gagne rapidement du terrain.
Cet article présente Stable Code 3B, le tout dernier modèle publié par Stability AI, conçu spécifiquement pour un codage précis et réactif. Extrêmement performant sur les tâches de programmation, ce LLM atteint des niveaux comparables à l’état de l’art tout en réduisant considérablement sa taille.
Qu’est-ce que Stable Code 3B ?
Publié en janvier 2024 par Stability AI, Stable Code 3B est un LLM de 3 milliards de paramètres développé pour la programmation. Il s’agit d’une version évoluée de son prédécesseur, Stable Code Alpha 3B.
Stable Code 3B excelle dans les tâches de complétion de code et peut servir d’excellent outil pédagogique pour les débutants. Le modèle est disponible gratuitement à des fins de recherche ou pour un usage personnel. Pour des applications commerciales, il faut souscrire à l’une des offres d’abonnement Stability AI.
Stable Code 3B fait partie des meilleurs produits parmi les LLM de même taille (voir plus de détails sur ses métriques de performance dans la section suivante), avec d’excellents résultats pour un encombrement nettement inférieur. Grâce à sa conception compacte et à son efficacité, Stable Code 3B peut fonctionner hors ligne sur des ordinateurs portables classiques, même sans GPU dédié, comme un MacBook Air.
Comment fonctionne Stable Code 3B ?
Stable Code 3B est un modèle compact de 2,7 milliards de paramètres. C’est un transformeur « decoder-only » similaire au LLaMA open source de Meta. Consultez notre article dédié pour découvrir tous les détails de LLaMA.
Le processus d’entraînement de Stable Code 3B s’inspire clairement de CodeLLaMA de Meta. Le modèle part du LLM préentraîné de Stability AI, StableLM-3b-4e1t, qui sert de modèle de base.
Ce modèle a suivi un affinage en deux étapes. D’abord, il a été entraîné sur de multiples jeux de données de code et liés au code, notamment CommitPack, GitHub Issues, StarCoder et d’autres jeux de données en mathématiques. Les données d’entraînement couvrent 18 langages de programmation largement utilisés, dont Python, R, Java et C.
Ensuite, le modèle a été affuté avec des séquences plus longues de 16 384 jetons en appliquant la technique « fill-in-the-middle », comme le suggère l’article de recherche de CodeLLaMA. Cette deuxième étape permet au modèle de gérer de longs contextes jusqu’à 100 000 jetons. C’est particulièrement adapté aux tâches de programmation : avec des entrées plus longues, les développeurs peuvent fournir davantage de contexte et de larges blocs issus de leur base de code pour générer des sorties plus pertinentes et précises.
Mesures de performance de Stable Code 3B
Les équipes de Stability AI ont conçu un modèle qui atteint l’état de l’art par rapport aux modèles de taille similaire sur les métriques MultiPL-E, testées sur plusieurs langages de programmation. La comparaison est illustrée dans l’image suivante :
Comparaison des performances Multi-PL des modèles de moins de 3B. Source : Stability AI
Stable Code 3B se distingue aussi face à des modèles nettement plus grands. Par exemple, il atteint le même niveau de performance que CodeLLaMA 7B, sa principale source d’inspiration, tout en réduisant la taille du modèle de 60 %.
Comparaison de Stable Code Completion 3B avec CodeLLama 7B. Source : Stability AI
Applications de Stable Code 3B
Les assistants de codage dopés à l’IA comme Stable Code 3B ouvrent de nombreuses opportunités en développement logiciel et en analyse de données. Voici quelques façons dont les développeurs utilisent déjà l’IA :
Automatisation des tâches
Stable Code 3B peut automatiser sans accroc des tâches répétitives et fastidieuses, comme exécuter des requêtes SQL simples, réaliser une analyse exploratoire de données et industrialiser des projets de data science. Les développeurs gagnent ainsi un temps précieux et peuvent se concentrer sur des travaux plus complexes et stratégiques. Pour voir comment cela fonctionne en pratique, découvrez notre guide de l’utilisation de ChatGPT en data science.
Correction de bugs
Le débogage est souvent long et délicat, surtout sur des projets complexes avec des centaines de lignes de code. Stable Code 3B est l’assistant idéal pour accélérer ce processus en analysant votre code en quelques secondes et en proposant des suggestions de structure et de correction. Grâce à sa fenêtre de contexte étendue, vous pouvez lui fournir de grands scripts : Stable Code 3B repérera les erreurs potentielles et les pièges dans votre code.
Optimisation du code
Sur des projets exigeants en ressources de calcul, l’efficacité est essentielle. La manière d’écrire le code influe directement sur les performances. Stable Code 3B peut vous aider à réécrire votre code pour améliorer son efficacité, ce qui vous fait gagner du temps, des ressources et de l’argent.
Interprétabilité du code
Comprendre le code des autres peut s’avérer difficile, en particulier pour les profils juniors. Stable Code 3B peut non seulement suggérer des améliorations, mais aussi fournir des explications détaillées sur un morceau de code, vous aidant ainsi à apprendre plus vite.
Pour découvrir comment l’IA générative peut servir l’apprentissage, nous vous recommandons vivement d’essayer DataCamp Workspace. Nous utilisons les modèles GPT 3.5 et GPT-4 pour propulser notre IDE de data science et vous aider à comprendre des syntaxes complexes. Consultez aussi notre guide pour démarrer sur DataCamp Workspace.
Comment télécharger le modèle Stable Code 3B
La meilleure façon de démarrer avec Stable Code 3B est d’utiliser l’API HuggingFace. Vous pouvez importer facilement le modèle dans votre environnement Python et commencer à générer du texte avec le code suivant :
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-3b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
"stabilityai/stable-code-3b",
trust_remote_code=True,
torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("import torch\nimport torch.nn as nn", return_tensors="pt").to(model.device)
tokens = model.generate(
**inputs,
max_new_tokens=48,
temperature=0.2,
do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))Comment utiliser Stable Code 3B à des fins commerciales
Comme indiqué plus haut, Stable Code 3B est disponible gratuitement pour la recherche ou un usage personnel. Pour des applications commerciales, les utilisateurs doivent souscrire à l’une des offres d’abonnement Stability AI.
Actuellement, Stability AI propose deux types d’abonnements en plus de l’offre non commerciale, comme illustré dans l’image suivante :
L’offre Professional coûte 20 $ par mois et donne accès, avec droit d’usage commercial, aux Core Models de Stability AI, qui incluent des modèles de génération d’images, de vidéos, de 3D, de texte et de code. L’offre Enterprise s’adresse aux grandes entreprises, avec un tarif personnalisé et un ensemble de fonctionnalités d’entreprise.
Pour aller plus loin
Nous vivons une période passionnante pour les professionnels des données. Le secteur est à l’aube d’une profonde transformation avec l’adoption massive d’outils d’IA générative comme Stable Code 3B.
La meilleure façon de naviguer dans cette révolution de l’IA est de rester informé et à jour. DataCamp est là pour vous accompagner. Découvrez nos articles dédiés à d’autres outils d’IA générative puissants :