Cursus
Principes fondamentaux de l'IA
10 h
Image de l'auteur
Le monde de la data science a profondément changé avec l’essor des grands modèles de langage (LLM). Des outils comme GPT-3 d’OpenAI ont joué un rôle clé pour stimuler l’innovation dans le domaine et ouvrir la voie à de nouvelles compétences jusque-là inaccessibles.
Si les modèles GPT d’OpenAI ont d’abord dominé le marché, la donne a évolué avec l’arrivée de nombreux nouveaux modèles, chacun avec ses propres atouts et cas d’usage spécialisés.
Parmi eux, les modèles de Mistral se distinguent par des capacités avancées de raisonnement et un fort support multilingue, tout en excellant en génération de code — une avancée majeure en IA.
Ce tutoriel vous présente le dernier modèle de Mistral, Mistral Large, avec un accès API pour une utilisation à la demande. Nous passerons en revue ses fonctionnalités, le comparerons à d’autres LLM et explorerons ses applications concrètes.
Que vous soyez un·e data scientist confirmé·e, un·e développeur·se souhaitant enrichir sa boîte à outils, ou un·e passionné·e d’IA curieux·se des dernières technologies, ce tutoriel est fait pour vous.
Qu’est-ce que Mistral AI ?
Mistral AI est une entreprise française fondée en avril 2023 par d’anciens employés de Meta Platforms et Google DeepMind. Son ambition est de commercialiser des produits et services en IA tout en mettant à disposition de la société des LLM open source robustes.
La société a bousculé le marché avec son modèle Mistral 7B, lancé en septembre 2023. Ce modèle de 7,3 milliards de paramètres a surpassé les modèles open source les plus avancés de l’époque, dont LlaMa 2, donnant à Mistral AI une position de premier plan dans l’IA open source.
Ces derniers mois, Mistral AI s’est imposée comme une force pionnière de l’industrie, proposant des outils puissants conçus pour résoudre des problèmes complexes et rationaliser les opérations.
C’est précisément ce qui nous amène à son dernier lancement : le modèle Mistral Large.
Qu’est-ce que Mistral Large
Mistral Large est le LLM le plus récent et le plus puissant de Mistral, lancé en février 2024. Il se positionne comme un modèle phare pour la génération de texte, rivalisant avec les capacités reconnues de GPT-4.
L’objectif est d’offrir un fort raisonnement et de solides connaissances, une excellente compréhension du code (plusieurs langages) et un support multilingue. Voici précisément les tâches dans lesquelles il excelle :
Raisonnement et connaissances
Mistral Large présente de grandes capacités de raisonnement. Pour les évaluer, on compare la performance des LLM comme Mistral Large ou GPT-4 sur divers benchmarks qui testent compréhension, raisonnement, connaissances et gestion de différents types de données.
Parmi les plus courants :
- MMLU (Measuring Massive Multitask Language Understanding) : évalue la compréhension du modèle sur un large éventail de sujets, des domaines professionnels au bon sens.
- HellaSwag : mesure la compréhension de situations de bon sens et la capacité à prédire la suite la plus plausible d’un contexte donné.
- ARC Challenge : mesure l’aptitude du modèle à répondre à des questions scientifiques de niveau scolaire nécessitant un raisonnement logique et la compréhension de concepts scientifiques.
La performance de ces modèles pré-entraînés sur ces trois benchmarks (et d’autres) est illustrée ci-dessous :
Image par Mistral AI. Performance sur des benchmarks de bon sens, de raisonnement et de connaissances parmi les principaux LLM du marché : MMLU, HellaSwag (10-shot), Wino Grande (5-shot), ARC Challenge (5-shot), ARC Challenge (25-shot), TriviaQA (5-shot) et TruthfulQA.
Comme vous pouvez le voir, Mistral Large est le meilleur modèle sur ArcC et TruthfulQA, tout en restant au coude à coude avec GPT-4 sur la plupart des benchmarks.
Capacités multilingues
Contrairement à de nombreux modèles performants dans une seule langue, Mistral Large affiche une maîtrise native de l’anglais, du français, de l’espagnol, de l’allemand et de l’italien.
Cette capacité ne se limite pas à la traduction : elle inclut une compréhension fine de la grammaire et des contextes culturels, en faisant un choix idéal pour des applications globales nécessitant une approche « native ».
Maths et code
Mistral Large excelle également en programmation et en mathématiques. Là encore, on utilise des benchmarks standard pour comparer les LLM sur ces compétences. Parmi les plus connus :
- HumanEval : mesure la capacité du modèle à générer du code correct pour divers problèmes de programmation.
- MBPP : évalue l’aptitude du modèle à résoudre des exercices de programmation Python.
- GSM8K : mesure les compétences de résolution de problèmes en mathématiques de niveau scolaire.
Le tableau suivant donne un aperçu des performances sur plusieurs benchmarks réputés, en comparant les aptitudes en code et en mathématiques des principaux LLM.
Image par Mistral AI. Performances sur des benchmarks populaires en code et mathématiques : HumanEval pass@1, MBPP pass@1, Math maj@4, GSM8K maj@8 (8-shot) et GSM8K maj@1 (5-shot).
Comme précédemment, Mistral Large se place en tête sur la plupart des benchmarks (MBPP, Math maj@4 et GSM8K) tout en conservant d’excellents scores partout.
En outre, Mistral Large apporte de nouvelles capacités et forces :
- Sa fenêtre de contexte de 32 000 tokens permet de retrouver avec précision des informations dans de longs documents. En clair, Mistral Large peut désormais prendre en compte jusqu’à 32 000 tokens (morceaux de mots) d’entrée lors de la génération de réponses ou de l’analyse d’un texte, contre 8 000 pour Mistral 7B.
- Son excellente conformité aux instructions permet aux développeurs de définir des politiques de modération – nous avons utilisé cette capacité pour mettre en place une modération au niveau système pour le Chat.
- Il prend nativement en charge le function calling. Concrètement, Mistral Large peut comprendre des requêtes visant à exécuter des fonctions spécifiques, les réaliser dans le cadre de la génération de réponse ou manipuler des données selon la logique de la fonction.
Tous les modèles Mistral AI sont publiés sous licence Apache 2.0, ce qui permet une utilisation sans restriction. Pour en savoir plus sur l’architecture et les performances, consultez le site et la documentation officiels de Mistral.
Mistral Large vs. autres LLM
Comparé à d’autres modèles du domaine (ChatGPT, Claude, etc.), Mistral Large se distingue notamment par un meilleur rapport qualité-prix.
Dans un paysage concurrentiel, Mistral Large affiche des résultats impressionnants sur des benchmarks reconnus et s’impose comme le deuxième meilleur modèle au monde accessible via API.
Cette performance souligne son efficacité en compréhension et en génération de texte, face à des références comme GPT-4, Claude 2 et LLaMA 2 70B, notamment sur MMLU (Measuring Massive Multitask Language Understanding).
Image par Mistral AI. Comparaison de GPT-4, Mistral Large (pré-entraîné), Claude 2, Gemini Pro 1.0, GPT-3.5 et LLaMA 2 70B sur MMLU.
ChatGPT a révolutionné la conversation avec l’IA et Claude 2 a amélioré compréhension et génération. Mistral Large pousse plus loin en intégrant un raisonnement poussé dans un cadre économique, rendant l’IA avancée accessible au plus grand nombre.
Passons maintenant à la prise en main !
Bien démarrer avec Mistral Large
L’accès à Mistral AI commence par une configuration simple pour être opérationnel rapidement.
Deux voies principales s’offrent à vous :
- Utiliser l’interface de chat inspirée de ChatGPT, appelée « Le Chat ».
- L’intégrer dans votre code via l’endpoint API de Mistral.
Image de l'auteur.
Si vous souhaitez démarrer avec un modèle plus simple, nous vous recommandons vivement de suivre ce guide d’utilisation et de fine-tuning de Mistral 7B.
Chatbot Mistral - Le Chat
Cette interface permet de converser par texte avec Mistral, à l’image des solutions proposées par OpenAI ou Google : posez des questions, donnez des instructions, et Mistral s’efforcera d’y répondre de manière informative.
Capture d’écran de l’interface Mistral Le Chat.
Pour y accéder, rendez-vous sur le site de Mistral Le Chat et inscrivez-vous. C’est gratuit, sans limite ni restriction.
API Mistral
Les développeurs peuvent interagir avec Mistral via son API, dans une expérience proche de celle de l’API d’OpenAI.
Cette API vous permet d’envoyer des prompts texte et de recevoir des réponses générées par le modèle. En Python, des bibliothèques comme mistralai simplifient l’intégration.
Voyons les étapes de base pour interagir avec Mistral Large.
ÉTAPE 1 - Créer votre compte Mistral
Commencez par aller sur le site de Mistral et cliquez sur « Build Now ».
Capture d’écran du site principal de MistralAI.
Vous devrez créer un compte ou vous connecter si vous en possédez déjà un.
Capture d’écran de l’interface d’inscription MistralAI.
Une fois connecté, vous devrez souscrire pour accéder aux modèles via l’API.
Capture d’écran du compte MistralAI.
Renseignez ensuite vos informations personnelles et de facturation.
Capture d’écran du processus d’inscription MistralAI.
Et voilà, votre compte est prêt !
ÉTAPE 2 - Créer votre API KEY
Une fois votre compte actif, générez une clé API pour appeler le modèle Mistral Large depuis votre code Python. Pour cela, allez dans la section API Keys.
Capture d’écran du processus d’inscription MistralAI.
Cliquez sur « Create new key », donnez-lui un nom et, si vous le souhaitez, une date d’expiration (optionnel).
Capture d’écran du processus d’inscription MistralAI.
ÉTAPE 3 - Configurer votre environnement local
Pour appeler le modèle Mistral depuis votre code Python, vous utiliserez la bibliothèque mistralai, installable facilement avec la commande pip suivante :
pip install mistralaiComme vous utiliserez une clé API, nous vous recommandons d’utiliser la bibliothèque dotenv pour la stocker. Installez-la avec :
pip install python-dotenvVous pouvez ensuite définir votre clé API Mistral dans un fichier .env et la charger avec le code suivant :
import os
from dotenv import load_dotenv
# Load environment variables from the .env file
load_dotenv()
# Access the API key using os.getenv
api_key = os.getenv("MISTRAL_API_KEY")Applications pratiques de Mistral Large
Mistral Large s’applique à de nombreux domaines : création de contenus, automatisation du support client, assistance à la programmation, analyse de données, traduction et outils éducatifs.
Ces cas d’usage illustrent la polyvalence des LLM de Mistral pour stimuler productivité, créativité et prise de décision dans divers secteurs. Pour commencer à l’explorer, il faut d’abord initialiser le modèle.
Pour cela, importez la bibliothèque mistralai.client et la fonction de complétion de chat pour obtenir des réponses du modèle. Pour simplifier l’échange avec l’API, définissez une fonction chat_mistral qui prend votre prompt en entrée et renvoie la réponse du modèle en sortie.
from mistralai.client import MistralClient
from mistralai.models.chat_completion import ChatMessage
model = "mistral-large-latest"
client = MistralClient(api_key=api_key)
def chat_mistral(prompt: str):
messages = [
ChatMessage(role="user", content=prompt)
]
# No streaming
chat_response = client.chat(
model=model,
messages=messages,
)
return chat_response.choices[0].message.contentVoyons quelques exemples de ce que Mistral sait faire :
Génération et traitement de texte
Mistral Large excelle dans les tâches de génération, de compréhension et de transformation de texte. De la rédaction d’articles à la synthèse de documents complexes, en passant par la transformation de style, ses principales applications en traitement de texte sont les suivantes :
Génération de texte
L’un des usages majeurs de Mistral Large, comme de tout LLM, est la génération de texte à partir d’un prompt initial. Au cœur de cette capacité, on trouve son entraînement sur des jeux de données vastes et variés couvrant de nombreux domaines.
Cet entraînement permet au modèle de maîtriser différents styles d’écriture, thématiques et structures linguistiques, et de produire des textes alignés avec un ton ou des contraintes spécifiques.
# Starting prompt for a fairytale poem
prompt = """Write a short story starting with "Once upon a time" """
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Once upon a time, in a bustling city filled with towering skyscrapers and endless traffic, there was a small, quaint bookstore named "Whispers of the Past". This wasn't an ordinary bookstore. It was a magical place where every book held a secret story, waiting to be discovered.
The owner of the store, Mr. Benjamin, was an old man with a heart full of kindness and a mind full of tales. He had a peculiar habit of recommending books to his customers, not based on their genre preference, but on their current life situations. His recommendations were always spot on, and people often found solace, guidance, or inspiration from the books he suggested.
One day, a young girl named Lily walked into the store. She was new in town and had a lost look in her eyes. Seeing this, Mr. Benjamin approached her and asked, "What can I help you find today, my dear?"
Lily…
Pour en savoir plus sur la génération de texte, consultez l’article What is Text Generation?
Analyse de sentiment
La capacité d’analyse de sentiment de Mistral Large s’appuie sur un cadre d’apprentissage profond lui permettant de comprendre les contextes linguistiques et de distinguer efficacement sentiments positifs, négatifs et neutres.
En analysant le texte en entrée, il infère la tonalité émotionnelle des mots, en tirant parti d’un entraînement sur des jeux de données variés pour assurer une détection fiable du sentiment sur de multiples contenus.
Un bon usage consiste à lui demander d’identifier le sentiment d’un texte donné.
# Sample text
text = "This movie was absolutely fantastic! I highly recommend it."
prompt = f"""Analyze the sentime of the following {text}.
Generate a json like response with the corresponding sentiment (positive, neutral or negatie).
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
{
"Sentiment": "Positive",
"Text": "This movie was absolutely fantastic! I highly recommend it."
}
Synthèse de texte
Mistral Large se montre très performant en résumé de texte, en s’appuyant sur des capacités avancées de traitement du langage pour transformer de longs documents en synthèses concises et informatives. Il comprend les thèmes principaux et les points clés, identifie les informations critiques et produit un résumé cohérent et succinct.
Cette aptitude est précieuse pour assimiler rapidement l’essentiel de volumes importants de texte, faisant de Mistral Large un outil de référence pour les professionnels qui doivent analyser et agir efficacement.
Un exemple simple consiste à lui demander de résumer un texte, comme ci-dessous :
# Sample text
text = """The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
This is a longer sentence to show summarization capabilities."""
prompt = f"""Summarize the following {text} in 4 words.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Fox jumps, rain falls.
Traduction et tâches multilingues
Mistral Large montre également d’excellentes performances sur les tâches multilingues. Il a été spécifiquement entraîné pour comprendre et générer du texte dans plusieurs langues, notamment en français, allemand, espagnol et italien.
Mistral Large est particulièrement utile pour les entreprises et utilisateurs qui doivent communiquer dans plusieurs langues.
Un exemple simple : l’utiliser comme traducteur.
# Sample text
text = """The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
This is a longer sentence to show summarization capabilities."""
language_in = "english"
language_out = "spanish"
prompt = f"""Translate the following {text} that is written in {language_in} to {language_out} and
just output the translated text.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
The quick brown fox jumps over the lazy dog. The rain in Spain falls mainly on the plain.
Translation to Spanish:
El rápido zorro marrón salta sobre el perro perezoso. La lluvia en España cae principalmente en la llanura.
This is a longer sentence to show summarization capabilities.
Translation to Spanish:
Esta es una oración más larga para mostrar las capacidades de resumen.
Génération de code et résolution de problèmes mathématiques
Au-delà du texte, Mistral Large se montre remarquable pour générer du code et résoudre des problèmes mathématiques. En formulant clairement un énoncé, vous pouvez obtenir des extraits de code optimisés et résoudre des défis mathématiques — utile en enseignement, recherche et développement.
Génération de code
Mistral Large excelle en génération de code en partant de descriptions de haut niveau pour produire du code correct et efficace dans divers langages.
Il s’appuie sur un vaste entraînement sur des bases de code, de la documentation technique et des forums développeurs pour générer du code répondant aux exigences, tant en fonctionnalité qu’en optimisation.
Un exemple simple : demander au modèle de générer une fonction accomplissant une tâche décrite.
# Prompt: Generate a Python function that takes a list of numbers and returns the sum of squares.
prompt = """def sum_of_squares(numbers):
# Your code here
pass
# Call the generated function with a sample list
numbers = [1, 2, 3]
result = sum_of_squares(numbers)
print(f"Sum of squares: {result}") # Expected output: Sum of squares: 14"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Sure, I can help you define the function `sum_of_squares`. This function should take a list of numbers as an argument, square each number, and then return the sum of those squares. Here's how you could do it:
```python
def sum_of_squares(numbers):
return sum(num ** 2 for num in numbers)
```
Cette capacité accélère le développement, facilite le prototypage rapide, le débogage et l’implémentation d’algorithmes complexes.
Résolution de problèmes mathématiques
Mistral Large résout efficacement des problèmes mathématiques grâce à une compréhension approfondie des concepts numériques et à l’interprétation d’instructions complexes.
Il applique des méthodes entraînées sur un large corpus de données mathématiques, lui permettant de traiter des problèmes allant de l’arithmétique aux niveaux plus avancés d’algèbre et d’analyse.
Par exemple, vous pouvez lui demander de résoudre un système d’équations.
# Prompt: Solve a system of linear equations with two variables.
prompt = """We have a system of equations:
x + 2y = 5
3x - y = 1
Solve for x and y.
"""
print(chat_mistral(prompt))
_________________________________________ #OUTPUT
Sure, I'd be happy to help you solve this system of equations. We can use the method of substitution or elimination. I'll use substitution for this example.
First, let's solve the first equation for x:
x = 5 - 2y
Now, we can substitute x in the second equation with the expression we just found:
3(5 - 2y) - y = 1
Expanding and simplifying this gives:
15 - 6y - y = 1
-7y = 1 - 15
-7y = -14
Now, divide both sides by -7 to solve for y:
y = -14 / -7
y = 2
Substitute y = 2 into the first equation:
x + 2(2) = 5
x + 4 = 5
x = 5 - 4
x = 1
So, the solution to the system of equations is x = 1 and y = 2.
Cette capacité fait de Mistral Large un outil précieux pour enseignants, étudiants et chercheurs souhaitant résoudre des problèmes ou vérifier des résultats.
Fonctionnalités avancées et bonnes pratiques
Comprendre la tarification et l’accès
Mistral AI propose une tarification à l’usage pour ses services API, avec des tarifs distincts pour les complétions de chat et les embeddings. Les prix sont par million de tokens et varient selon la complexité du modèle, incluant Mistral 7B, Mixtral 8x7B et différentes tailles de modèles Mistral (Small, Medium, Large).
La plateforme offre plusieurs paliers — Mistral Small, Medium et Large — pour répondre à des besoins projets et des budgets variés. Les prix les plus bas concernent Mistral 7B à 0,25 $ par token, jusqu’à 8 $ pour la sortie de Mistral Large et 24 $ pour l’entrée de Mistral Large.
Cette flexibilité vous permet de choisir la version la plus adaptée, en optimisant performance et coûts.
Tableau des tarifs des modèles Mistral AI.
La plateforme applique des limites de débit de 5 requêtes par seconde, 2 millions de tokens par minute et 10 000 millions de tokens par mois, avec des ajustements possibles sur demande.
Pour les détails sur les prix et les limites, consultez la page tarifs de Mistral AI.
Optimiser la performance
Choisir le bon modèle Mistral suppose d’arbitrer entre performance et coût. Votre besoin guide votre choix, qui pourra évoluer au fil des versions.
De manière générale, les modèles plus grands performent mieux : Mistral Large domine les benchmarks comme MMLU (benchmark LLM Measuring Massive Multitask Language Understanding, que nous avons présenté ci-dessus), suivi par Mistral Medium, Small, Mixtral 8x7B et Mistral 7B.
Comparaison des performances des modèles Mistral. Image par Mistral AI.
Pour maximiser l’efficacité de Mistral Large tout en maîtrisant les coûts, peaufinez vos requêtes et choisissez la version la plus pertinente pour vos tâches. Pour en savoir plus sur le fine-tuning des LLM, lisez cet aperçu introductif du fine-tuning des LLM.
Mistral AI propose cinq endpoints API correspondant à cinq LLM phares :
- open-mistral-7b (alias mistral-tiny-2312)
- open-mixtral-8x7b (alias mistral-small-2312)
- mistral-small-latest (alias mistral-small-2402)
- mistral-medium-latest (alias mistral-medium-2312)
- mistral-large-latest (alias mistral-large-2402)
Le dernier modèle Mistral se décline en trois variantes, avec des coûts et performances adaptés selon l’application visée :
- Mistral Small : optimisé pour des tâches simples et volumétriques comme la classification, le support client et la génération de texte basique. Une option économique pour des usages comme la détection de spam.
- Mistral Medium : conçu pour des tâches de complexité modérée, excellent en extraction de données, synthèse de documents et génération de contenus descriptifs. Il offre un bon équilibre capacité/efficacité.
- Mistral Large : en tête sur la quasi-totalité des benchmarks. Idéal pour des tâches complexes nécessitant un fort raisonnement ou des applications spécialisées, dont la génération de texte et de code synthétiques. Il présente des performances supérieures en raisonnement avancé et résolution de problèmes.
Et après pour Mistral Large ?
Alors que Mistral Large continue d’évoluer, de nouvelles avancées, contributions de la communauté et améliorations sont à prévoir.
Rester à jour est essentiel pour exploiter tout le potentiel de Mistral Large et intégrer les dernières fonctionnalités à vos projets.
La feuille de route du modèle promet une innovation continue, axée sur l’amélioration du raisonnement, du support linguistique et de l’accessibilité.
Conclusion
Mistral Large représente une avancée majeure en IA et Data Science, en alliant raisonnement avancé, support multilingue et assistance en code et mathématiques.
C’est la première fois qu’un modèle open source, abordable, non seulement affiche des compétences de haut niveau, mais prend aussi la tête de certains benchmarks face à des modèles commerciaux comme GPT-4 d’OpenAI ou Gemini de Google.
Exploiter la puissance de Mistral Large vous permet d’ouvrir de nouvelles perspectives, de rationaliser vos processus et de créer des solutions innovantes, avec un budget maîtrisé et de meilleures performances.
Vous pouvez consulter l’intégralité du code dans ce repo GitHub.
Pour aller plus loin dans le domaine des LLM, nous vous encourageons à suivre des tutoriels plus avancés. Si vous débutez, commencez par le cours LLM Concepts de DataCamp, qui couvre les grandes méthodes d’entraînement et les dernières recherches.
Pour les utilisateurs avancés, d’autres ressources utiles :