Concepts des grands modèles de langage (LLM)

Ce chapitre explore les LLM sous l’angle de leurs avancées récentes et de leurs capacités émergentes, tout en passant en revue plusieurs techniques de traitement automatique du langage pour préparer efficacement les données. Vous découvrirez les défis liés à l’entraînement des LLM et comment la technique de l’affinage peut les relever efficacement. Vous comprendrez également comment les techniques d'apprentissage N-shot permettent une adaptation efficace des modèles pré-entraînés lorsque les données étiquetées sont limitées.

Dans ce chapitre, vous découvrirez les éléments fondamentaux de l'entraînement d'un LLM, tels que les techniques de pré-entraînement. Vous acquerrez également une compréhension intuitive de concepts complexes tels que l'architecture des Transformers, y compris le mécanisme d'attention. Ce chapitre traite d'une technique avancée d’affinage et résume le processus d’entraînement nécessaire pour obtenir un LLM.

Dans ce chapitre, nous examinons les considérations essentielles à prendre en compte lors de l’entraînement des LLM, telles que la disponibilité de données volumineuses, la qualité des données, l'étiquetage précis et les implications des données biaisées. Vous examinerez également divers risques liés au LLM, tels que la confidentialité des données, les questions éthiques et l'impact environnemental. Enfin, le chapitre se terminera par une discussion sur les nouveaux domaines de recherche et l'évolution du paysage des LLM.