Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
A description of the course.
Prérequis
Programme de formation
Plan du cours
1
Évaluation des applications LLM
Fondamentaux de l'évaluation
Vous apprendrez à concevoir des systèmes complets d'évaluation d'applications d'IA permettant de mesurer la performance selon les dimensions de précision, de coût et de latence, à l'aide de jeux de données d'évaluation et de multiples types d'évaluateurs — de la correspondance algorithmique aux approches « LLM-as-judge » — vous permettant ainsi d'établir des critères de réussite dès le départ et de mesurer les progrès réalisés vers des applications prêtes pour la mise en production.
Implémentation de l'évaluation
Vous apprendrez à mettre en œuvre des systèmes d'évaluation en pratique à l'aide de LangSmith pour la création de datasets, la définition d'évaluateurs et l'exécution d'expériences — en construisant des évaluateurs algorithmiques pour des comparaisons objectives, des évaluateurs LLM-as-judge pour des évaluations subjectives, et des évaluateurs multi-métriques pour une analyse complète de la qualité.
Évaluation des conversations
Vous apprendrez à évaluer les applications d'IA conversationnelle en utilisant l'évaluation en ligne avec une évaluation basée sur des critères — en mettant en œuvre des modèles d'évaluation au niveau du tour de parole et de la conversation complète via des évaluateurs LLM-as-judge — vous permettant de mesurer systématiquement la qualité des chatbots à travers la cohérence, la complétude des tâches et l'efficacité.
LLM Application Evaluation with LangSmith
Cours
terminé
