LLM Application Evaluation with LangSmith

Vous apprendrez à concevoir des systèmes complets d'évaluation d'applications d'IA permettant de mesurer la performance selon les dimensions de précision, de coût et de latence, à l'aide de jeux de données d'évaluation et de multiples types d'évaluateurs — de la correspondance algorithmique aux approches « LLM-as-judge » — vous permettant ainsi d'établir des critères de réussite dès le départ et de mesurer les progrès réalisés vers des applications prêtes pour la mise en production.

Vous apprendrez à mettre en œuvre des systèmes d'évaluation en pratique à l'aide de LangSmith pour la création de datasets, la définition d'évaluateurs et l'exécution d'expériences — en construisant des évaluateurs algorithmiques pour des comparaisons objectives, des évaluateurs LLM-as-judge pour des évaluations subjectives, et des évaluateurs multi-métriques pour une analyse complète de la qualité.

Vous apprendrez à évaluer les applications d'IA conversationnelle en utilisant l'évaluation en ligne avec une évaluation basée sur des critères — en mettant en œuvre des modèles d'évaluation au niveau du tour de parole et de la conversation complète via des évaluateurs LLM-as-judge — vous permettant de mesurer systématiquement la qualité des chatbots à travers la cohérence, la complétude des tâches et l'efficacité.