LLM Application Evaluation with LangSmith

Você aprenderá a projetar sistemas abrangentes de avaliação de aplicações de IA que medem o desempenho nas dimensões de acurácia, custo e latência, utilizando datasets de avaliação e múltiplos tipos de avaliadores — desde correspondência algorítmica até abordagens de LLM-as-judge — permitindo que você estabeleça critérios de sucesso antecipadamente e meça o progresso em direção a aplicações prontas para lançamento.

Você aprenderá a implementar sistemas de avaliação na prática usando o LangSmith para a criação de datasets, definição de avaliadores e execução de experimentos — construindo avaliadores algorítmicos para comparações objetivas, avaliadores LLM-as-judge para avaliações subjetivas e avaliadores multimétricos para uma análise de qualidade abrangente.

Você aprenderá a avaliar aplicações de IA conversacional usando avaliação online com base em critérios — implementando padrões de avaliação em nível de turno e de conversa completa por meio de avaliadores LLM-as-judge — permitindo que você meça sistematicamente a qualidade do chatbot em termos de coerência, conclusão de tarefas e eficiência.