Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
A description of the course.
Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Avaliação de Aplicações de LLM
Fundamentos de Avaliação
Você aprenderá a projetar sistemas abrangentes de avaliação de aplicações de IA que medem o desempenho nas dimensões de acurácia, custo e latência, utilizando datasets de avaliação e múltiplos tipos de avaliadores — desde correspondência algorítmica até abordagens de LLM-as-judge — permitindo que você estabeleça critérios de sucesso antecipadamente e meça o progresso em direção a aplicações prontas para lançamento.
Implementação da Avaliação
Você aprenderá a implementar sistemas de avaliação na prática usando o LangSmith para a criação de datasets, definição de avaliadores e execução de experimentos — construindo avaliadores algorítmicos para comparações objetivas, avaliadores LLM-as-judge para avaliações subjetivas e avaliadores multimétricos para uma análise de qualidade abrangente.
Avaliação de Conversa
Você aprenderá a avaliar aplicações de IA conversacional usando avaliação online com base em critérios — implementando padrões de avaliação em nível de turno e de conversa completa por meio de avaliadores LLM-as-judge — permitindo que você meça sistematicamente a qualidade do chatbot em termos de coerência, conclusão de tarefas e eficiência.
LLM Application Evaluation with LangSmith
Curso
concluído
