Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
A description of the course.
Requisitos previos
Programa de formación
Contenido del curso
1
Evaluación de aplicaciones de LLM
Fundamentos de evaluación
Aprenderás a diseñar sistemas integrales de evaluación de aplicaciones de IA que midan el rendimiento en las dimensiones de precisión, coste y latencia utilizando conjuntos de datos de evaluación y múltiples tipos de evaluadores —desde el emparejamiento algorítmico hasta enfoques de LLM-as-judge—, lo que te permitirá establecer criterios de éxito desde el principio y medir el progreso hacia aplicaciones listas para su lanzamiento.
Implementación de la evaluación
Aprenderás a implementar sistemas de evaluación en la práctica utilizando LangSmith para la creación de datasets, la definición de evaluadores y la ejecución de experimentos — construyendo evaluadores algorítmicos para comparaciones objetivas, evaluadores LLM-as-judge para evaluaciones subjetivas y evaluadores multimétrica para un análisis de calidad integral.
Evaluación de conversaciones
Aprenderás a evaluar aplicaciones de IA conversacional mediante evaluación online con valoración basada en criterios —implementando patrones de evaluación a nivel de turno y de conversación completa a través de evaluadores LLM-as-judge—, lo que te permitirá medir sistemáticamente la calidad del chatbot en términos de coherencia, cumplimiento de tareas y eficiencia.
LLM Application Evaluation with LangSmith
Curso
completado
