LLM Application Evaluation with LangSmith

Aprenderás a diseñar sistemas integrales de evaluación de aplicaciones de IA que midan el rendimiento en las dimensiones de precisión, coste y latencia utilizando conjuntos de datos de evaluación y múltiples tipos de evaluadores —desde el emparejamiento algorítmico hasta enfoques de LLM-as-judge—, lo que te permitirá establecer criterios de éxito desde el principio y medir el progreso hacia aplicaciones listas para su lanzamiento.

Aprenderás a implementar sistemas de evaluación en la práctica utilizando LangSmith para la creación de datasets, la definición de evaluadores y la ejecución de experimentos — construyendo evaluadores algorítmicos para comparaciones objetivas, evaluadores LLM-as-judge para evaluaciones subjetivas y evaluadores multimétrica para un análisis de calidad integral.

Aprenderás a evaluar aplicaciones de IA conversacional mediante evaluación online con valoración basada en criterios —implementando patrones de evaluación a nivel de turno y de conversación completa a través de evaluadores LLM-as-judge—, lo que te permitirá medir sistemáticamente la calidad del chatbot en términos de coherencia, cumplimiento de tareas y eficiencia.