LLM Application Evaluation with LangSmith

Aprenderás a diseñar sistemas integrales de evaluación de aplicaciones de IA que midan el rendimiento en las dimensiones de precisión, coste y latencia utilizando conjuntos de datos de evaluación y múltiples tipos de evaluadores —desde el emparejamiento algorítmico hasta enfoques de LLM-as-judge—, lo que te permitirá establecer criterios de éxito desde el principio y medir el progreso hacia aplicaciones listas para su lanzamiento.

Aprenderás a implementar sistemas de evaluación en la práctica utilizando LangSmith para la creación de datasets, la definición de evaluadores y la ejecución de experimentos — construyendo evaluadores algorítmicos para comparaciones objetivas, evaluadores LLM-as-judge para evaluaciones subjetivas y evaluadores multimétrica para un análisis de calidad integral.