LLM Application Evaluation with LangSmith

Imparerai a progettare sistemi completi di valutazione per applicazioni AI che misurano le prestazioni lungo le dimensioni di accuratezza, costo e latenza, utilizzando dataset di valutazione e molteplici tipologie di valutatori — dal matching algoritmico agli approcci LLM-as-judge — consentendoti di stabilire criteri di successo fin dall'inizio e di misurare i progressi verso applicazioni pronte per il rilascio.

Imparerai a implementare sistemi di valutazione nella pratica utilizzando LangSmith per la creazione di dataset, la definizione di valutatori e l'esecuzione di esperimenti — costruendo valutatori algoritmici per confronti oggettivi, valutatori LLM-as-judge per valutazioni soggettive e valutatori multi-metrica per un'analisi della qualità completa.

Imparerai a valutare le applicazioni di AI conversazionale utilizzando la valutazione online con assessment basati su criteri — implementando pattern di valutazione turn-level e full-conversation tramite valutatori LLM-as-judge — permettendoti di misurare sistematicamente la qualità del chatbot in termini di coerenza, completezza del task ed efficienza.