
सभी 10 ईमेल वर्गीकरण बिल्कुल सटीक हैं और सही तरह से वर्गीकृत किए गए हैं। ध्यान दें कि आप एजेंट बनाने के बाद भी उसे ऊपर दाईं ओर स्थित Edit Agent बटन का उपयोग करके संपादित कर सकते हैं। आप New Thread विकल्प का उपयोग करके नई बातचीत भी शुरू कर सकते हैं।
मैंने एजेंट से परिणामों को Google Sheets पर पुश करने के लिए कहा। इसने शीट बना दी, लेकिन पंक्तियां नहीं लिख पाया क्योंकि “write-to-Sheets” टूल कनेक्ट नहीं था। फॉलबैक के रूप में, इसने एक साफ, कॉपी-पेस्ट योग्य टेबल लौटा दी। आप बाद में Sheets लिखने वाला टूल कनेक्ट कर सकते हैं ताकि यह चरण एंड-टू-एंड स्वतः हो जाए।

अब आपका एजेंट उपयोग के लिए तैयार है। Tracing Projects पैनल खोलें ताकि निष्पादनों, टाइमिंग, टूल कॉल्स, और किसी भी अनुमोदन विराम का निरीक्षण कर सकें, जिसे हम आगे देखेंगे।
चरण 8: ट्रेसिंग और मॉनिटरिंग प्रोजेक्ट्स
एजेंट लाइव होने के बाद, LangSmith का ऑब्ज़र्वेबिलिटी सूट यह समझने में मदद करता है कि यह वास्तविक परिस्थितियों में कैसे व्यवहार करता है, यानी व्यक्तिगत रनों से लेकर दीर्घकालिक रुझानों तक। आप दो जगहों का उपयोग करेंगे:
- Tracing projects: गहन और प्रति-रन निरीक्षण के लिए
- Monitoring: प्रोजेक्ट-स्तरीय डैशबोर्ड्स के लिए
Tracing projects:
यह सेक्शन हमें व्यक्तिगत एजेंट रनों का विस्तार से निरीक्षण करने में मदद करता है (इनपुट/आउटपुट, टूल कॉल्स, लेटेंसी, और टोकन) ताकि व्यवहार को डिबग और वैलिडेट किया जा सके।

LangSmith के डैशबोर्ड में प्रोजेक्ट्स को ट्रेस करने के लिए ये कुछ कदम हैं:
- Observability सेक्शन खोलें और Tracing Projects चुनें, फिर अपने प्रोजेक्ट पर क्लिक करें।
- Runs में, आपको प्रत्येक इनवोकेशन दिखेगा जिसमें Start Time, Latency, Tokens/Cost, Error, और Dataset के कॉलम होंगे।
- पूरे ट्रेस का निरीक्षण करने के लिए किसी भी पंक्ति पर क्लिक करें—इनपुट/आउटपुट संदेश, मध्यवर्ती चरण, टूल कॉल्स, स्ट्रीमिंग चंक्स, और एनोटेशंस।
- दाईं साइडबार में Filter shortcuts का उपयोग करके आउटपुट टेक्स्ट, टूल उपयोग, त्रुटि प्रकार, या कस्टम टैग्स के आधार पर फ़िल्टर करें।
- आप टैब्स बदलकर यह भी देख सकते हैं:
- LLM Calls: टोकन ब्रेकडाउन और मॉडल उपयोग के लिए
- Traces: वर्तमान रन के लिए स्टेप-बाय-स्टेप ग्राफ शामिल है
- Threads: मल्टी-टर्न वार्तालापों को समूहित करके दिखाता है
- Automations: यहां इवालुएटर्स या पोस्ट-रन कार्रवाइयां अटैच होती हैं।

Monitoring
यह सेक्शन प्रीबिल्ट डैशबोर्ड का उपयोग करके रुझानों (ट्रेस काउंट्स, लेटेंसी परसेंटाइल्स, एरर रेट, लागत/टोकन, टूल उपयोग) को ट्रैक करता है और समय या रन प्रकार के आधार पर फ़िल्टर करता है ताकि शुरुआती रिग्रेशन्स पकड़ में आ सकें।
- बाईं ओर Monitoring टैब खोलें और अपना प्रोजेक्ट चुनें।
- डैशबोर्ड्स की समीक्षा करें:
- Traces: समय के साथ वॉल्यूम और सफलता/त्रुटि शामिल है।
- LLM Calls: मॉडल या प्रोवाइडर के अनुसार वितरण दिखाता है।
- Cost and Tokens: संचयी और प्रति-रन खर्च दिखाता है।
- Run Types: कौन से पाथ और टूल्स सबसे सक्रिय हैं, यह शामिल है।
- डेट रेंज, group by, और retention को अपनी समीक्षा आवृत्ति के अनुसार समायोजित करें।

Tracing और Monitoring के साथ, हम किसी भी एकल रन का निरीक्षण करके समस्याओं को डिबग कर सकते हैं, फिर विश्वसनीयता, लागत, और प्रदर्शन रुझानों को वैलिडेट करने के लिए ज़ूम-आउट कर सकते हैं।
अंतिम विचार
LangSmith का Agent Builder दिखाता है कि नो-कोड एजेंट्स कितनी दूर आ चुके हैं। इस वॉकथ्रू में, हमने एक Email Triage Assistant बनाया जो संदेशों को वर्गीकृत करता है, जवाब ड्राफ्ट करता है, और कार्रवाइयों को लॉग करता है, फिर डिप्लॉयमेंट से पहले हर चरण को मान्य किया।
हमने इरादा बताया, और एजेंट बिल्डर ने ट्रिगर्स, टूल्स, सब-एजेंट्स, मेमोरी, तथा मानव अनुमोदनों सहित बाकी काम किया—सब कुछ Tracing में दृश्य और Monitoring में संक्षेपित।
इसकी खूबियां हैं: सरल अंग्रेज़ी से तेज़ सेटअप, Gmail से सिंगल-क्लिक कनेक्शन, स्वीकृति के लिए इंटरप्ट सुरक्षा, और एंड-टू-एंड ऑब्ज़र्वेबिलिटी।
हालांकि, इसकी सीमाओं में प्राइवेट प्रीव्यू में होना शामिल है, जिसका मतलब है कि कभी-कभार खुरदुरे किनारे हो सकते हैं, जैसे सही इंटीग्रेशन कनेक्ट करने तक write-to-Sheets गायब होना, और परीक्षण के बाद निर्देशों को फाइन-ट्यून करने की जरूरत।
Agent Builder आपको इस पर ध्यान केंद्रित करने देता है कि आपका एजेंट क्या करे और कब कार्रवाई करे, जबकि आपको स्वीकृत, ट्रेस, और इटरेट करने के लिए गार्डरेल्स देता है। यहां से, इसी पैटर्न को कैलेंडर शेड्यूलिंग, लीड क्वालिफिकेशन, या इनबॉक्स डाइजेस्ट तक बढ़ाने की कोशिश करें, फिर स्केल करते समय लागत, लेटेंसी, और सटीकता को ट्रैक करने के लिए Monitoring का उपयोग करें।
यदि आप AI Agents बनाना और अधिक सीखना चाहते हैं, तो हमारे संसाधन देखें:
LangSmith Agent Builder FAQs
Agent Builder का उपयोग शुरू करने से पहले मुझे क्या चाहिए?
आपको कम से कम एक मॉडल API कुंजी (जैसे OPENAI_API_KEY या ANTHROPIC_API_KEY) की आवश्यकता होगी, जिसे वर्कस्पेस सीक्रेट के रूप में जोड़ा गया हो। यदि आप चाहते हैं कि आपका एजेंट अतिरिक्त टूल्स—जैसे वेब सर्च या Slack—का उपयोग करे, तो आपको उन टूल-विशिष्ट कुंजियों को भी जोड़ना पड़ सकता है।
क्या मैं अपने टूल्स किसी एजेंट में जोड़ सकता/सकती हूँ?
हाँ। Agent Builder में बिल्ट-इन टूल्स शामिल हैं, लेकिन आप LangChain के MCP (Model Context Protocol) के जरिए अपने टूल्स भी कनेक्ट कर सकते हैं, जिससे आपका एजेंट बाहरी ऐप्स या कस्टम APIs से बात कर सके।
प्राइवेट एजेंट और वर्कस्पेस एजेंट में क्या अंतर है?
प्राइवेट एजेंट केवल आपको दिखाई देता है। वर्कस्पेस एजेंट आपकी टीम के साथ साझा होता है, लेकिन हर व्यक्ति फिर भी अपनी क्रेडेंशियल्स (उदाहरण के लिए, OAuth-आधारित टूल्स के लिए) का उपयोग करता है और अपनी चैट हिस्ट्री को निजी रखता है।
मैं एमएल (Gen AI) में Google Developers Expert, Kaggle 3x Expert, और Women Techmakers एंबेसडर हूँ, तथा तकनीक क्षेत्र में 3+ वर्षों का अनुभव रखती हूँ। मैंने 2020 में एक हेल्थ-टेक स्टार्टअप की सह-स्थापना की और वर्तमान में Georgia Tech से कंप्यूटर विज्ञान में मास्टर कर रही हूँ, जिसमें मेरा विशेषज्ञता क्षेत्र मशीन लर्निंग है।

LangSmith का नया Agent Builder (प्राइवेट प्रीव्यू) एक नो-कोड तरीका है जिससे आप प्राकृतिक भाषा के एक विचार को प्रोडक्शन-रेडी एजेंट में बदल सकते हैं। वर्कफ़्लो लिखने के बजाय, आप वर्णन करते हैं कि एजेंट क्या करे, और Agent Builder सिस्टम प्रॉम्प्ट ड्राफ्ट करता है, टूल सुझाता है, ट्रिगर जोड़ता है, और human-in-the-loop इंटरप्ट्स, स्थायी मेमोरी, और स्वयं-अपडेट का समर्थन करता है।
आप विशेष कार्यों के लिए सब-एजेंट्स बना सकते हैं, Google इंटिग्रेशंस (Docs/Sheets) को वेब खोज के साथ जोड़ सकते हैं, और फिर इनबिल्ट Tracing और Monitoring डैशबोर्ड्स से सब कुछ देख सकते हैं।
इस ट्यूटोरियल में हम एक Email Triage Assistant एंड-टू-एंड बनाएंगे। आप सीखेंगे कि:
अंत तक, आपके पास एक काम करता हुआ एजेंट होगा जो इनकमिंग ईमेल को वर्गीकृत करता है, जवाब का ड्राफ्ट तैयार करता है, और बिना कोई कोड लिखे Google Sheets में दैनिक कार्रवाइयों को लॉग करता है।
यदि आप AI एजेंट्स बनाना और गहराई से सीखना चाहते हैं, तो मैं Multi-Agent Systems with LangGraph कोर्स देखने की सलाह देता/देती हूं।
LangSmith Agent Builder क्या है?
LangSmith का Agent Builder (प्रीव्यू) आपको एक ही UI से मेमोरी, सब-एजेंट्स, ट्रिगर्स, और मानव समीक्षा के साथ एजेंट्स डिजाइन करने का एक गाइडेड तरीका देता है। अंदर से, Agent Builder deep-agents का उपयोग करता है, जो LangGraph पर बना एक ओपन-सोर्स एजेंट हार्नेस है, जो आपके प्राकृतिक भाषा ब्रीफ को हाथ से बनाए वर्कफ़्लो के बजाय एक स्टेटफुल एजेंट में कंपाइल करता है।
यह निष्पादन से पहले योजना बनाता है (लंबे कार्यों और लागत को मैनेज करने के लिए), विशेष कामों के लिए सब-एजेंट्स को सौंपता है, मिडलवेयर के जरिए टूल लेयर (फाइल्स, टूडूज़, वैकल्पिक शेल, वेब/MCP) को टैप करता है, संवेदनशील कार्रवाइयों के लिए human-in-the-loop इंटरप्ट्स को सपोर्ट करता है, और स्ट्रीमिंग, ट्रेसिंग, और स्टूडियो इंटीग्रेशन के लिए कंपाइल्ड LangGraph ग्राफ के रूप में चलता है।
इस Agent Builder की प्रमुख क्षमताएं हैं:
नतीजा एक नो-कोड अनुभव है जो फिर भी आपको ऑब्ज़र्वेबिलिटी, अनुमोदन, और इटरेशन हुक्स देता है। LangSmith Agent Builder तक पहुंच पाने के लिए, आपको वेटलिस्ट में साइन अप करना होगा।
LangSmith Agent Builder उदाहरण: एक Email Triage Assistant बनाएं
हम एक फ्रीलांसर के लिए एक साधारण असिस्टेंट बनाएंगे जिसे एजेंसियों से बहुत से ईमेल मिलते हैं। एजेंट यह करेगा:
चरण 1: Agent Builder तक पहुंचें
वेटलिस्ट से हटने के बाद, LangSmith में साइन इन करें और बाईं साइडबार से Agent Builder (Beta) खोलें।
आप No-code Agent Builder पेज पर उतरेंगे। नया एजेंट शुरू करने के लिए + New Agent पर क्लिक करें, या शुरू करने से पहले डॉक्यूमेंटेशन पढ़ने के लिए Learn More चुनें।
चरण 2: अपने एजेंट का वर्णन करें
संक्षिप्त ब्रीफ टाइप करके और एक मॉडल चुनकर शुरू करें। आप चाहें तो एजेंट को मैन्युअली भी बना सकते हैं, लेकिन वह किसी और ब्लॉग का विषय है।
सूचीबद्ध मॉडलों में से चुनें या अपने उपयोग-केस के अनुरूप कोई कस्टम मॉडल जोड़ें।
यह वह प्रॉम्प्ट है जो मैंने इस्तेमाल किया:
यदि आप Sonnet 4.5 चुनते हैं, तो आपको अपना
ANTHROPIC_API_KEYजोड़ने के लिए कहा जाएगा। कुंजी दर्ज करें और सहेजें।विवरण सबमिट करने के बाद, बिल्डर आपके इरादे का विश्लेषण करता है, टूल्स/ट्रिगर्स का प्रस्ताव देता है, और स्वतः प्रारंभिक निर्देशों का ड्राफ्ट तैयार करता है।
चरण 3: फॉलो-अप्स
उपलब्ध टूल्स और ट्रिगर्स की जांच करने के बाद, बिल्डर कुछ लक्षित फॉलो-अप प्रश्न पूछेगा, जैसे आउटपुट के पसंदीदा गंतव्य, स्वीकृति आवश्यकताएं, लेबलिंग नियम, आदि।
आपकी प्रतिक्रियाओं का उपयोग एजेंट के निर्देशों को अंतिम रूप देने, सही टूल्स/ट्रिगर्स जोड़ने, और सेटअप को स्वतः जारी रखने के लिए किया जाता है।
चरण 4: जनरेटेड प्लान की समीक्षा करें
फॉलो-अप्स के जवाब देने के बाद, बिल्डर एक प्रस्तावित ग्राफ दिखाता है जिसमें ट्रिगर्स, एजेंट, और कोई भी कनेक्टेड टूल्स (जैसे Gmail, Google Docs) पहले से वायर किए हुए होते हैं।
क्रिएशन से पहले डिज़ाइन की जाँच-पड़ताल के लिए इस स्क्रीन का उपयोग करें:
इस चरण को प्री-क्रिएशन प्रीव्यू और स्कोप, डेटा एक्सेस, तथा गार्डरेल्स को वैलिडेट करने का तेज़ तरीका समझें। यदि सब ठीक दिखता है, तो आगे बढ़ें। अगला कदम, आप ऑथेंटिकेट करेंगे और टूल्स कनेक्ट करेंगे ताकि एजेंट वास्तव में कार्रवाई कर सके (ड्राफ्ट भेजना, Docs अपडेट करना, आदि)।
चरण 5: प्रमाणित करना और कनेक्ट करना
आपका एजेंट ईमेल पढ़ सके या Google Sheet में लिख सके, उससे पहले आपको उसे एक्सेस देना होगा।
Agent Builder में, यह एक गाइडेड, एक-बार का प्रोसेस है। आप Gmail और
google-langsmith-prodइंटीग्रेशन (Google Sheets कार्रवाइयों के लिए) कनेक्ट करेंगे।कनेक्ट होने के बाद, आप किसी भी लिखने की कार्रवाई से पहले मानव स्वीकृति आवश्यक कर सकते हैं।
चरण 5.1: Gmail से कनेक्ट करें
अपने एजेंट को अपने Gmail खाते से कनेक्ट करने के लिए ये कदम उठाएं:
Email Received ट्रिगर सेट होने पर, आपका एजेंट आपके निर्देशों के अनुसार इनकमिंग संदेशों को वर्गीकृत और उन पर प्रतिक्रिया दे सकता है।
चरण 5.2:
google-langsmith-prodपर ऑथेंटिकेट करेंअगले चरण में, ऊपर की तरह ही
google-langsmith-prodको ऑथेंटिकेट करें। आप ये कुछ कदम अपना सकते हैं:google-langsmith-prodके बगल में है।अब, आपका एजेंट Google Docs और Sheets बना/अपडेट कर सकता है (जैसे पंक्तियां जोड़ना, टेबल अपडेट करना, या नया शीट जनरेट करना, आदि) और फिर भी आपके द्वारा कॉन्फ़िगर किए गए किसी भी इंटरप्ट/अनुमोदन चरण का पालन करेगा।
दोनों कनेक्शन सक्रिय होने पर, Create Agent पर क्लिक करें। आपको पूरा ग्राफ दिखाई देगा और आप एंड-टू-एंड परीक्षण शुरू कर सकते हैं।
अब आपके एजेंट के पास न्यूनतम, सुरक्षित अनुमतियां हैं ताकि वह ईमेल प्राप्त कर सके और Google Sheets में एक्शन आइटम लिख सके। अगला, कुछ टेस्ट संदेश चलाएं और किसी भी ड्राफ्ट अपडेट को लागू करने से पहले उन्हें स्वीकृत या संपादित करने के लिए इंटरप्ट्स का उपयोग करें।
चरण 6: एजेंट का परीक्षण
देखें कि एजेंट कैसे वर्गीकृत करता है और प्रतिक्रिया देता है—इसके लिए कुछ वास्तविक ईमेल से शुरू करें।
उदाहरण 1: सूचनात्मक ईमेल
मैंने टेस्ट चैट विंडो में एक रुटीन “YouTube information” संदेश कॉपी-पेस्ट किया, और एजेंट ने उसे सही ढंग से कम प्राथमिकता के रूप में टैग किया और एक-लाइन सार के साथ “archive/कोई जवाब नहीं” कार्रवाई का सुझाव दिया।
उदाहरण 2: समय-संवेदी ईमेल
इस उदाहरण के लिए, मैंने एक जरूरी नोट पेस्ट किया जिसमें कार्रवाई आवश्यक थी। एजेंट ने इसे reply now के रूप में वर्गीकृत किया, संक्षिप्त सार बनाया, और दो-लाइन का उत्तर भी ड्राफ्ट किया।
इसने उत्तर गलत प्राप्तकर्ता के नाम से संबोधित किया (छोटी रूटिंग त्रुटि), लेकिन सही विषय और इरादा पहचान लिया, जो त्वरित संपादन और भेजने के लिए काफ़ी उपयोगी है।
इस टूल की सबसे अच्छी बात यह है कि यह आपकी ओर से कोई भी कार्रवाई करने से पहले स्वीकृति मांगता है। यह human-in-the-loop चरण मुझे प्राप्तकर्ता ठीक करने और अपडेट की पुष्टि करने देता है, जिससे अनचाहे बदलाव न हों।
चरण 7: एजेंट को डिप्लॉय करें
तो, हमने फ़्लो का परीक्षण कर लिया और ट्रेसेज़ की समीक्षा कर ली; अब एजेंट को काम पर लगाने का समय है।
डिप्लॉय करने से आप नियंत्रित परीक्षण से लाइव इनपुट्स पर चले जाते हैं, जबकि human-in-the-loop स्वीकृतियां बनी रहती हैं ताकि आपकी अनुमति के बिना कुछ भी निष्पादित न हो।
एजेंट को सक्रिय उपयोग में स्विच करने के लिए Use Agent पर क्लिक करें।
यह वह है जो मैंने एजेंट से पूछा।