AnythingLLM: सेटअप, फीचर्स, और उपयोग मामलों की संपूर्ण गाइड

सेल्फ-होस्टेड AI स्पेस में एक आम सवाल है: अपने निजी डॉक्युमेंट्स के साथ कैसे चैट करें बिना उन्हें किसी क्लाउड API पर भेजे। 

AnythingLLM इसका लोकप्रिय उत्तर है। यह एक ही इंटरफ़ेस में सब कुछ संभालता है (डॉक्युमेंट अपलोड, एंबेडिंग, सर्च, और चैट) और कई तरह के LLM प्रदाताओं से कनेक्ट होता है। यह आपको क्लाउड सेवाओं पर निर्भर हुए बिना निजी AI वर्कफ़्लो बनाने देता है।

इस गाइड में, मैं बताऊंगा कि AnythingLLM क्या है, इसकी आर्किटेक्चर समझाऊंगा, Docker और Ollama के साथ इसे कैसे इंस्टॉल करें, और एक काम करता हुआ Retrieval-Augmented Generation (RAG) पाइपलाइन दिखाऊंगा। मैं इसे Open WebUI और ChatGPT के साथ भी तुलना करूंगा।

AnythingLLM क्या है?

AnythingLLM एक ओपन-सोर्स एप्लिकेशन है जिसे Mintplex Labs ने MIT लाइसेंस के तहत बनाया है। इसका GitHub समुदाय सक्रिय है, रिलीज़ अक्सर आते हैं, और यह सेल्फ-होस्टेड AI स्पेस में व्यापक रूप से उपयोग होता है।

यह क्या करता है: यह आपके डॉक्युमेंट्स को उस संदर्भ में बदल देता है जिसे लार्ज लैंग्वेज मॉडल (LLM) बातचीत के दौरान उपयोग कर सके। आप फाइलें अपलोड करते हैं, सिस्टम उन्हें प्रोसेस और स्टोर करता है, और फिर LLM आपके डेटा के आधार पर प्रश्नों के उत्तर दे सकता है। प्रोजेक्ट तेज़ी से बढ़ा है, एक सक्रिय Discord समुदाय और मासिक अपडेट्स के साथ जो नए LLM प्रदाता और फीचर्स जोड़ते हैं।

दो बातें शुरू में समझ लें। पहली, AnythingLLM स्वयं कोई मॉडल नहीं है। यह आपको बाहरी LLM प्रदाताओं से जोड़ने वाला पुल है—चाहे स्थानीय (जैसे Ollama) हों या क्लाउड-आधारित (जैसे OpenAI या Anthropic)। 

दूसरी, यह प्लेटफ़ॉर्म हर चीज़ को वर्कस्पेस में व्यवस्थित करता है। इन्हें अलग-अलग प्रोजेक्ट्स के लिए अलग कमरों की तरह समझें। हर वर्कस्पेस के अपने डॉक्युमेंट्स और बातचीतें होती हैं, जो अलग-अलग रहती हैं जब तक आप उन्हें साझा करने के लिए स्पष्ट रूप से कॉन्फ़िगर न करें।

डॉक्युमेंट्स के साथ AnythingLLM वर्कस्पेस इंटरफ़ेस। चित्र: लेखक।

डेस्कटॉप बनाम Docker पर AnythingLLM

यह डेस्कटॉप ऐप (macOS, Windows, Linux) एकल उपयोगकर्ताओं के लिए है जो सब कुछ लोकली चलाना चाहते हैं। इसमें बिल्ट-इन LLM इंजन, CPU-आधारित एंबेडर, और बंडल्ड LanceDB आता है। एक-क्लिक इंस्टॉल, किसी कॉन्फ़िगरेशन की जरूरत नहीं।

यह Docker वर्ज़न टीमों और सर्वरों के लिए बना है। यह Admin, Manager, और Default रोल्स के साथ ठीक-ठाक एक्सेस कंट्रोल जोड़ता है, साथ ही वेबसाइटों के लिए एम्बेडेबल चैट विजेट्स और व्हाइट-लेबलिंग भी देता है। यदि आपको टीम एक्सेस या सार्वजनिक-उन्मुख चैट विजेट्स चाहिए, तो Docker ही आपका एकमात्र विकल्प है।

AnythingLLM की मुख्य विशेषताएँ

अब जब आप जान गए हैं कि AnythingLLM क्या है और Desktop तथा Docker में कैसे चुनें, तो आइए उन विशेषताओं पर नज़र डालें जो इसे डॉक्युमेंट-आधारित AI वर्कफ़्लोज़ के लिए उपयोगी बनाती हैं।

डॉक्युमेंट इनजेशन

PDF, DOCX, TXT, Markdown, CSV, XLSX, PPTX, HTML, 50+ कोड फाइल प्रकार, और ऑडियो फाइलों (Whisper ट्रांसक्रिप्शन का उपयोग करते हुए) के साथ काम करता है। आप GitHub रिपोज़, YouTube ट्रांसक्रिप्ट्स, Confluence पेजों और वेबसाइटों से कंटेंट सीधे खींच सकते हैं, बिल्ट-इन स्क्रेपर का उपयोग करके।

वेक्टर डेटाबेस

LanceDB बिल्ट-इन आता है और किसी सेटअप की जरूरत नहीं। यदि आपको एंटरप्राइज़ फीचर्स चाहिए, तो आप Chroma, Milvus, Pinecone, Qdrant, Weaviate, Zilliz, AstraDB, या PGVector पर स्विच कर सकते हैं।

मल्टीपल LLM सपोर्ट

Ollama, LM Studio, OpenAI, Anthropic, Azure OpenAI, Google Gemini, AWS Bedrock, Groq, और DeepSeek सहित कई प्रदाताओं का समर्थन करता है। आप प्रति वर्कस्पेस मॉडल चुनते हैं, ताकि एक वर्कस्पेस संवेदनशील कार्यों के लिए स्थानीय Ollama मॉडल का उपयोग कर सके, जबकि दूसरा OpenAI के माध्यम से GPT-4o उपयोग करे।

AI एजेंट्स

किसी भी चैट में @agent टाइप करें और नो-कोड एजेंट बिल्डर सक्रिय करें। इसमें डॉक्युमेंट सर्च, सारांश, और वेब स्क्रैपिंग के लिए बिल्ट-इन स्किल्स हैं। Agent Flows आपको API कॉल्स, LLM निर्देश, और फाइल ऑपरेशंस को एक साथ जोड़ने के लिए विज़ुअल कैनवस देता है। यह Model Context Protocol (MCP) के माध्यम से बाहरी टूल्स से कनेक्ट करने का समर्थन भी करता है।

API एक्सेस

डेवलपर API यहां उपलब्ध है /api/docs (Swagger docs)। आप प्रोग्रामेटिक तरीके से वर्कस्पेस मैनेज कर सकते हैं, डॉक्युमेंट्स एंबेड कर सकते हैं, और चैट संदेश भेज सकते हैं।

AnythingLLM कैसे काम करता है (आर्किटेक्चर ओवरव्यू)

एप्लिकेशन के तीन भाग हैं: फ्रंटएंड (React/ViteJS) आपको दिखने वाला और उपयोग करने वाला इंटरफ़ेस देता है। सर्वर (Express बैकएंड) सभी LLM इंटरैक्शंस, वेक्टर डेटाबेस का काम, और API रिक्वेस्ट्स संभालता है। यह कॉन्फ़िगरेशन स्टोर करने के लिए SQLite का उपयोग करता है। कलेक्टर एक अलग सर्विस है जो आपके अपलोड किए गए डॉक्युमेंट्स को पार्स और प्रोसेस करता है। जब आप कोई PDF अपलोड करते हैं, तो कलेक्टर टेक्स्ट निकालता है, फिर सर्वर उसे छोटे हिस्सों में तोड़ता है, एंबेड करता है, और स्टोर करता है।

RAG पाइपलाइन

यह पाइपलाइन दो चरणों में काम करती है।

इनजेशन: आपके डॉक्युमेंट्स कलेक्टर के पास जाते हैं, जो टेक्स्ट निकालता है। फिर सर्वर इस टेक्स्ट को हिस्सों में बाँटता है (अधिकतम 1,000 कैरेक्टर तक, संदर्भ बनाए रखने के लिए थोड़े ओवरलैप के साथ)। हर हिस्से को एंबेडिंग मॉडल द्वारा वेक्टर में बदला जाता है, फिर वेक्टर डेटाबेस में स्टोर किया जाता है। एक vector-cache/ फ़ोल्डर कई मामलों में अनावश्यक री-एंबेडिंग कम करता है।

क्वेरी: आपका सवाल उसी एंबेडिंग मॉडल का उपयोग करके एक वेक्टर में बदला जाता है। फिर सिस्टम सबसे मिलते-जुलते हिस्सों की खोज करता है (आमतौर पर चार से छह)। समानता स्कोर से फ़िल्टर करने के बाद, मिला हुआ टेक्स्ट आपके सवाल और चैट हिस्ट्री के साथ LLM प्रॉम्प्ट में जोड़ा जाता है। LLM यह सब पढ़ता है (सिस्टम इंस्ट्रक्शंस, रिट्रीव्ड संदर्भ, आपका सवाल, और पिछले संदेश) और अपना उत्तर जनरेट करता है।

AnythingLLM RAG पाइपलाइन आर्किटेक्चर ओवरव्यू। चित्र: लेखक।

Docker के साथ AnythingLLM इंस्टॉल करना

जैसा कि आप FAQ में देखेंगे, AnythingLLM हल्का है: लगभग 2GB RAM, 2-कोर CPU, और लगभग 5GB स्टोरेज। इसके साथ लोकल LLM चलाना ज़्यादा संसाधन मांगता है (7B मॉडल को आमतौर पर 8GB+ RAM/VRAM चाहिए)। इस ट्यूटोरियल में, मैं 3B मॉडल का उपयोग करता हूँ जो सीमित हार्डवेयर पर चलता है। शुरू करने से पहले सुनिश्चित करें कि Docker इंस्टॉल और रन हो रहा है। Windows उपयोगकर्ताओं को WSL भी चाहिए।

स्टेप 1: Ollama इंस्टॉल करें और मॉडल्स पुल करें

Ollama को यहां से डाउनलोड करें ollama.com/download, फिर एक चैट मॉडल और एक एंबेडिंग मॉडल पुल करें:

ollama pull llama3.2:3b
ollama pull nomic-embed-text
ollama serve

मैं llama3.2:3b का उपयोग करता हूँ क्योंकि यह सीमित VRAM वाली मशीनों पर अच्छा चलता है (जैसे 6GB वाले RTX 3050 पर)। बेहतर गुणवत्ता के लिए, llama3.2:8b या deepseek-r1:7b आज़माएँ यदि आपका हार्डवेयर अनुमति दे। और मॉडल विकल्पों के लिए हमारा लोकली LLMs चलाना गाइड देखें।

स्टेप 2: Docker Compose फाइल बनाएं

mkdir anythingllm-setup && cd anythingllm-setup
touch .env

docker-compose.yml बनाएं:

services:
  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - "3001:3001"
    cap_add:
      - SYS_ADMIN
    volumes:
      - anythingllm_storage:/app/server/storage
      - ./.env:/app/server/.env
    environment:
      - STORAGE_DIR=/app/server/storage
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

volumes:
  anythingllm_storage:

इस कॉन्फ़िगरेशन के बारे में कुछ बातें ध्यान देने योग्य हैं। cap_add: SYS_ADMIN फ़्लैग बिल्ट-इन PuppeteerJS वेब स्क्रेपर के लिए आवश्यक है, जो सैंडबॉक्स्ड Chromium ब्राउज़र का उपयोग करता है। 

यह extra_hosts लाइन सबसे आम Docker नेटवर्किंग समस्या का समाधान करती है: यह कंटेनर को आपके होस्ट मशीन पर चल रहे Ollama तक पहुंचने देती है। इसके बिना, कंटेनर के अंदर से localhost:11434 से कनेक्ट करने का कोई भी प्रयास विफल होगा क्योंकि Docker कंटेनरों का अपना नेटवर्क नेमस्पेस होता है। 

मैं एक नामित Docker वॉल्यूम (anythingllm_storage) का उपयोग करता हूँ, बाइंड माउंट के बजाय, बेहतर क्रॉस-प्लेटफ़ॉर्म संगतता के लिए—खासकर Windows और macOS पर, जहाँ बाइंड माउंट परमिशंस समस्याग्रस्त हो सकते हैं।

स्टेप 3: लॉन्च करें और कॉन्फ़िगर करें

कंटेनर को इनिशियलाइज़ होने के लिए लगभग 30 सेकंड प्रतीक्षा करें, फिर http://localhost:3001 खोलें। आपको फ़र्स्ट-रन सेटअप विज़ार्ड दिखेगा। लेकिन पहले, यह कमांड चलाएँ:

docker compose up -d

Docker पर AnythingLLM का प्रारंभिक सेटअप विज़ार्ड। चित्र: लेखक।

सेटअप विज़ार्ड के दौरान, LLM और एंबेडिंग प्रदाता दोनों के रूप में Ollama चुनें, बेस URL को http://host.docker.internal:11434 पर सेट करें, चैट मॉडल के रूप में llama3.2:3b चुनें, और एंबेडर के रूप में nomic-embed-text चुनें। LanceDB को डिफ़ॉल्ट वेक्टर डेटाबेस के रूप में रखें।