AnythingLLM: Kurulum, Özellikler ve Kullanım Senaryoları için Kapsamlı Rehber

Kendi sunucunuzda çalışan yapay zekâ alanında sık sorulan bir soru, özel dokümanlarla verileri buluta göndermeden nasıl sohbet edilebileceğidir. 

AnythingLLM bu soruya popüler bir yanıttır. Tek bir arayüzde her şeyi (doküman yükleme, gömme, arama ve sohbet) yönetir ve çok sayıda LLM sağlayıcısına bağlanır. Bulut hizmetlerine bağlı kalmadan özel yapay zekâ iş akışları kurmanıza olanak tanır.

Bu rehberde AnythingLLM’in ne olduğunu açıklayacak, mimarisini adım adım anlatacak, Docker ve Ollama ile nasıl kuracağınızı gösterecek ve çalışan bir Retrieval-Augmented Generation (RAG) hattını göstereceğim. Ayrıca Open WebUI ve ChatGPT ile karşılaştıracağım.

AnythingLLM Nedir?

AnythingLLM, Mintplex Labs tarafından MIT lisansı altında geliştirilmiş açık kaynaklı bir uygulamadır. Aktif bir GitHub topluluğu ve sık güncellemeleri vardır; kendi sunucusunda AI kullanan çevrelerde yaygın şekilde kullanılır.

Yaptığı şey şu: dokümanlarınızı, bir büyük dil modeli (LLM)nin sohbet sırasında kullanabileceği bağlama dönüştürür. Dosyaları yüklersiniz, sistem bunları işler ve depolar; ardından LLM, verilerinize dayanarak soruları yanıtlayabilir. Proje hızlı büyüdü; aktif bir Discord topluluğu ve yeni LLM sağlayıcıları ile özellikler ekleyen aylık güncellemeleri var.

Baştan iki şeyi anlamak önemli. Birincisi, AnythingLLM başlı başına bir model değildir. Sizi yerel (Ollama gibi) veya bulut tabanlı (OpenAI ya da Anthropic gibi) harici LLM sağlayıcılarına bağlayan bir köprüdür. 

İkincisi, platform her şeyi çalışma alanları halinde düzenler. Bunları farklı projeler için ayrı odalar olarak düşünebilirsiniz. Her çalışma alanının kendi dokümanları ve sohbetleri vardır; siz açıkça paylaşacak şekilde yapılandırmadıkça birbirinden yalıtılmış kalır.

Dokümanlarla AnythingLLM çalışma alanı arayüzü. Görsel: Yazar.

Masaüstünde AnythingLLM ve Docker

Masaüstü uygulaması (macOS, Windows, Linux), her şeyi yerel olarak çalıştıran tek kullanıcılar içindir. Yerleşik bir LLM motoru, CPU tabanlı gömme aracı ve paketlenmiş LanceDB ile gelir. Tek tıkla kurulum, yapılandırma gerekmez.

Docker sürümü ekipler ve sunucular için tasarlanmıştır. Admin, Manager ve Default rollerle uygun erişim kontrolü ekler; ayrıca web siteleri için gömülebilir sohbet bileşenleri ve beyaz etiketleme sunar. Ekip erişimi veya herkese açık sohbet bileşenlerine ihtiyacınız varsa Docker tek seçeneğinizdir.

AnythingLLM’in Temel Özellikleri

Artık AnythingLLM’in ne olduğunu ve Masaüstü ile Docker arasında nasıl seçim yapacağınızı bildiğinize göre, doküman tabanlı yapay zekâ iş akışları için faydalı kılan özelliklere bakalım.

Doküman alımı

PDF, DOCX, TXT, Markdown, CSV, XLSX, PPTX, HTML, 50+ kod dosyası türü ve ses dosyalarıyla (Whisper transkripsiyonu ile) çalışır. Ayrıca yerleşik tarayıcıyı kullanarak içeriği doğrudan GitHub depolarından, YouTube transkriptlerinden, Confluence sayfalarından ve web sitelerinden çekebilirsiniz.

Vektör veritabanı

LanceDB yerleşik gelir ve sıfır kurulum gerektirir. Kurumsal özelliklere ihtiyaç duyarsanız Chroma, Milvus, Pinecone, Qdrant, Weaviate, Zilliz, AstraDB veya PGVector’a geçebilirsiniz.

Birden çok LLM desteği

Ollama, LM Studio, OpenAI, Anthropic, Azure OpenAI, Google Gemini, AWS Bedrock, Groq ve DeepSeek dâhil geniş bir yelpazeyi destekler. Modelleri çalışma alanı bazında seçersiniz; böylece bir çalışma alanı hassas işler için yerel bir Ollama modelini kullanırken, bir diğeri OpenAI üzerinden GPT-4o kullanabilir.

Yapay zekâ ajanları

Herhangi bir sohbette @agent yazarak kodsuz ajan oluşturucuyu etkinleştirin. Doküman arama, özetleme ve web kazıma için yerleşik becerilere sahiptir. Agent Flows, API çağrılarını, LLM talimatlarını ve dosya işlemlerini birbirine bağlamak için görsel bir tuval sunar. Ayrıca harici araçlara bağlanmak için Model Context Protocol (MCP) destekler.

API erişimi

Geliştirici API’si /api/docs (Swagger dokümanları) altında yer alır. Çalışma alanlarını programatik olarak yönetebilir, dokümanları gömebilir ve sohbet mesajları gönderebilirsiniz.

AnythingLLM Nasıl Çalışır (Mimari Genel Bakış)

Uygulama üç parçadan oluşur: ön uç (React/ViteJS) gördüğünüz ve etkileşime girdiğiniz arayüzü sağlar. Sunucu (Express arka ucu) tüm LLM etkileşimlerini, vektör veritabanı işlerini ve API isteklerini yönetir. Yapılandırmayı depolamak için SQLite kullanır. Toplayıcı ise yüklediğiniz dokümanları ayrıştırıp işleyen ayrı bir hizmettir. Bir PDF yüklediğinizde, toplayıcı metni çıkarır; ardından sunucu bunu parçalara böler, gömer ve depolar.

RAG hattı

Hat iki aşamada çalışır.

Alım: Dokümanlarınız toplayıcıya gider ve metin çıkarılır. Ardından sunucu bu metni parçalara böler (bağlamı korumak için küçük bindirmeyle 1.000 karaktere kadar). Her parça, gömme modeli tarafından bir vektöre dönüştürülür ve vektör veritabanında saklanır. Bir vector-cache/ klasörü, birçok durumda gereksiz yeniden gömmeyi azaltır.

Sorgu: Sorunuz aynı gömme modeli kullanılarak bir vektöre dönüştürülür. Sistem daha sonra en benzer parçaları arar (genellikle dört ile altı arası). Benzerlik puanına göre filtreledikten sonra, eşleşen metin sorunuz ve sohbet geçmişinizle birlikte LLM istemine eklenir. LLM tüm bunları (sistem talimatları, getirilen bağlam, sorunuz ve önceki mesajlar) okuyup yanıtını üretir.

AnythingLLM RAG hattı mimarisi genel bakış. Görsel: Yazar.

Docker ile AnythingLLM Kurulumu

SSS’de göreceğiniz üzere AnythingLLM hafiftir: yaklaşık 2 GB RAM, 2 çekirdekli CPU ve yaklaşık 5 GB depolama. Bunun yanında yerel bir LLM çalıştırmak daha fazlasını gerektirir (7B bir model tipik olarak 8 GB+ RAM/VRAM ister). Bu eğitimde, sınırlı donanımda çalışan 3B bir model kullanıyorum. Başlamadan önce Docker’ın kurulu ve çalışır durumda olduğundan emin olun. Windows kullanıcılarının ayrıca WSL’e ihtiyacı vardır.

Adım 1: Ollama’yı kurun ve modelleri çekin

Ollama’yı ollama.com/download adresinden indirin, ardından bir sohbet modeli ve bir gömme modeli çekin:

ollama pull llama3.2:3b
ollama pull nomic-embed-text
ollama serve

Ben llama3.2:3b kullanıyorum çünkü sınırlı VRAM’e sahip makinelerde (ör. 6 GB’lık RTX 3050) iyi çalışıyor. Daha iyi kalite için donanımınız uygunsa llama3.2:8b ya da deepseek-r1:7b deneyin. Daha fazla model seçeneği için LLM’leri yerelde çalıştırma rehberimize göz atın.

Adım 2: Docker Compose dosyasını oluşturun

mkdir anythingllm-setup && cd anythingllm-setup
touch .env

docker-compose.yml dosyasını oluşturun:

services:
  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - "3001:3001"
    cap_add:
      - SYS_ADMIN
    volumes:
      - anythingllm_storage:/app/server/storage
      - ./.env:/app/server/.env
    environment:
      - STORAGE_DIR=/app/server/storage
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

volumes:
  anythingllm_storage:

Bu yapılandırma hakkında birkaç not. cap_add: SYS_ADMIN bayrağı, korumalı bir Chromium tarayıcısı kullanan yerleşik PuppeteerJS web tarayıcısı için gereklidir. 

extra_hosts satırı, en yaygın Docker ağ sorununu çözer: konteynerin ana makinenizde çalışan Ollama’ya ulaşmasını sağlar. Bunu olmadan, konteyner içinden localhost:11434 adresine bağlanma girişimleri başarısız olur; çünkü Docker konteynerlerinin kendi ağ ad alanı vardır. 

Windows ve macOS’ta bağlama noktası izinleri sorunlu olabildiği için daha iyi çapraz platform uyumluluğu adına bağlama yerine adlandırılmış bir Docker birimi (anythingllm_storage) kullanıyorum.

Adım 3: Başlatın ve yapılandırın

Konteynerin başlatılması için yaklaşık 30 saniye bekleyin, ardından http://localhost:3001 adresini açın. İlk kurulum sihirbazını göreceksiniz. Ancak önce şu komutu çalıştırın:

docker compose up -d

Docker üzerinde AnythingLLM ilk kurulum sihirbazı. Görsel: Yazar.

Kurulum sihirbazı sırasında, hem LLM hem de gömme sağlayıcısı olarak Ollama’yı seçin, temel URL’yi http://host.docker.internal:11434 olarak ayarlayın, sohbet modeli olarak llama3.2:3b ve gömme aracı olarak nomic-embed-text seçin. Vektör veritabanı olarak varsayılan LanceDB’yi koruyun.