Docker, n8n, Qdrant ve Ollama ile Yerel Yapay Zeka

Dünya genelindeki şirketler, yapay zekânın gücünden yararlanırken hassas bilgileri koruma konusunda giderek daha fazla endişe duyuyor. Bu kılavuz, açık kaynak araçların güçlü bir bileşimini kullanarak güvenli, yerel yapay zeka uygulamaları oluşturmak için kapsamlı bir çözüm sunar.

Yerel bir yapay zeka ortamını hızlıca kurmak için Self-hosted AI Starter Kit kullanacağız. Bu kit, Ollama, Qdrant, n8n ve Postgres’i otomatik olarak çalıştırır. Ayrıca, n8n kontrol paneli üzerinden Harry Potter veri setini kullanarak bir RAG (Geri getirme destekli üretim) sohbet botu için yapay zeka iş akışı oluşturmayı öğreneceğiz.

İster geliştirici, ister veri bilimci, ister teknik olmayan bir profesyonel olun; güvenli yapay zeka çözümleri uygulamak istiyorsanız, bu eğitim hassas verileriniz üzerinde tam kontrolü korurken güçlü, kendi kendine barındırılan yapay zeka iş akışları oluşturmanız için sağlam bir temel sağlayacaktır.

Yerel Yapay Zeka (Local AI) nedir?

Yerel Yapay Zeka, bulut servisleri yerine yapay zeka sistemlerini ve iş akışlarını kendi altyapınızda çalıştırmanıza olanak tanır; bu da gizliliği artırır ve maliyet verimliliği sağlar.

Yapay zeka ekosistemine yeniyseniz, önce AI Fundamentals beceri yolumuzu incelemelisiniz. Bu dizi dersleri tamamlayarak ChatGPT, büyük dil modelleri, üretken yapay zeka ve daha fazlası gibi popüler AI konularında uygulanabilir bilgi edineceksiniz.

Görsel: Yazar

Yerel yapay zeka uygulamalarımızı oluşturmak ve çalıştırmak için kullanacağımız araçların listesi aşağıdadır:

1. Docker: Tüm yapay zeka bileşenlerini yönetilebilir, yalıtılmış ortamlarda paketleyen konteynerleştirme platformudur. Tüm AI araçlarını tek bir komutla çalıştırmamıza yardımcı olur. 
2. n8n: Sürükle-bırak arayüzle yapay zeka iş akışları oluşturmanıza olanak tanıyan bir iş akışı otomasyon çerçevesi. Kod bilgisi gerektirmez; bu da teknik olmayan kişiler için idealdir.
3. Postgres: Tüm verileri ve günlükleri depolayarak n8n çerçevesi için bir bellek arabelleği görevi görür.
4. Qdrant: Yapay zeka tarafından üretilen içeriği aranabilir ve yönetilebilir kılan bir vektör veritabanı ve arama motoru.
5. Ollama: Herhangi bir açık kaynak büyük dil modelini sınırlı donanım gereksinimleriyle yerelde çalıştırmanızı sağlayan bir yapay zeka model yöneticisi.

RAG Sohbet Botu için AI iş akışını oluştururken birincil çerçevemiz n8n olacak. Vektör deposu olarak Qdrant’ı, model sağlayıcı olarak Ollama’yı kullanacağız. Birlikte bu bileşenler RAG sistemini oluşturmamıza yardımcı olacak.

Docker’ın kurulumu  

Resmî Docker web sitesine giderek Docker masaüstü uygulamasını indirip kuracağız. Kurulumu ve kullanmaya başlaması oldukça kolaydır. 

Docker hakkında daha fazla bilgi edinmek için Docker for Data Science eğitimini takip edebilir veya Introduction to Docker kursumuzu alabilirsiniz. 

Kaynak: Docker: Hızlandırılmış Konteyner Uygulama Geliştirme

Windows kullanıcılarının Docker konteynerlerini başarıyla çalıştırmak için ek bir araca ihtiyacı vardır: Windows Subsystem for Linux (WSL). Bu, geliştiricilerin bir Linux dağıtımı kurup Linux uygulamalarını doğrudan Windows üzerinde kullanmasına olanak tanır.

Windows’ta WSL kurmak için aşağıdaki komutu terminale veya PowerShell’e yazın. PowerShell’i yönetici olarak başlattığınızdan emin olun.

$ wsl --install

WSL’yi başarıyla kurduktan sonra sisteminizi yeniden başlatın. Ardından, Docker’ın düzgün çalışıp çalışmadığını kontrol etmek için PowerShell’e aşağıdaki komutu yazın.

$ docker run hello-world

Docker, hello-world imajını başarıyla çekti ve konteyneri başlattı.

Docker Compose ile Yerel Yapay Zeka Uygulamalarını Kurma ve Çalıştırma

Bu kılavuzda, Docker Compose kullanarak AI servislerini yerelde nasıl kuracağınızı öğreneceksiniz. Bu yaklaşım, Docker imajlarını yükleyip konteynerleri dakikalar içinde dağıtmanıza olanak tanır; altyapınızda birden fazla AI servisini çalıştırıp yönetmenin basit bir yolunu sunar.

İlk olarak, terminalde aşağıdaki komutu yazarak n8n-io/self-hosted-ai-starter-kit deposunu klonlayacağız. 

$ git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git
$ cd self-hosted-ai-starter-kit

Starter kit, bir AI iş akışı oluşturmak için gereken sunucuları ve uygulamaları kurmanın en kolay yoludur. Ardından Docker imajlarını yükleyip konteynerleri çalıştıracağız. 

$ docker compose --profile cpu up

Bir NVIDIA GPU’nuz varsa, yanıt üretiminde hızlandırmadan yararlanmak için aşağıdaki komutu deneyin. Ayrıca, Ollama Docker kılavuzunu takip ederek Docker için NVIDIA GPU kurulumu yapın.

$ docker compose --profile gpu-nvidia up

Tüm Docker imajlarını indirip konteynerleri tek tek başlattığı için birkaç dakika sürecektir.

Tüm Docker servisleri çalışıyor. Çıkmış durumdaki Docker konteynerleri, Llama 3.2 modelini indirmek ve n8n yedek iş akışını içe aktarmak için kullanıldı.

Terminale aşağıdaki komutu yazarak çalışan Docker konteynerlerinin durumunu da kontrol edebiliriz. 

$ docker compose ps

Starter kit, Llama 3.2 modelini indirmek için betik içeriyordu. Ancak, düzgün bir RAG Sohbet Botu uygulaması için gömme (embedding) modeline de ihtiyacımız var. Ollama Docker konteynerine gidip “Exec” sekmesine tıklayacağız ve “nomic-embed-text” modelini indirmek için aşağıdaki komutu yazacağız.

$ ollama pull nomic-embed-text

Görüldüğü gibi, bir Docker konteyneriyle sanki ayrı bir sanal makineymiş gibi etkileşime geçebiliyoruz.

Tarayıcınızda http://localhost:5678/ adresindeki n8n kontrol panelini açarak e-posta ve parola ile bir n8n kullanıcı hesabı oluşturun. Ardından ana kontrol paneli sayfasında ana sayfa düğmesine tıklayın ve Demo iş akışına erişin. 

Demo, kullanıcı girdisini alıp yanıt üreten basit bir LLM iş akışıdır.

İş akışını çalıştırmak için Chat düğmesine tıklayın ve sorunuzu yazmaya başlayın. Birkaç saniye içinde bir yanıt üretilecektir. 

GPU hızlandırmalı küçük bir dil modeli kullandığımızı lütfen unutmayın; bu nedenle yanıt genellikle yalnızca yaklaşık 2 saniye sürer.

n8n Kontrol Paneli ile AI İş Akışı Oluşturma

Bu projede, Harry Potter filmlerinden verileri kullanarak bağlama duyarlı ve doğru yanıtlar veren bir RAG (Retrieval-Augmented Generation) sohbet botu oluşturacağız. Bu proje kodsuz bir çözümdür; yapmanız gereken tek şey gerekli iş akışı bileşenlerini arayıp bağlayarak bir AI iş akışı oluşturmaktır.

n8n, Langchain’e benzer kodsuz bir platformdur. Benzer bir yapay zeka iş akışını Langchain kullanarak nasıl oluşturacağınıza genel bir bakış için Llama 3.1 8B, Ollama ve Langchain ile RAG eğitimini takip edin.

1. Sohbet tetikleyicisini ekleme

Kontrol panelinin ortasındaki “Add the first step” düğmesine tıklayın, “Chat Trigger”ı arayın ve ekleyin. 

“Allow File Uploads” seçeneğini etkinleştirdiğinizden emin olun.

2. Qdrant vektör deposunu ekleme

“Chat Trigger” bileşeninin üzerindeki artı (+) düğmesine tıklayıp aratarak “Qdrant Vector Store” adlı başka bir bileşen ekleyebilirsiniz. 

İşlem modunu “Insert Documents” olarak değiştirin, Qdrant koleksiyonunu “By ID” olarak ayarlayın ve kimliği “Harry_Potter” olarak yazın.

Seçenekten çıktığımızda, sohbet tetikleyicisinin vektör depomuzla bağlandığını göreceğiz.  

3. Gömme modelini vektör deposuna bağlama

Qdrant vektör deposunun altındaki “Embedding” etiketli artı düğmesine tıklayın. Model yönetimi menüsüne yönlendirileceğiz; burada embeddings Ollama’yı seçecek ve modeli “nomic-embed-text:latest” olarak değiştireceğiz.

4. Belge yükleyiciyi vektör deposuna bağlama

Qdrant vektör deposunun altındaki “Document” yazan artı düğmesine tıklayın ve menüden “Default Data Loader”ı seçin. Veri türünü “Binary” olarak değiştirin.

Ardından, belge yükleyiciye 500 parça boyutu ve 50 parça örtüşmesi olan bir token bölücü ekleyin.

İş akışımızın sonunda şöyle görünmesi gerekir. Bu iş akışı, kullanıcıdan CSV dosyalarını alır, bunları metne dönüştürür, ardından metni gömmelere çevirir ve vektör deposunda saklar.

5. Qdrant vektör deposunu test etme

Kontrol panelinin altındaki Chat düğmesine tıklayın. Sohbet penceresi açıldığında aşağıda gösterildiği gibi dosya düğmesine tıklayın.

Bu iş akışında, Harry Potter Movies veri setindeki tüm CSV dosyalarını yükleyeceğiz. Ancak iş akışımızı test etmek için, kullanıcı sorgusuna bağlı olarak yalnızca 'spell' adlı tek bir CSV dosyasını yükleyeceğiz.

http://localhost:6333/dashboard adresini kullanarak Qdrant sunucusuna gidebilir ve dosyanın vektör deposuna yüklenip yüklenmediğini kontrol edebilirsiniz. 

Şimdi, kalan dosyaları da vektör deposuna ekleyin. 

6. Yapay zeka ajanını ekleme

Sohbet tetikleyicisini vektör deposuna bağlayacak, ardından AI ajanına bağlayacak ve ajan türünü “Conversation Agent” olarak değiştireceğiz.

7. Sohbet modelini AI ajanına bağlama

AI ajanının altındaki “Chat Model” düğmesine tıklayın ve menüden Ollama Chat modelini seçin. Sonrasında, model adını “Llama3.2:latest” olarak değiştirin.

8. Vektör depo aracını AI ajanına bağlama

AI ajanının altındaki “Tool” düğmesine tıklayın ve menüden vektör depo aracını seçin. Araç adını ve açıklamasını girin. 

9. Qdrant getiriciyi vektör depo aracına bağlama

Vektör depo aracına bileşenler eklememiz gerekiyor. Önce, vektör deposu olarak Qdrant’ı ekleyecek ve koleksiyon kimliğini "Harry_Potter" olarak ayarlayacağız. Bu vektör deposu, benzerlik araması sırasında Harry Potter koleksiyonuna erişecek. Ek olarak, işlem modunu "Retrieved Documents" olarak değiştirin.

10. Sohbet modelini vektör depo aracına bağlama

Vektör depo aracı ayrıca bir LLM modeline ihtiyaç duyar. Ollama sohbet modelini bağlayacak ve modeli “llama3.2:latest” olarak değiştireceğiz.

11. Gömme modelini Qdrant getiriciye bağlama

Son adımda, alma vektör deposunu gömme modeliyle besleyeceğiz. Bu, kullanıcı sorgusunu bir gömmeye dönüştürmesine ve ardından gömmeyi LLM’in işlemesi için yeniden metne çevirmesine olanak tanır. 

Vektör deponuz için doğru gömme modeli sağladığınızdan emin olun.

AI iş akışının şöyle görünmesi gerekir. 

12. AI iş akışını test etme

Harry Potter evreni hakkında sorular sormaya başlamak için sohbet düğmesine tıklayın.

İstem: “Hogwarts’taki en gizli yer neresidir?”

İstem: “En güçlü büyü hangisidir?”

AI iş akışımız hızlı ve sorunsuz çalışıyor. Bu kodsuz yaklaşımın uygulanması oldukça kolay. n8n ayrıca kullanıcıların uygulamalarını paylaşmasına olanak tanır; böylece tıpkı ChatGPT gibi herkes bir bağlantı aracılığıyla erişebilir.

Sonuç 

n8n, özellikle teknik olmayan kişiler için LLM/AI projelerinde mükemmel bir araçtır. Bazen iş akışını sıfırdan oluşturmaya bile gerek yok. Yapmamız gereken tek şey n8n web sitesinde benzer projeleri aramak, JSON kodunu kopyalamak ve n8n kontrol panelimize yapıştırmak. Bu kadar basit. 

Kaynak: n8n Topluluğundan 900+ Otomasyon İş Akışını Keşfedin

Bu eğitimde, yerel yapay zekayı ve çeşitli AI servislerini oluşturup dağıtmak için self-hosted AI starter kit’in nasıl kullanılacağını öğrendik. Ardından n8n kontrol panelini başlattık ve Qdrant, gömme modelleri, vektör depo araçları, LLM’ler ve belge yükleyicilerle kendi AI iş akışımızı oluşturduk. n8n ile iş akışları oluşturmak ve çalıştırmak oldukça kolaydır. AI araçlarına yeniyseniz ve kodsuz AI çözümlerini öğrenmek istiyorsanız, diğer kaynaklarımıza göz atın:

• Pienso CEO’su & CTO’su Birago Jones & Karthik Dinakar ile Pratikte Kodsuz LLM’ler
• LLM’leri Yerelde Çalıştırma: 7 Basit Yöntem
• LlaMA-Factory WebUI Başlangıç Rehberi: LLM İnce Ayarı