Tipik bir geri getirme destekli üretim (RAG) kurulumunda, bir belge eklediğinizde gömmeler oluşturur, içerik değiştiğinde yeniden oluşturur ve her sorguyu kendiniz gömersiniz. Otomatik Gömme, MongoDB Atlas’ın gömme oluşturmayı, güncellemeleri ve sorgulamayı yerel olarak ele alması ve Vector Search’ün üretilen vektör gömmelerini kümenizde saklaması sayesinde anlamsal arama oluşturma sürecini basitleştirir.
MongoDB otomatik gömmeyi nasıl yapar
autoEmbed türünde bir vektör arama indeksi oluşturulduğunda, MongoDB seçilen alan için gömmeler üretir, VoyageAI modelini kullanır, belgede değişiklik olduğunda bunları senkronize tutar ve sorgu metnini arama anında aynı modelle gömer. Üretilen gömmeler MongoDB kümesinde ayrı bir dahili veritabanında eşzamansız olarak saklanır.
Bu eğitimde, MongoDB otomatik gömmeleriyle bir S&C Doküman Asistanı (Q&A) oluşturacağız. Modelleri tanımlamak ve belgeleri almak için Django MongoDB arka ucunu kullanacağız; aramalar, gömmelerin otomatik üretilmesi ve senkronizasyonu için MongoDB kullanılacak ve LLM, getirilen sonuçlara göre belgeleri döndürecek.
Bu eğitimin sonunda, bir RAG hattının geri getirme aşamasını oluşturmuş olacaksınız: Otomatik gömmelerin gömme işini sizin için üstlendiği Federal Register belgeleri üzerinde bir anlamsal arama. Belgeler eklediğinizde gömülür, değiştiklerinde yeniden gömülür ve sorgularınız arama anında gömülür; üstelik herhangi bir gömme kodu yazmadan.
Bu eğitimi iki yoldan biriyle takip edebilirsiniz.
Projenizin kök dizininden, yeni bir Django projesi ve uygulaması oluşturmak için aşağıdaki komutu çalıştırın. startproject komutundaki sonda gelen . işaretini ekleyin; bu, Django’ya yeni bir iç içe klasör oluşturmak yerine projeyi mevcut dizine kurmasını söyler.
settings.py içindeki orijinal sabit SECRET_KEY = '...' satırını silin, startproject çalıştırdığınızda Django’nun settings.py’de ürettiği değeri kopyalayın ve .env dosyanıza koyun. Varsayılan olarak orada sabit kodlanmıştır ve biz bunu sürüm kontrolünün dışında tutmak için .env’e taşıyoruz; çünkü Django bunu oturum çerezlerini, CSRF belirteçlerini ve diğer güvenlik açısından hassas verileri imzalamak için kullanır.
regulations_qa/settings.py dosyasını açın ve aşağıdakilerin tamamını içerdiğinden emin olun. İçe aktarma satırları ve load_dotenv() en üste gelir. Mevcut SECRET_KEY ve DATABASES tanımlarını değiştirin ve VECTOR_INDEX_NAME satırını ekleyin:
import os
from dotenv import load_dotenv
load_dotenv()
SECRET_KEY = os.getenv("SECRET_KEY")
VECTOR_INDEX_NAME = os.getenv("VECTOR_INDEX_NAME")
DATABASES ={'default':{'ENGINE':'django_mongodb_backend','HOST': os.getenv("MONGODB_URI"),'NAME': os.getenv("DB_NAME"),},}Altyapı:
Yönetim komutları için klasörler oluşturun
Sonraki adımda, yönetim komutları için boş __init__.py dosyalarına sahip klasörler oluşturuyoruz; çünkü Django özel komutları yalnızca bir management/commands/ paketinde keşfeder.
Bu eğitimde, Federal Register’dan belgeleri indeksleyeceğiz; ABD hükümetinin kural, taslak kural ve bildirimlere ilişkin günlük yayımları. Veri kaynağı, başlık ve kısa bir düzyazı özet içeren ve anlamsal arama ile iyi çalışan belgelerden oluşan bir herkese açık API’dir.
Vektör arama indeksi, MongoDB’ye hangi alan üzerinde gömme yapılacağını ve hangi modelin kullanılacağını söyler. Bundan sonra MongoDB gömmeleri otomatik olarak oluşturur ve saklar.
Arama türü olarak Vector Search’ü ve vektör verinizi kurma yöntemi olarak Automated Embedding’i seçin.
JSON düzenleyiciyi seçin, veritabanınızı ve documents_document koleksiyonunu işaretleyin ve indeksi autoembed_index olarak adlandırın (ad, .env dosyanızdaki VECTOR_INDEX_NAME ile eşleşmelidir). Şu tanımı yapıştırın:
Tanımı gözden geçirin ve ardından indeksi oluşturun.
Gömmeler arka planda oluşturulduğu için indeks durumu sorgulanmaya hazır görünene kadar bekleyin.
Düz Metinle Sorgulama
Otomatik gömmeler için, düz metin bir sorguyla $vectorSearch aşamasını kullanır ve soruyu indeksin kullandığı aynı modelle gömeriz; böylece kodumuzda herhangi bir gömme çağrısı olmaz.
Bunu gerçekleştirmek için bir servis modülü oluşturacağız.
# documents/services/search_service.pyfrom functools import lru_cache
from django.conf import settings
from pymongo import MongoClient
from documents.models import Document
DEFAULT_LIMIT =5@lru_cache(maxsize=1)# create the client once and reuse itdef_get_client():return MongoClient(settings.DATABASES["default"]["HOST"])def_get_collection():
db_name = settings.DATABASES["default"]["NAME"]return _get_client()[db_name][Document._meta.db_table]def_get_index_name():
index_name = settings.VECTOR_INDEX_NAME
ifnot index_name:raise ValueError("VECTOR_INDEX_NAME is not set. Add it to your .env file.")return index_name
defsemantic_search(question:str, limit:int= DEFAULT_LIMIT)->list:"""Search with a plain-text question.
There is no query vector to pass in: MongoDB embeds the question
with the index's model.
"""
pipeline =[{"$vectorSearch":{"index": _get_index_name(),"path":"abstract","query": question,"numCandidates": limit *20,"limit": limit,}},{"$project":{"_id":0,"document_number":1,"title":1,"abstract":1,"source_url":1,"score":{"$meta":"vectorSearchScore"},}},]returnlist(_get_collection().aggregate(pipeline))Altyapı:
_get_client(), MongoDB bağlantısını bir kez oluşturur ve yeniden kullanır. lru_cache, ilk çağrının sonucunu hatırlar; böylece her arama her seferinde yeni bir bağlantı açmak yerine tek bir istemciyi paylaşır.
_get_collection(), Django’nun kullandığı aynı ayarlarla regulations_qa veritabanını ve documents_document koleksiyonunu seçer.
_get_index_name(), indeks adını ayarlardan okur ve eksikse net bir hata verir.
semantic_search(), soruyu query alanında metin olarak gönderir. İkinci aşama, çıktıyı ihtiyaç duyduğumuz alanlara kırpar ve benzerlik skorunu ekler.
Ardından belgelere arama yapmak için bir yardımcı ekliyoruz:
# documents/management/commands/search_docs.pyfrom django.core.management.base import BaseCommand
from documents.services.search_service import semantic_search
classCommand(BaseCommand):help="Run a plain-text search."defadd_arguments(self, parser):
parser.add_argument("question")defhandle(self,*args,**options):for hit in semantic_search(options["question"]):
self.stdout.write(f"{hit['score']:.3f}{hit['document_number']}{hit['title'][:80]}")Altyapı:
Şimdi test etmek için şunu çalıştırın:
python manage.py search_docs "limits on pollution from factories"Altyapı:
Örnekte, özetlerle ortak anahtar kelimeleri paylaşmayan soruları seçiyoruz. “limits on pollution from factories” hakkında bir soru, emisyon standartlarıyla ilgili belgeleri getirmelidir.
Not: Ödeme yöntemi olmayan ücretsiz (M0) bir kümede, sorgu gömme istekleri hız sınırına takılabilir.
Demo: Bir Belgeyi Düzenleyin ve Yeniden Senkronizasyonu İzleyin
Demo için, ya MongoDB Atlas’taki Search Tester’ı kullanabiliriz (önceden regulations_qa.documents_document koleksiyonu üzerinde oluşturduğumuz autoembed_index’e bağlıdır) ya da Python kabuğunu kullanabiliriz.
Adım 1: MongoDB Atlas ve kabuk üzerinden arayın
Bunu MongoDB Atlas arayüzünde test etmek için şu sorguyu girin:
python manage.py shell ile kabuğu açın, ardından şunu çalıştırın:
from documents.models import Document
from documents.services.search_service import semantic_search
Q ="which states need to clean up their air"
hits = semantic_search(Q, limit=10)print("\n".join(f"{i}{h['score']:.3f}{h['document_number']}{h['title'][:70]}"for i, h inenumerate(hits,1)))Altyapı:
Çıktı, GUI üzerinden gördüklerimizle aynı olmalıdır.
Adım 2: Belgeyi düzenleyin
target = hits[-1]
doc = Document.objects.get(document_number=target["document_number"])
original = doc.abstract
doc.abstract = original +" This action also identifies which states and areas must clean up their air to meet health-based standards."
doc.save()print(target["document_number"],"edited")Altyapı:
Adım 3: Yeniden arayın
Otomatik gömmeler eşzamansız oluşturulur; bu nedenle 30–60 saniye bekleyin ve ardından sorguyu tekrar çalıştırın:
hits = semantic_search(Q, limit=10)print("\n".join(f"{i}{h['score']:.3f}{h['document_number']}{h['title'][:70]}"for i, h inenumerate(hits,1)))Altyapı:
Şimdi, düzenlenen belgenin öncekine göre daha üst sıralarda çıktığını görmeyi beklemeliyiz.
Aynı sorguyu Search Tester’da çalıştırarak sonuçları GUI üzerinden de görün.
Olan şu: MongoDB, indekslenen alanın değiştiğini fark edip o belgenin gömmesini yeniden oluşturdu; böylece örnekte 10. sırada olan 2026-16515 numaralı belge, düzenleme ve senkronizasyon sonrasında daha yüksek puanlanarak 5. sıraya yerleşti.
Kapanış
Buraya kadar geldiğiniz için tebrikler! Gömme iş akışını MongoDB’nin yönettiği verilerle bir doküman S&C asistanımız var. Bunu şu adımlarla başardık:
Ekleme: belgeler Django ORM üzerinden yüklendi
İndeks: alan ve modeli belirten tek bir indeks tanımı, Atlas arayüzünde oluşturuldu.
Sorgu: ayrı bir gömme çağrısı eklemeden küçük bir servis aracılığıyla düz metin sorular.
Düzenleme: indekslenen alandaki değişiklikler, yeniden gömme betiğine gerek kalmadan yeniden senkronize edilir.
Not: Bu eğitimdeki veriler, ABD hükümeti belgelerini yayımlayan Federal Register’dan gelmektedir. Bu eğitim bağımsızdır ve Federal Register ile ilişkili veya onun tarafından onaylanmış değildir.
Afi, MongoDB'de geliştiriciler için savunuculuk yaparak Django ve Python'a odaklanır; eğitimler, konuşmalar ve topluluk etkileşimi aracılığıyla mühendislerin modern veri teknolojileriyle geliştirme yapmalarına yardımcı olur. Python ve Web alanında tanınmış bir Microsoft MVP'sidir; Django Software Foundation yönetim kurulunda görev yapar ve DjangoCon US 2025 için Program Başkanıdır. Afi ayrıca Black Python Devs için Bölgesel Yürütücüdür ve aktif bir açık kaynak katkıcısı ile uluslararası konuşmacıdır.
Algoritmalar, sistem tasarımı ve davranışsal senaryoları kapsayan bu temel sorularla teknik mülakat sürecine hakim olun. Uzman cevapları, kod örnekleri ve kanıtlanmış hazırlık stratejileri edinin.
Requesty’nin birleşik LLM geçidi, failover’lar, önbellekleme ve analitiklerini kullanarak birden çok sağlayıcıda güvenilir, maliyet-etkin yapay zeka uygulamaları oluşturmayı öğrenin.
Git deponuzu temiz tutmak için .gitignore’u nasıl kullanacağınızı öğrenin. Bu eğitim; temelleri, yaygın kullanım durumlarını ve başlamanıza yardımcı olacak pratik örnekleri kapsar!
Otomatik Gömmenin Kolaylaştırdıkları
Tipik bir geri getirme destekli üretim (RAG) kurulumunda, bir belge eklediğinizde gömmeler oluşturur, içerik değiştiğinde yeniden oluşturur ve her sorguyu kendiniz gömersiniz. Otomatik Gömme, MongoDB Atlas’ın gömme oluşturmayı, güncellemeleri ve sorgulamayı yerel olarak ele alması ve Vector Search’ün üretilen vektör gömmelerini kümenizde saklaması sayesinde anlamsal arama oluşturma sürecini basitleştirir.
MongoDB otomatik gömmeyi nasıl yapar
autoEmbedtüründe bir vektör arama indeksi oluşturulduğunda, MongoDB seçilen alan için gömmeler üretir,VoyageAImodelini kullanır, belgede değişiklik olduğunda bunları senkronize tutar ve sorgu metnini arama anında aynı modelle gömer. Üretilen gömmeler MongoDB kümesinde ayrı bir dahili veritabanında eşzamansız olarak saklanır.Bu eğitimde, MongoDB otomatik gömmeleriyle bir S&C Doküman Asistanı (Q&A) oluşturacağız. Modelleri tanımlamak ve belgeleri almak için Django MongoDB arka ucunu kullanacağız; aramalar, gömmelerin otomatik üretilmesi ve senkronizasyonu için MongoDB kullanılacak ve LLM, getirilen sonuçlara göre belgeleri döndürecek.
Bu eğitimin sonunda, bir RAG hattının geri getirme aşamasını oluşturmuş olacaksınız: Otomatik gömmelerin gömme işini sizin için üstlendiği Federal Register belgeleri üzerinde bir anlamsal arama. Belgeler eklediğinizde gömülür, değiştiklerinde yeniden gömülür ve sorgularınız arama anında gömülür; üstelik herhangi bir gömme kodu yazmadan.
Bu eğitimi iki yoldan biriyle takip edebilirsiniz.
Kurulum
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
Bu önkoşullar tamamlandığında, bir sonraki adım proje klasörünüzü oluşturmaktır.
Proje ve sanal ortam oluşturun
Projeniz için boş bir klasör oluşturun ve içine
cdile girin.Burası projenizin kök dizinidir. Daha önce yapmadıysanız sanal ortamınızı burada oluşturup etkinleştirin:
macOS veya Linux’ta sanal ortamı etkinleştirmek için şunu çalıştırın:
Windows’ta şunu çalıştırın:
Bağımlılıkları Yükleyin
Aşağıdaki içerikle projenin kökünde bir
requirements.txtdosyası oluşturun:Ardından hepsini yükleyin:
Django Projesi ve Uygulaması Oluşturun
Projenizin kök dizininden, yeni bir Django projesi ve uygulaması oluşturmak için aşağıdaki komutu çalıştırın.
startprojectkomutundaki sonda gelen.işaretini ekleyin; bu, Django’ya yeni bir iç içe klasör oluşturmak yerine projeyi mevcut dizine kurmasını söyler.documentsuygulamasını oluşturunUygulamayı
regulations_qa/settings.pyiçindeINSTALLED_APPS’e ekleyerek kaydedin:Ortam değişkenlerini yapılandırın
Projenin kökünde kendi değerlerinizle bir
.envdosyası oluşturun ve push ettiğinizde commit edilmemesi için.gitignore’a ekleyin.settings.pyiçindeki orijinal sabitSECRET_KEY = '...'satırını silin,startprojectçalıştırdığınızda Django’nunsettings.py’de ürettiği değeri kopyalayın ve.envdosyanıza koyun. Varsayılan olarak orada sabit kodlanmıştır ve biz bunu sürüm kontrolünün dışında tutmak için.env’e taşıyoruz; çünkü Django bunu oturum çerezlerini, CSRF belirteçlerini ve diğer güvenlik açısından hassas verileri imzalamak için kullanır.regulations_qa/settings.pydosyasını açın ve aşağıdakilerin tamamını içerdiğinden emin olun. İçe aktarma satırları veload_dotenv()en üste gelir. MevcutSECRET_KEYveDATABASEStanımlarını değiştirin veVECTOR_INDEX_NAMEsatırını ekleyin:Yönetim komutları için klasörler oluşturun
Sonraki adımda, yönetim komutları için boş
__init__.pydosyalarına sahip klasörler oluşturuyoruz; çünkü Django özel komutları yalnızca birmanagement/commands/paketinde keşfeder.Veri kaynağı: Federal Register belgeleri
Bu eğitimde, Federal Register’dan belgeleri indeksleyeceğiz; ABD hükümetinin kural, taslak kural ve bildirimlere ilişkin günlük yayımları. Veri kaynağı, başlık ve kısa bir düzyazı özet içeren ve anlamsal arama ile iyi çalışan belgelerden oluşan bir herkese açık API’dir.
API dokümantasyonu: https://www.federalregister.gov/developers/documentation/api/v1
Kaytlarda
title,type,abstract,document_number(benzersiz bir ID),publication_date,html_urlve biragencieslistesi gibi alanlar bulunur.<INF>2.5</INF>gibi işaretlemeler bulunur; kaydetmeden önce etiketleri temizleriz.next_page_url(imleç tabanlı) içerir.Uç noktayı kabuktan test edin
Not: Bu, gösterim amaçlı kullanılan kamuya açık ABD hükümet verisidir. Hukuki bir kaynak değildir; hukuki araştırmalar için resmi baskıyı kullanın.
Verileri İçe Alın
models.pydosyasında modelleri oluşturarak başlayacağız.Ardından, göçleri (migration) oluşturup çalıştırıyoruz.
Şimdi, içe alma kısmına geçelim.
Komutu çalıştırın:
İçe aktarmayı MongoDB Atlas arayüzünde doğrulayabilirsiniz:
Otomatik Gömme İndeksini Tanımlayın
Vektör arama indeksi, MongoDB’ye hangi alan üzerinde gömme yapılacağını ve hangi modelin kullanılacağını söyler. Bundan sonra MongoDB gömmeleri otomatik olarak oluşturur ve saklar.
documents_documentkoleksiyonunu işaretleyin ve indeksiautoembed_indexolarak adlandırın (ad,.envdosyanızdakiVECTOR_INDEX_NAMEile eşleşmelidir). Şu tanımı yapıştırın:Tanımı gözden geçirin ve ardından indeksi oluşturun.
Düz Metinle Sorgulama
Otomatik gömmeler için, düz metin bir sorguyla
$vectorSearchaşamasını kullanır ve soruyu indeksin kullandığı aynı modelle gömeriz; böylece kodumuzda herhangi bir gömme çağrısı olmaz.Bunu gerçekleştirmek için bir servis modülü oluşturacağız.
_get_client(), MongoDB bağlantısını bir kez oluşturur ve yeniden kullanır.lru_cache, ilk çağrının sonucunu hatırlar; böylece her arama her seferinde yeni bir bağlantı açmak yerine tek bir istemciyi paylaşır._get_collection(), Django’nun kullandığı aynı ayarlarlaregulations_qaveritabanını vedocuments_documentkoleksiyonunu seçer._get_index_name(), indeks adını ayarlardan okur ve eksikse net bir hata verir.semantic_search(), soruyuqueryalanında metin olarak gönderir. İkinci aşama, çıktıyı ihtiyaç duyduğumuz alanlara kırpar ve benzerlik skorunu ekler.Ardından belgelere arama yapmak için bir yardımcı ekliyoruz:
Şimdi test etmek için şunu çalıştırın:
Örnekte, özetlerle ortak anahtar kelimeleri paylaşmayan soruları seçiyoruz. “limits on pollution from factories” hakkında bir soru, emisyon standartlarıyla ilgili belgeleri getirmelidir.
Not: Ödeme yöntemi olmayan ücretsiz (M0) bir kümede, sorgu gömme istekleri hız sınırına takılabilir.
Demo: Bir Belgeyi Düzenleyin ve Yeniden Senkronizasyonu İzleyin
Demo için, ya MongoDB Atlas’taki
Search Tester’ı kullanabiliriz (öncedenregulations_qa.documents_documentkoleksiyonu üzerinde oluşturduğumuzautoembed_index’e bağlıdır) ya da Python kabuğunu kullanabiliriz.Adım 1: MongoDB Atlas ve kabuk üzerinden arayın
Bunu MongoDB Atlas arayüzünde test etmek için şu sorguyu girin:
Kabuk üzerinden test etmek için:
python manage.py shellile kabuğu açın, ardından şunu çalıştırın:Çıktı, GUI üzerinden gördüklerimizle aynı olmalıdır.
Adım 2: Belgeyi düzenleyin
Adım 3: Yeniden arayın
Otomatik gömmeler eşzamansız oluşturulur; bu nedenle 30–60 saniye bekleyin ve ardından sorguyu tekrar çalıştırın:
Şimdi, düzenlenen belgenin öncekine göre daha üst sıralarda çıktığını görmeyi beklemeliyiz.
Aynı sorguyu Search Tester’da çalıştırarak sonuçları GUI üzerinden de görün.
Olan şu: MongoDB, indekslenen alanın değiştiğini fark edip o belgenin gömmesini yeniden oluşturdu; böylece örnekte 10. sırada olan
2026-16515numaralı belge, düzenleme ve senkronizasyon sonrasında daha yüksek puanlanarak 5. sıraya yerleşti.Kapanış
Buraya kadar geldiğiniz için tebrikler! Gömme iş akışını MongoDB’nin yönettiği verilerle bir doküman S&C asistanımız var. Bunu şu adımlarla başardık:
Not: Bu eğitimdeki veriler, ABD hükümeti belgelerini yayımlayan Federal Register’dan gelmektedir. Bu eğitim bağımsızdır ve Federal Register ile ilişkili veya onun tarafından onaylanmış değildir.
Kaynaklar