Faiss (Facebook AI Similarity Search) Nedir?

Geleneksel arama motorları birebir eşleşmeleri bulmada başarılıdır, ancak görseller, videolar veya metin gibi içeriklere dayalı benzer öğeleri belirleme konusunda çoğu zaman yetersiz kalır. Bu sınırlama, öneri sistemleri, görsel aramalar ve anomali tespiti gibi uygulamaların geliştirilmesini zorlaştırabilir.

Bunu aşmak için Meta AI (eski adıyla Facebook AI) Facebook AI Similarity Search (Faiss)'i geliştirdi.

Faiss, benzerlik aramalarını verimli biçimde gerçekleştirmek için özel olarak tasarlanmış bir kütüphanedir; özellikle büyük multimedya veri kümeleriyle çalışırken son derece kullanışlıdır.

Bu yazıda, Faiss'in ne olduğunu açıklayacak ve arama uygulamalarınızda kullanmaya nasıl başlayacağınıza rehberlik edeceğim.

Faiss Nedir?

Faiss, Facebook AI Similarity Search ifadesinin kısaltmasıdır ve yoğun vektörlerin benzerlik araması ile kümelenmesi için geliştirilmiş açık kaynaklı bir kütüphanedir. Faiss, bir indeks oluşturmaya ve aramaları dikkat çekici hız ve bellek verimliliğiyle gerçekleştirmeye olanak tanır. Ayrıca, çeşitli indeksleme yöntemleri için GPU uygulamalarıyla arama performansını artırır.

Temel işlevsellik

Faiss, vektörleri k-means kümelenmesi ve ürün niceleme (product quantization) gibi gelişmiş algoritmalarla indeksleyerek en yakın komşu aramalarını hızlandırır. Bu yöntemler, Faiss'in vektörleri verimli biçimde düzenlemesine ve getirmesine yardımcı olur; böylece benzerlik aramaları hızlı ve isabetli olur. İşte indeksleme algoritmalarına daha yakından bir bakış:

1. K-means kümelenmesi: Bu algoritma veriyi kümelere ayırır; sorgular sırasında en ilgili kümelere odaklanarak arama alanını daraltmaya yardımcı olur.
2. Ürün niceleme (PQ): PQ, vektörleri daha kısa kodlara sıkıştırır; bellek kullanımını önemli ölçüde azaltırken arama hızını büyük bir doğruluk kaybı olmadan artırır.
3. Optimize edilmiş ürün niceleme (OPQ): PQ'nun geliştirilmiş bir sürümüdür; veriyi niceleme ızgarasına daha iyi uydurmak için döndürür ve sıkıştırılmış vektörlerin doğruluğunu artırır.

Esneklik

Faiss, vektörler arasındaki benzerliği ölçme konusunda oldukça esnektir ve seçebileceğiniz çeşitli mesafe metrikleri sunar. Başlıcaları şunlardır:

• Öklidyen mesafe: İki nokta arasındaki doğrusal mesafeyi ölçer; vektörlerin geometrik benzerliğiyle ilgilendiğiniz durumlar için uygundur.
• Kosinüs benzerliği: İki vektör arasındaki açının kosinüsüne bakar; büyüklükten çok yönelime odaklanır. Yönün uzunluktan daha önemli olduğu metin analizi gibi durumlarda özellikle kullanışlıdır.

Bu seçenekler, verinize ve uygulama ihtiyaçlarınıza en uygun metriği seçmenize olanak tanır.

Faiss hem CPU'larda hem de GPU'larda çalışabilir ve modern donanımı kullanarak arama sürecini hızlandırır. Kişisel bilgisayarlardan yüksek performanslı bilgi işlem kümelerine kadar çeşitli platformlar için tasarlanmıştır. CPU ve GPU indeksleri arasında sorunsuz geçiş yapar ve Python arayüzü C++ indeksleriyle iyi çalışır; bu da testten canlıya geçişi kolaylaştırır. Bu çoklu platform desteği, Faiss'in farklı ortamlarda verimli şekilde kullanılmasını, performansın ve kaynak kullanımının optimize edilmesini sağlar.

Faiss'in Başlıca Özellikleri

Faiss, büyük ve çeşitli veri kümelerini etkili biçimde yönetmek için tasarlanmış özelliklerle dolu, benzerlik araması için öne çıkan bir araçtır. Veri yoğun görevler için güçlü bir varlık olmasını sağlayan bazı temel yeteneklere daha yakından bakalım.

Ölçeklenebilirlik

Faiss, milyonlardan milyarlara kadar vektör içeren veri kümelerini yönetmek üzere tasarlanmıştır; bu da büyük öneri sistemleri veya devasa görsel ve video veritabanları gibi uygulamalar için idealdir. Ters dosya sistemleri ve hiyerarşik gezilebilir küçük dünya (HNSW) grafikleri gibi gelişmiş teknikler kullanarak, kapsamlı veri kümelerinde bile verimliliği korur.

Hız

Faiss, optimize edilmiş algoritmalar ve veri yapıları sayesinde hızlıdır. K-means kümelenmesi, ürün niceleme ve optimize edilmiş kaba kuvvet aramaları kullanarak işlemleri hızlandırır. GPU kullanıyorsanız, Faiss, yeni Pascal sınıfı donanımlarda CPU sürümlerine kıyasla 20 kata kadar daha hızlı olabilir. Bu hız, hızlı yanıt gerektiren gerçek zamanlı uygulamalar için kritik öneme sahiptir.

Doğruluk

Faiss, hız ve hassasiyet arasında ihtiyacınıza göre denge kurarak esneklik sunar. Son derece doğru aramalar için ince ayar yapabilir veya daha hızlı ama daha az hassas sonuçları tercih edebilirsiniz. Seçebileceğiniz farklı indeksleme yöntemleri ve parametreler vardır; ayrıca performansı, kaba kuvvet yaklaşımıyla karşılaştırmak için 1-recall@1 ve 10-intersection gibi metriklerle ölçebilirsiniz.

Çok yönlülük

Faiss, farklı veri türlerini vektör temsillerine dönüştürerek işleyebilir. Bu da onu görseller, metin, ses ve daha fazlası için kullanabileceğiniz anlamına gelir; çeşitli alan ve sektörlerde işe yarar. Öklidyen mesafe, kosinüs benzerliği ve iç çarpım mesafesi dahil olmak üzere çeşitli mesafe metriklerini destekler; böylece arama sürecini ihtiyaçlarınıza göre uyarlayabilirsiniz. Faiss, görsel benzerlik araması, metin belge getirme ve ses parmak izi çıkarma gibi farklı uygulamalar için uyarlanabilir.

Faiss'in Kullanım Alanları

Faiss, farklı sektörlerde çeşitli uygulamalar için uygun, çok yönlü ve etkilidir. Faiss'in öne çıktığı başlıca kullanım alanlarına göz atalım.

Öneri sistemleri

Faiss, öneri sistemleri için oyunun kurallarını değiştiren bir araçtır. Ürünler, filmler veya makaleler gibi devasa veri kümeleri içinde benzer öğeleri hızla bulabilir.

Bir e-ticaret platformunun Faiss'i kullanarak kullanıcı davranışlarını ve ürün etkileşimlerini analiz ettiğini düşünün. Bu etkileşimler için yüksek boyutlu vektörler üretir ve en yakın komşu aramaları yaparak, kullanıcının görüntülediği veya satın aldığı ürünlere benzer ürünleri belirler. Bu kişiselleştirilmiş yaklaşım, kullanıcı etkileşimini ve memnuniyetini artırır; böylece satışları ve müşteri bağlılığını destekler.

Görsel ve video arama

Faiss, multimedya içeriklerinden elde edilen yüksek boyutlu vektörleri indeksleyerek görsel olarak benzer görsel veya videoları getiren arama motorlarını da güçlendirir. Bir fotoğraf düzenleme/organizasyon uygulamasının, kullanıcıların fotoğraf arşivlerinde belirli bir yapının tüm görsellerini bulmasına yardımcı olmak için Faiss kullandığını düşünün. Görselleri vektörlere dönüştürüp bu vektörleri Faiss ile indeksleyerek uygulama hızlı benzerlik aramaları gerçekleştirebilir. Bu yetenek, görsel ve işitsel özelliklere dayalı olarak benzer video klipleri indeksleyip arayabilen video platformları için de aynı derecede faydalıdır; içerik keşfini ve öneri özelliklerini güçlendirir.

Anomali tespiti

Anomali tespitinde, Faiss en yakın komşularından önemli ölçüde sapan noktaları bularak aykırı değerleri veya anomalileri belirlemede başarılıdır.

Örneğin sahtekarlık tespitinde finansal işlemler, işlem tutarı, konum ve zaman gibi öznitelikleri içerecek şekilde vektörlere dönüştürülebilir. Faiss, aykırı olan işlemleri işaretlemek için benzerlik aramaları yapar ve potansiyel dolandırıcılığı gösterebilir.

Ağ güvenliğinde, Faiss olası siber saldırıları işaret edebilecek alışılmadık ağ trafiği kalıplarını tespit edebilir.

Kalite kontrolde, özelliklerini normal ürünlerle karşılaştırarak kusurlu ürünleri belirleyebilir.

Bilgi getirme

Faiss, anlamsal benzerliğe dayalı olarak ilgili belgeleri veya pasajları bulmaya yardımcı olan harika bir bilgi getirme aracıdır. Bu, arama motorları, dijital kütüphaneler veya hızlı ve doğru metin getirme gerektiren herhangi bir sistem için çok değerlidir.

Örneğin bir arama motoru, belgeleri ve sorguları word2vec veya BERT gömlemeleri gibi tekniklerle yüksek boyutlu vektörlere dönüştürebilir. Bu vektörleri Faiss ile indeksleyerek, arama motoru, anahtar sözcük eşleşmesinden ziyade anlam bakımından kullanıcının sorgusuna uyan belgeleri hızla getirebilir. Bu da arama sonuçlarını daha ilgili hale getirir; kullanıcı deneyimini ve bilgi getirme verimliliğini artırır.

Faiss ile Başlarken

Bu bölümde, Faiss'i nasıl kuracağınızı ve LangChain ve OpenAI gömlemeleri ile birlikte nasıl kullanacağınızı göstereceğim.

Kurulum

Faiss'i kurmak için, CPU veya GPU sürümünü pip ile yükleyebilirsiniz:

# For CPU
pip install faiss-cpu

# For GPU
pip install faiss-gpuAltyapı:

Ayrıca, Faiss'i LangChain ve OpenAI gömlemeleriyle kullanmak için aşağıdaki paketleri kurmanız gerekir:

pip install -U langchain-community langchain-openai tiktokenAltyapı:

Temel uygulama

İşte Faiss, LangChain ve OpenAI gömlemelerini kullanarak vektörleri nasıl indeksleyeceğinizi ve en yakın komşu araması gerçekleştireceğinizi gösteren basit bir kod örneği:

from langchain.document_loaders import WikipediaLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# Load content from Wikipedia using WikipediaLoader
loader = WikipediaLoader("Machine_learning")
document = loader.load()

# Chunking
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# Loading embeddings model
embeddings = OpenAIEmbeddings()

# Convert documents to vectors and index vectors
db = FAISS.from_documents(docs, embeddings)
print(db.index.ntotal)

# Search query
query = "What is machine learning?"
docs = db.similarity_search(query)
print(docs[0].page_content)Altyapı:

Daha fazla örnek görmek ve Faiss'e aşina olmak isterseniz, resmi belgelere ve şu eğitimlere göz atın.

Sonuç

Faiss, ölçeklenebilirlik, hız, doğruluk ve çok yönlülük sunan, verimli benzerlik araması için güçlü bir araç olarak öne çıkar. Büyük veri kümelerini işleyebilir ve hızlı, doğru benzerlik aramaları gerçekleştirebilir; bu da onu öneri sistemleri, anomali tespiti ve bilgi getirme gibi çeşitli uygulamalar için vazgeçilmez kılar.

Faiss'i kullanarak, kullanıcı deneyimlerini iyileştiren ve operasyonel verimliliği artıran daha akıllı ve sezgisel sistemler oluşturabiliriz.

Daha fazla öğrenme ve kaynak için aşağıdaki ilgili makalelere göz atmayı düşünebilirsiniz:

• Benzerlik Öğrenimi Nedir?
• Pinecone ve OpenAI ile Anlamsal Arama
• Yapay Zeka kursları