Requesty Eğitimi: Otomatik Failover’larla Birleşik LLM Geçidi

Yapay zeka uygulamanız OpenAI ile harika çalışır, ta ki ay sonunda faturalar 2.000 $’ı bulana kadar. Daha iyi akıl yürütme için Anthropic’i, maliyet tasarrufu için Google’ı eklersiniz ve artık her biri ayrı faturalama ve izleme sunan üç farklı API’yi yönetiyorsunuz. OpenAI çöktüğünde uygulamanız bozuluyor. Oran limitlerine takıldığınızda kullanıcılarınız hata görüyor. Daha güvenilir bir yaklaşıma ihtiyacınız var.

Requesty bunu, otomatik failover’lar ve maliyet optimizasyon araçları sunan birleşik bir geçitle çözer. Failover zincirlerinizi ve önbellekleme tercihlerinizi panoda bir kez yapılandırın; ardından her API isteği bu ilkeleri otomatik olarak kullanır. 

Bir sağlayıcı çöktüğünde, Requesty yedek modelinize geçer. Anthropic gibi desteklenen sağlayıcılarda önbelleğe almayı etkinleştirdiğinizde, tekrarlayan sorgularda maliyetleri düşürürsünüz.

Bu eğitimde, Requesty’nin temel yetkinliklerini ele alacağım. Birleşik geçit üzerinden temel API çağrıları ve yanıt akışından başlayacağım. Ardından kesintisiz çalışma süresi için otomatik failover’ları yapılandıracak, tekrarlayan sorgularda maliyeti düşürmek için sağlayıcı önbelleğe almayı etkinleştirecek ve harcamayı izleyip kullanımınızı optimize etmek için analitik panosunu kullanacağız. Bu özellikler, ilk yapay zeka prototipinizi geliştiriyor olun ya da üretim sistemlerini ölçekliyor olun, aynı şekilde çalışır.

Requesty Nedir?

Requesty, sizi OpenAI, Anthropic, Google, Meta ve AWS gibi sağlayıcılardan 300’den fazla modele tek bir API üzerinden bağlayan birleşik bir LLM geçididir. Yönetilen bir hizmettir; yani kendiniz bir şey barındırmanız gerekmez.

Genel bakış ve temel özellikler

Requesty, yönlendirme ilkelerini kod veya yapılandırma dosyaları yerine bir pano üzerinden yapılandırır. Failover zincirlerinizi, yük dengeleme ağırlıklarını ve önbellekleme tercihlerinizi bir web arayüzünden kurarsınız ve bu ilkeler tüm API isteklerine otomatik olarak uygulanır.

Pano tabanlı yapılandırma şunları sağlar:

• Sağlayıcı-yerel önbellekleme: Anthropic ve Gemini gibi desteklenen sağlayıcılarda önbelleğe almayı etkinleştirerek istem tekrarı olan bölümleri yeniden kullanın ve yinelenen isteklerde maliyetleri azaltın.
• Hızlı otomatik failover’lar: Platform, bir sağlayıcıda sorun olduğunda 99,99% SLA garantisiyle otomatik olarak yedek modellere geçer.
• Gerçek zamanlı analitik: Birleşik pano üzerinden tüm isteklerinizdeki belirteçleri, maliyetleri, gecikme yüzdelerini, önbellek isabet oranlarını ve failover sıklığını izleyin.

Bu yetkinlikler, esnek yönlendirme ilkeleri (geri dönüş zincirleri, yük dengeleme, gecikme optimizasyonu), PII ve istem enjeksiyonu için yerleşik güvenlik önlemleri ve ayrıntılı maliyet takibiyle birleşir.

OpenRouter, çoklu LLM’lere benzer birleşik erişim sağlar ancak temel yönlendirme ve analitik panosu olmadan. LiteLLM benzer özellikler sunar ancak yönlendirme ilkeleri için öz barındırma ve manuel YAML yapılandırması gerektirir. Requesty, pano odaklı yapılandırmayla yönetilen bir hizmet olarak bu ikisinin arasında konumlanır.

Requesty’yi ne zaman kullanmalıyım?

Sıkı çalışma süresi gereksinimleri olan kurumsal sistemler çalıştırıyorsanız, 99,99% SLA önemlidir. Uygulamanız çöktüğünde para kaybedersiniz. PII maskeleme ve istem enjeksiyonu tespiti gibi yerleşik güvenlik özellikleri, bu sistemleri kendiniz kurmadan uyumluluk gereksinimlerini karşılar. GDPR kapsamında çalışan ekipler, verileri doğru yargı bölgelerinde tutmak için AB barındırmayı etkinleştirebilir.

Üretim yapay zeka uygulamaları geliştiren ekipler, kodu yeniden yazmak yerine yapılandırma üzerinden sağlayıcı değiştirerek satıcıya bağımlılığı önler. Otomatik failover’lar, özel güvenilirlik altyapısı kurmamanız anlamına gelir.

Bütçe odaklı projeler, sağlayıcı önbellekleme ve stratejik yük dengelemeden yararlanır. Optimizasyon mantığını kendiniz yazmak yerine, ilkeleri bir kez yapılandırırsınız ve maliyet azaltımını Requesty yönetir.

Önkoşullar

Geliştirme ortamınızı kurun. Bu işlem yaklaşık 5 dakika sürer ve Python paketlerini, API anahtarını ve temel yapılandırmayı kapsar.

Sisteminizde Python 3.7 veya daha yenisi yüklü olmalıdır. Sürümünüzü doğrulayın:

import sys
print(f"Python {sys.version_info.major}.{sys.version_info.minor}")Altyapı:

Gerekli paketleri pip veya uv ile yükleyin:

pip install openai python-dotenv
# or with uv: uv add openai python-dotenvAltyapı:

openai paketine Requesty’nin API’siyle etkileşim kurmak için ihtiyacınız var. python-dotenv paketi ortam değişkenlerini güvenli bir şekilde yönetir.

Şuradan bir Requesty hesabı oluşturun: app.requesty.ai. Giriş yaptıktan sonra API Keys bölümüne gidip yeni bir anahtar oluşturun. Kimlik doğrulama için bu anahtarı kopyalayın. Hesabınıza biraz bakiye eklemeyi de unutmayın.

API anahtarınızı proje dizininizdeki bir .env dosyasında saklayın:

REQUESTY_API_KEY=your_api_key_hereAltyapı:

Bu, kimlik bilgilerinizi kodun dışında tutar ve gizli bilgileri ifşa etmeden projenizi paylaşmayı daha güvenli hale getirir.

Ortam değişkenlerinizi yükleyip API anahtarının erişilebilir olduğunu kontrol ederek her şeyin çalıştığını doğrulayın:

import os
from dotenv import load_dotenv
from openai import OpenAI

load_dotenv()
api_key = os.getenv("REQUESTY_API_KEY")

# Check your setup
if api_key:
   print("✓ API key loaded")
   client = OpenAI(
       api_key=api_key,
       base_url="https://router.requesty.ai/v1"
   )
   print("✓ Client configured")
else:
   print("✗ API key not found")Altyapı:

Her iki onay işaretini de görürseniz, ilk isteğinizi yapmaya hazırsınız demektir.

Requesty ile Başlarken: İlk API Çağrınızı Yapma

Ortamınız yapılandırıldı ve API anahtarınız hazır; ilk API çağrınızı yapabilirsiniz. Requesty, OpenAI SDK’sı için tak-çalıştır bir yedektir. Daha önce OpenAI kullandıysanız tanıdık gelecektir. Tek fark, istemcinizi Requesty’nin yönlendiricisine işaret etmenizdir.

İstemcinizi şu şekilde kurabilirsiniz:

import os
from openai import OpenAI
from dotenv import load_dotenv

load_dotenv()

client = OpenAI(
   api_key=os.getenv("REQUESTY_API_KEY"),
   base_url="https://router.requesty.ai/v1"
)Altyapı:

Şu base_url parametresi, isteklerinizi doğrudan OpenAI’a değil Requesty üzerinden yönlendirir. Bunu GPT-5’e bir çağrıyla test edebilirsiniz:

response = client.chat.completions.create(
   model="openai/gpt-5",
   messages=[
       {"role": "user", "content": "Explain recursion in one sentence"}
   ]
)

print(response.choices[0].message.content)Altyapı:

Çıktı:

Recursion is a technique where a function solves a problem by calling itself on smaller inputs until it reaches a base case.Altyapı:

Model parametresi provider/model-name biçimini kullanır. Burada openai/gpt-5 olup yerel akıl yürütme yetenekleri ve geliştirilmiş performans ile OpenAI’ın en yeni modeline erişim sağlar. Model biçimi ve temel URL dışında, SDK OpenAI’ınkiyle aynı şekilde çalışır.

Not: Her API çağrısının bir maliyeti vardır. Requesty, sağlayıcının taban fiyatlandırmasının üzerine %5 ekleme ücreti uygular; bu nedenle GPT-5, OpenAI’ı doğrudan çağırmaktan biraz daha pahalıya gelir. Bunun karşılığında güvenilirlik, failover yetenekleri ve birleşik pano alırsınız. Harcamayı izlemek için Requesty panosundan kullanımınızı takip edin.

Yanıt nesnesi, yalnızca mesaj içeriğinin ötesinde yararlı meta veriler de içerir:

print(f"Model used: {response.model}")
print(f"Total tokens: {response.usage.total_tokens}")
print(f"Response: {response.choices[0].message.content}")Altyapı:

Çıktı:

Model used: gpt-5-2025-08-07
Total tokens: 108
Response: Recursion is a technique where a function solves a problem by calling itself on smaller inputs until it reaches a base case.Altyapı:

Belirteç sayısı, fiyatlandırma genellikle belirteç başına olduğundan maliyetleri takip etmenize yardımcı olur.

Model adını değiştirerek farklı bir sağlayıcıya geçin:

response = client.chat.completions.create(
   model="anthropic/claude-sonnet-4",
   messages=[
       {"role": "user", "content": "Explain recursion in one sentence"}
   ]
)

print(f"Claude says: {response.choices[0].message.content}")Altyapı:

Çıktı:

Claude says: Recursion is a programming technique where a function calls itself to solve a problem by breaking it down into smaller, similar subproblems until it reaches a base case that stops the repetition.Altyapı:

Claude 4, özellikle karmaşık kod analizi için onu güçlü kılan genişletilmiş bağlam pencereleri ve geliştirilmiş akıl yürütme sunar. Tüm kullanılabilir modeller aynı sağlayıcı/model-adı desenini izler:

# OpenAI GPT-4o
model = "openai/gpt-4o"

# Anthropic Claude
model = "anthropic/claude-sonnet-4"
Wrap your API calls in error handling before moving to production:
try:
   response = client.chat.completions.create(
       model="openai/gpt-5",
       messages=[{"role": "user", "content": "Hello!"}]
   )
   print(response.choices[0].message.content)
except Exception as e:
   print(f"Error: {e}")Altyapı:

Bu, ağ zaman aşımlarını, geçersiz API anahtarlarını veya uygun olmayan modelleri uygulamanızı çökertecek şekilde değil, yakalayacak şekilde ele alır.

Requesty’de Gerçek Zamanlı Yanıtlar İçin Akış

Uzun bir yanıt talep ettiğinizde, model binlerce belirteç üretirken ekran birkaç saniye donuk kalır. Sonra her şey bir anda dökülür. 

Kullanıcılar boş bir ekrana bakıp bir şey olup olmadığını merak eder.

Akış, model üretirken yanıt parçalarını gönderek bunu çözer; böylece kullanıcılar, tıpkı ChatGPT’de olduğu gibi kelimelerin kademeli olarak belirdiğini görür. Bu, özellikle açıklamalar, kod üretimi veya yaratıcı yazım gibi daha uzun yanıtlar için uygulamaları daha duyarlı hissettirir.

Requesty’de akışı etkinleştirmek için stream parametresini True olarak ayarlayın:

response = client.chat.completions.create(
   model="openai/gpt-4o",
   messages=[
       {"role": "user", "content": "Explain recursion like I'm five years old"}
   ],
   stream=True
)

for chunk in response:
   if chunk.choices[0].delta.content is not None:
       print(chunk.choices[0].delta.content, end="", flush=True)Altyapı:

Yanıt kelime kelime akar:

Okay! Imagine you have a big basket of toys, and you're trying to find your favorite teddy bear. 
But instead of looking through the whole basket all at once, you call your little sibling and say, 
"Can you look in here and find my teddy bear? If you see more baskets inside, ask someone else to help in the same way!" …Altyapı:

stream=True parametresi, yanıtı tek bir nesneden parça üreten bir yineleyiciye dönüştürür. Her parça, delta.content içinde bir metin parçası içerir. end="" parametresi parçalar arasındaki yeni satırları engeller ve flush=True arabelleğe almadan anında görüntülemeyi zorlar.

Üretim uygulamaları genellikle hem akış deneyimine hem de günlükleme veya analiz için tam metne ihtiyaç duyar. Yardımcı bir işlev her ikisini de halleder:

def stream_and_capture(model, messages):
   """Stream response to user while capturing complete text."""
   response = client.chat.completions.create(
       model=model,
       messages=messages,
       stream=True
   )
  
   complete_text = ""
  
   for chunk in response:
       if chunk.choices[0].delta.content is not None:
           text = chunk.choices[0].delta.content
           complete_text += text
           print(text, end="", flush=True)
  
   print()  # Final newline
   return complete_text

# Use it
full_response = stream_and_capture(
   "anthropic/claude-sonnet-4",
   [{"role": "user", "content": "Write a haiku about debugging code at 3 AM"}]
)

print(f"\nCaptured {len(full_response)} characters")Altyapı:

Çıktı:

Blinking cursor waits
Coffee cold, eyes burning red,
One missing bracket.

Captured 74 charactersAltyapı:

Akış her zaman doğru seçim değildir. Kısa yanıtlar veya JSON verisi gibi yapılandırılmış çıktılar için, parçaları işlemenin ek yükü kullanıcı deneyimi faydasını aştığından normal istekler daha basit ve hızlıdır.

Akışlar ağ sorunları, oran limitleri veya sağlayıcı kesintileri nedeniyle yarıda kesilebilir. Akış kodunuzu temel hata işleme ile sarmalayın:

try:
   response = client.chat.completions.create(
       model="openai/gpt-4o",
       messages=[{"role": "user", "content": "Explain quantum entanglement in one sentence"}],
       stream=True
   )
  
   for chunk in response:
       if chunk.choices[0].delta.content is not None:
           print(chunk.choices[0].delta.content, end="", flush=True)
except Exception as e:
   print(f"\nError: {e}")Altyapı:

Bir akış başarısız olursa, hatayı yakalar ve elle yeniden deneyebilir veya farklı bir modele geri dönebilirsiniz.

Güvenilirlik İçin Otomatik Failover’lar

Üretim uygulamaları kesintiyi kaldıramaz. OpenAI yoğun saatlerde oran limitlerine ulaştığında kullanıcılarınız hata görür. Anthropic bir kesinti yaşadığında sohbet botunuz çalışmayı durdurur. Dış sağlayıcılara bağımlı olduğunuzda bu tür arızalar kaçınılmazdır.

Requesty bunu otomatik failover’larla yönetir. Birincil modeliniz başarısız olduğunda, Requesty 50 milisaniyenin altında yedeğinize geçer.

Failover nedir ve neden önemlidir?

Bir failover sistemi, birincil modelinizin kullanılamaz olduğunu algılar ve kodunuzda hiçbir değişiklik gerektirmeden isteğinizi bir yedek modele yönlendirir. Sağlayıcı bir hata döndürdüğünde, oran limitlerine ulaştığında veya zaman aşımına uğradığında algılama otomatik gerçekleşir. Ardından Requesty isteğinizi yapılandırdığınız zincirdeki bir sonraki modele yönlendirir.

Requesty bu sistemle 99,99% çalışma süresi garanti eder. Bu, tek sağlayıcıyı yedek olmadan kullanmaya kıyasla potansiyel saatler yerine ayda en fazla yaklaşık 4 dakika kesinti demektir.

Failover’ların nasıl çalıştığını üç ilke tipi kontrol eder:

• Geri Dönüş Zinciri: Modelleri sırayla deneyin. İlki başarısız olursa ikincisini deneyin. O da başarısız olursa üçüncüyü deneyin. Tercih ettiğiniz bir modeliniz varken yedek seçenekler de istediğinizde iyi çalışır.
• Yük Dengeleme: Trafiği birden çok model arasında yüzdeyle bölün. Örneğin, yükü tek bir sağlayıcıda azaltmak için trafiğin %70’ini GPT-5’e, %30’unu Claude Sonnet 4’e gönderebilirsiniz. Bir model kullanılamadığında, Requesty trafiği otomatik olarak çalışan modellere yönlendirir.
• Gecikme: İstekleri en hızlı yanıt veren modele yönlendirin. Requesty yanıt sürelerini ölçer ve trafiği en düşük gecikmeli seçeneğe gönderir. Bu, maliyetten ziyade hıza öncelik verir.

Çoğu ekip, öngörülebilir olduğu için Geri Dönüş Zinciri ile başlar. Tercih ettiğiniz model kullanılabildiğinde onu alırsınız; değilse otomatik yedekler devreye girer.

Geri dönüş zincirlerini yapılandırma

Failover kurulumu Requesty panosunda yapılır. API Keys bölümüne gidin, ardından Policies’e tıklayın. Yeni bir Geri Dönüş Zinciri ilkesi oluşturun. Tercih sırasına göre model ekleyeceğiniz bir form göreceksiniz.

İşte kalite, maliyet ve bulunabilirliği dengeleyen örnek bir zincir:

1. openai/gpt-5

2. anthropic/claude-sonnet-4

3. deepseek/deepseek-r1:free

Bu zincir, hızlı ve yetenekli olduğu için önce GPT-5’i dener. Bu başarısız olursa benzer kalite için Claude Sonnet 4’ü dener. Her iki premium model de kapalıysa, ücretsiz ve neredeyse her zaman mevcut olan DeepSeek R1’e geri döner.

Bu ilkeyi kaydedip API anahtarınıza bağladıktan sonra, kod değişikliği olmadan failover gerçekleşir:

response = client.chat.completions.create(
   model="openai/gpt-5",
   messages=[{"role": "user", "content": "Explain how DNS works"}]
)

print(f"Model used: {response.model}")
print(response.choices[0].message.content)Altyapı:

response.model alanı, isteğinizi gerçekte hangi modelin işlediğini gösterir. Pano, yedek modellerin ne zaman kullanıldığını görmeniz için failover sıklığını takip eder.

Çıktı:

Model used: gpt-5-2025-08-07
DNS (Domain Name System) translates human-readable website addresses like "google.com" into IP addresses (like 142.250.80.46) that computers use to locate and connect to servers. This translation happens through a hierarchical system of DNS servers that cache and distribute this information globally for fast lookups.Altyapı:

Zincirinizdeki tüm modeller başarısız olursa, Requesty her birini denedikten sonra bir hata döndürür. Uygun model bulunamadığını belirten standart bir API hata yanıtı alırsınız. Bu nadirdir ancak yaygın kesintiler sırasında mümkündür.

Failover zincirleri oluştururken şu birkaç ilke işe yarar:

• Farklı sağlayıcılar kullanın: Zincirinize openai/gpt-5 ve openai/gpt-4o koyarsanız, bir OpenAI kesintisinde ikisi birden kapanabilir. Daha iyi güvenilirlik için sağlayıcıları karıştırın.
• Önce kaliteye, sonra maliyete göre sıralayın: En iyi modelinizi öne koyun. Kullanılamazsa bir sonrakini deneyin. Son geri dönüşünüz, düşük kaliteli ya da ücretsiz olsa bile en güvenilir seçenek olmalıdır.
• En az üç model ekleyin: Tek yedek, iki arıza noktası demektir. Üç veya daha fazla model daha iyi kapsama sağlar.
• Zincirinizi test edin: Birkaç istek yapın ve hangi modellerin trafiği işlediğini görmek için analitik panosunu kontrol edin. Bu, ilkenizin çalıştığını doğrular.

LiteLLM failover’lar için manuel YAML yapılandırması gerektirirken, Requesty her şeyi pano ilkeleriyle yönetir.

Maliyetleri Azaltmak İçin Önbellekleme

Aynı sorguyu tekrar tekrar çalıştırmak para tutar. Aynı soruları tekrarlayan bir dokümantasyon sohbet botunuz varsa ya da her istekte aynı sistem istemini kullanan bir kod asistanınız varsa, her seferinde tam fiyat ödüyorsunuz. Önbellekleme, değişmeyen istem bölümlerini yeniden kullanarak bunu düzeltir.

Bazı sağlayıcılar istem önbelleğe almayı yerel olarak destekler. Anthropic ve Gemini, istemlerinizin değişmeyen bölümlerini önbelleğe almanıza ve istekler arasında yeniden kullanmanıza izin verir. Bu, tekrarlayan desenler olduğunda maliyeti düşürür; çünkü yalnızca yeni kısımlar için tam fiyat ödersiniz.

Uzun bir sistem istemiyle istek gönderdiğinizde, sağlayıcı bu istemi önbelleğine kaydeder. Aynı sistem istemiyle bir sonraki istekte, tekrar işlem yapmak yerine önbellekten getirir. Tam işlem maliyeti yerine indirimli önbellek okuma ücreti ödersiniz.

auto_cache parametresini iç içe requesty nesnesiyle extra_body alanında iletin:

response = client.chat.completions.create(
   model="anthropic/claude-sonnet-4",
   messages=[
       {"role": "system", "content": "You are a helpful documentation assistant. You answer questions about Python's asyncio library based on the official docs. Be concise and include code examples."},
       {"role": "user", "content": "How do I create a basic event loop?"}
   ],
   extra_body={
       "requesty": {
           "auto_cache": True
       }
   }
)

print(response.choices[0].message.content)Altyapı:

Sistem istemi istekler arasında aynı kalır. auto_cache: True ile Anthropic, ilk istekten sonra bunu önbelleğe alır. Sonraki istekler önbelleğe alınmış istemi yeniden kullanır ve yalnızca kullanıcı sorusu işlenir.

Önbellekleme parametresi üç değer kabul eder:

• True: Bu istek için önbelleği etkinleştir
• False: Sağlayıcı desteklese bile önbelleği özellikle atla (hassas veriler veya taze işlem gerektiren zaman duyarlı içerikler için yararlıdır)
• Atlayın: Varsayılan davranışı kullanın (küresel olarak yapılandırılmadıkça önbellekleme yok)

Şu anda yalnızca Anthropic ve Gemini istem önbelleğe almayı destekler. auto_cache’i diğer sağlayıcılarla kullanmak, hatasız şekilde normal işlemeye sessizce geri döner.

Önbellek ne zaman kullanılmalı

Önbellekleme, istekler arasında aynı kalan uzun sistem istemleriniz olduğunda en iyi sonucu verir. Dokümantasyon botları ve kod asistanları iyi örneklerdir. Kullanıcıların benzer sorular sorduğu SSS botları ve müşteri destek sistemleri de fayda görür. Sık değişmeyen büyük referans dokümanlarına sahip bilgi tabanları da başka bir güçlü kullanım alanıdır.

Her isteğin taze veri gerektirdiği durumlarda önbelleği atlayın. Hava durumu uygulamaları ve hisse senedi fiyatları bu kategoriye girer. Her kullanıcıya özgü istemlerle kişiselleştirilmiş öneriler fayda sağlamaz. Gerçek zamanlı izleme ve canlı akışlar çok sık değiştiği için önbelleklemeden kazanç elde etmez.

Bu örnek, bir Python kütüphanesi için dokümantasyon sohbet botunu gösterir. Sistem istemi tüm API referansını içerir. Kullanıcılar farklı sorular sorar, ancak sistem istemi aynı kalır:

# Simulate a long API documentation string
long_api_documentation = """
Python AsyncIO Library Reference:
- asyncio.run(): Execute async functions
- asyncio.create_task(): Schedule coroutines
- asyncio.gather(): Run multiple tasks
... (this continues for 5,000+ tokens)
"""

# First request - cache miss, pays full price
response = client.chat.completions.create(
   model="anthropic/claude-sonnet-4",
   messages=[
       {"role": "system", "content": long_api_documentation},
       {"role": "user", "content": "How do I authenticate?"}
   ],
   extra_body={"requesty": {"auto_cache": True}}
)

print(f"Tokens: {response.usage.total_tokens}")
# Output: Tokens: 5,247 (full processing)Altyapı:

Aynı sistem istemiyle yapılan ikinci istek önbelleğe isabet eder:

# Second request - cache hit, reduced cost
response = client.chat.completions.create(
   model="anthropic/claude-sonnet-4",
   messages=[
       {"role": "system", "content": long_api_documentation},
       {"role": "user", "content": "What are rate limits?"}
   ],
   extra_body={"requesty": {"auto_cache": True}}
)

print(f"Tokens: {response.usage.total_tokens}")
# Output: Tokens: 312 (only new content processed, 5,000 tokens served from cache)Altyapı:

Önbellek okuma ücretleri, önbelleğe alınan bölümler için masrafları %50 ila %90 oranında azaltır.

Analitik bölümündeki Requesty panosundan önbellek isabet oranınızı kontrol edin. %40’ın altındaysa, istemleriniz önbellekten fayda göremeyecek kadar sık değişiyor demektir. 

Sistem istemlerini standartlaştırabileceğiniz veya değişken içeriği kullanıcı mesajlarına çıkarabileceğiniz desenleri arayın. Pano ayrıca sağlayıcı ve modele göre ayrıştırılmış şekilde önbelleklemeden elde ettiğiniz toplam tasarrufları gösterir; böylece optimizasyon çabalarınızın tam olarak nerede karşılık bulduğunu görebilirsiniz.

Requesty Maliyet Takibi ve Analitiği

Panonuz şu an neredeyse boş. Birkaç deneme isteği yaptınız, belki 0,10 $ harcadınız. Analiz edecek pek bir şey yok. Bu bölüm, şimdi neleri kuracağınızı ve üretime geçtiğinizde nelerin faydalı hale geleceğini gösterir.

Harcama limitleri belirlemek, test için bile iyi bir uygulamadır. Panonuzda API Keys bölümüne gidin, anahtarınıza tıklayın ve “API Limits”i bulun. Aylık 5 $ bütçe eşiği belirleyin. Requesty, bu limitin %50, %75 ve %90’ında sizi uyarır. Daha sıkı koruma için, sınıra ulaştığınızda tüm istekleri durduran bir kullanım sınırı belirleyin. Bu, test sırasında kazaları önler ve üretimde sizi korur.

Kullanımınız arttıkça, Requesty beş temel metriği takip eder:

• Belirteç kullanımı: Her isteğin tükettiği belirteç sayısı
• Maliyet takibi: Model ve sağlayıcı başına kesin harcama
• Gecikme metrikleri: P50, P95, P99 yanıt süreleri
• Önbellek performansı: Tasarrufu gösteren isabet oranları
• Failover sıklığı: Yedek modellerin ne sıklıkla kullanıldığı

Üretim trafiğinde birkaç hafta sonra bu metrikler, optimize etmenize yardımcı olan desenleri gösterir. Pahalı iş akışlarını bulmak ve daha ucuz modellere geçmek, yinelenen sorguları tespit edip auto_cache: true ile önbelleği etkinleştirmek ve geri dönüş zincirlerinizi ayarlamak için failover desenlerini izlemek üzere panoyu kullanın. Bir dokümantasyon sohbet botu, panonun sorguların %70’inin aynı olduğunu göstermesinin ardından önbelleği etkinleştirerek maliyetleri aylık 500 $’dan 200 $’a düşürdü.

Prototipten üretime geçerken izleme, ölçekleme ve operasyonel en iyi uygulamalar kritik hale gelir. LLMOps tüm yaşam döngüsünü kapsar ve Requesty’nin yerleşik analitiklerini tamamlayan maliyet optimizasyon stratejilerini içerir.

Sonuç

Requesty’nin, tek bir API üzerinden 300+ yapay zeka modeline birleşik bir geçit olarak nasıl çalıştığını öğrendiniz. Kurulum basittir: OpenAI SDK’sını yükleyin, Requesty’nin temel URL’sine yönlendirin ve bağlantı kurun. Buradan, akış kademeli yanıtlar sunar; failover zincirleri, sağlayıcılar başarısız olduğunda bile çalışma süresini garanti eder; önbellekleme ise tekrarlanan istemleri işlerken maliyetinizi yarıya indirebilir.

Requesty, LiteLLM ve OpenRouter arasındaki seçim önceliklerinize bağlıdır. Otomatik failover’lar ve yerleşik analitikle yönetilen bir altyapıya ihtiyacınız varsa, Requesty karmaşıklığı sizin için yönetir. Öz barındırmada rahat olan ve ayrıntılı denetim isteyen ekipler LiteLLM’nin açık kaynak yaklaşımını tercih edebilir. OpenRouter, gelişmiş yönlendirme ilkelerine ihtiyaç duymadığınız ve el ile model seçimiyle rahat olduğunuzda temel birleşik erişim sunar.

Farklı sağlayıcılardan üç modelle bir geri dönüş zinciri yapılandırarak başlayın; ardından tekrarlanan sistem istemleri olan isteklerde önbellekleme etkinleştirin. Daha gelişmiş kullanım senaryoları için Claude Sonnet 4’ün akıl yürütme yeteneklerini keşfedin veya üretim dağıtımları için LLMOps uygulamalarını uygulayın.