GPT-OSS 120B’ye Ücretsiz Erişmenin 10 Yolu

OpenAI, güçlü akıl yürütme, özerk görevler ve çok yönlü geliştirici kullanım senaryoları için tasarlanmış açık ağırlıklı modelleri yakın zamanda yayımladı. Bu modeller iki varyant halinde sunuluyor: gpt-oss-120b ve gpt-oss-20b. Küçük model tüketici GPU’larında yerelde çalıştırılabilirken, gpt-oss-120b’yi çalıştırmak 80 GB VRAM ve daha güçlü bir bilişim altyapısı gerektirir; bu da birçok kullanıcının elinde olmayabilir.

Yardımcı olmak için, büyük modele erişmenin ücretsiz ve kolay yollarını derledim. Modeli Ollama, Transformers veya vLLM çerçevesiyle yerelde çalıştırabilirsiniz. Ayrıca modeli test edebileceğiniz ücretsiz sohbet uygulamaları ve deneyebileceğiniz çok sayıda hızlı ve ücretsiz büyük dil modeli (LLM) çıkarım sağlayıcısı da mevcut. Ek olarak, kullanım senaryonuza en uygun seçenekleri bulmak için LLM pazar yerine göz atabilirsiniz. Ollama ile GPT-OSS’yi yerelde kurma ve çalıştırma rehberimize de göz atın. 

Açık Kaynak

OpenAI GPT-OSS, kullanıcıların herhangi bir sisteme indirip çalıştırmasına olanak tanıyan açık ağırlıklı bir model serisidir. Yerelde uygulamalar geliştirmek ve projeler oluşturmak için de kullanabilirsiniz. Bu model ticari ve açık kaynak kullanım için uygundur.

Bu bölümde, büyük GPT-OSS-120B modelini tüketici donanımında çalıştırmayı öğreneceğiz. 

1. Ollama 

Ollama ile mutlaka bir GPU’ya ihtiyacınız yok; modeli tamamen CPU ve RAM üzerinde çalıştırabilirsiniz. Ancak, GPU hızlandırması olmadan token üretimi belirgin ölçüde yavaş olacaktır. 

Çoklu GPU kurulumunuz varsa, bazı model katmanlarını GPU’ya aktararak üretim hızını büyük ölçüde artırabilirsiniz. Bunu düzgün şekilde kurmak belli bir teknik bilgi ve yapılandırma gerektirir.

Kaynak: gpt-oss

Başlamak için Linux’a Ollama’yı kurun.  

curl -fsSL https://ollama.com/install.sh | sh  

Ardından, gpt-oss-120b modelini indirmek ve çalıştırmak için aşağıdaki komutu kullanın.  

ollama run gpt-oss:120b

Bu kadar basit.

2. Transformers

Transformers kütüphanesiyle modeli indirip yükleyebilir, çıkarım çalıştırabilir, modeli ince ayar yapabilir ve doğrudan uygulamanıza entegre edebilirsiniz.

120 milyar parametreli modeller için modelin birden çok GPU’ya bölünerek parçalanması gerekir. Ayrıca, modeli belleğe sığdırmak için 8‑bit veya 4‑bit niceleme kullanmanız gerekebilir. 

VRAM yine de yetersiz kalırsa bazı katmanları CPU’ya aktarabilirsiniz. Bu süreç daha fazla deneyim ve teknik bilgi gerektirir; ancak gerekli adımlara aşinaysanız yönetilebilir.

Kaynak: openai/gpt-oss-120b

Gerekli paketleri kurun:

pip install -U transformers kernels torch

Kullanıma bir örnek: Metin üretim hattını oluşturun, bir istem verin ve yanıt üretmek için hattı çalıştırın.

from transformers import pipeline
import torch

model_id = "openai/gpt-oss-120b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "What is the best DataCamp course to learn AI?"},
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

3. vLLM

vLLM, üretim seviyesinde dağıtımlar için mükemmel olan, hızlı ve yüksek verimli metin üretimi amacıyla özel olarak tasarlanmış yüksek performanslı bir çıkarım motorudur. 

Birden fazla şekilde dağıtılabilir: geliştirme ve test için yerel sunucunuzda, şirket içi kullanım için özel bulutta veya dış API’lere bağımlı olmadan daha fazla kontrol ve veri gizliliği isteyen küçük şirketler ve girişimlerde.

Kaynak: GPT OSS - vLLM Tarifleri

Python paketlerinin daha hızlı kurulumu için uv pip kullanın. 

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-match

Modeli indirmek ve vLLM sunucusunu başlatmak için terminalinizde aşağıdaki komutu çalıştırın:

vllm serve openai/gpt-oss-120b

Çalışmaya başladıktan sonra vLLM, HTTP istekleriyle sorgulayabileceğiniz ve doğrudan uygulamalarınıza entegre edebileceğiniz yerel bir API sunucusu (varsayılan: http://localhost:8000) başlatır.

Sohbet Uygulamaları

Yapay zekâ sohbet uygulamaları, herhangi bir kurulum gerektirmeden farklı modelleri denemenize olanak tanır. Tek yapmanız gereken URL’yi ziyaret edip kaydolmak. Bu uygulamaların sunduğu özelliklerden yararlanabilirsiniz.

Bu bölümde, yeni OpenAI GPT-OSS modellerine ücretsiz erişim sağlayan resmi sohbet ve T3 sohbet uygulamasını inceleyeceğiz.

4. GPT-OSS.com

Gpt-oss, OpenAI’nin iki açık kaynak modelini test edebileceğiniz resmi web sitesidir. Hugging Face ile iş birliği içinde oluşturulduğundan, modellerin tüm yeteneklerini açmak için Hugging Face hesabınızla oturum açmanız gerekir.

Kaynak: Gpt-oss

Uygulama tamamen ücretsizdir ve sınırsız sohbet sonucu sunar. Farklı akıl yürütme seviyeleriyle deney yapabilir, modlar arasında geçiş yapabilir ve hatta sıfırdan tam bir web uygulaması oluşturmasını isteyebilirsiniz. Son derece hızlıdır ve kurulum gerektirmez.

5. T3 Chat

Keşfettiğimden beri T3 Chat’i çok seviyorum. Hem açık kaynak hem de tescilli modellere şimşek hızında erişim sağlıyor. Bunu, görsel üretim, görsel-dil modelleri ve büyük dil modelleri dahil her tür yapay zekâ modeli için bir ChatGPT tarzı uygulama gibi düşünün.

Şu anda T3 Chat, GPT-OSS 20B ve GPT-OSS 120B’ye ücretsiz katman erişimi sunuyor. Tek yapmanız gereken kaydolmak ve bu modellere tam işlevsel erişimin keyfini çıkarmak.

Kaynak: t3.chat 

En iyi yanı mı? Tertemiz, sezgisel arayüzü ve üretilen sonuçları son derece hoş bir şekilde sunması.

LLM Çıkarım Sağlayıcıları

Çıkarım sağlayıcıları, büyük dil modellerini kendi sunucularında barındırır ve kullanıcılara API veya web erişimi sağlar; böylece kullanıcılar kendi altyapılarında bir çıkarım sunucusu çalıştırmadan bu modelleri doğrudan uygulamalarına entegre edebilir. Bu, geliştiricilerin dağıtım, ölçekleme veya bakım konularını dert etmeden güçlü modelleri kullanmasını kolaylaştırır.

Bu bölümde, GPT-OSS modelinin 120B varyantına hemen şimdi erişmek için kullanabileceğiniz, son derece hızlı ve ücretsiz bazı çıkarım sağlayıcılarını inceleyeceğiz.

6. Cerebras

Cerebras, eşzamanlı isteklerle saniyede 1.400 tokene kadar çıkabilen, dünyanın en hızlı LLM çıkarım sağlayıcılarından biridir. Bu, hızın kritik olduğu gerçek zamanlı yapay zekâ sistemleri kurmak için mükemmel bir seçenek yapar.

Ancak dikkate alınması gereken birkaç nokta var:

• Fiyatlandırma: Yüksek istek oranları ücretli plan gerektirir. Ücretsiz katman sadece temel kullanımı sunar.
• Doğruluk: Cerebras son derece hızlı olsa da çıktı kalitesi değişkenlik gösterebilir. Bazı çıkarım sağlayıcıları, hassasiyet pahasına hıza odaklanır.

Kaynak: cerebras.ai

Cerebras, OpenAI SDK ile uyumlu değildir; bu nedenle kendi SDK’larını kurmanız gerekir:

pip install --upgrade cerebras_cloud_sdk

Bundan sonra, API anahtarıyla istemciyi oluşturun, sohbet tamamlama işlevini tanımlayın ve yanıtı akış olarak üretin.

import os
from cerebras.cloud.sdk import Cerebras

client = Cerebras(
    # This is the default and can be omitted
    api_key=os.environ.get("CEREBRAS_API_KEY")
)

stream = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "Who was Leonardo Da Vinci?"
        }
    ],
    model="gpt-oss-120b",
    stream=True,
    max_completion_tokens=65536,
    temperature=1,
    top_p=1,
    reasoning_effort="high"
)

for chunk in stream:
  print(chunk.choices[0].delta.content or "", end="")

7. Groq

Popüler açık kaynaklı modeller için hızlı ve uygun maliyetli çıkarım uç noktaları sundukları için Groq’un büyük bir hayranıyım. Şu anda, istek oranı sınırlı olsa da OpenAI’nin GPT-OSS 120B varyantına ücretsiz erişebilirsiniz.

Uygulamalarınıza entegre etmeden önce modeli doğrudan Groq Studio’da deneyebilir, böylece istemlerinizi kolayca test edip iyileştirebilirsiniz.

Kaynak: Groq

Groq, OpenAI ile uyumlu olduğundan modellerine erişmek için OpenAI Python SDK’sını kullanabilirsiniz. Ancak Groq, altyapılarına daha iyi uyarlanmış kendi optimize edilmiş SDK’sını da sunar ve burada onu kullanacağız.

Groq SDK’sını kurun:

pip install groq

API anahtarıyla Groq istemcisini oluşturun, ardından model adını ve diğer argümanları belirterek sohbet tamamlama isteği oluşturup yanıtı akış olarak alın.

from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
      {
        "role": "user",
        "content": "What is the meaning of life?"
      }
    ],
    temperature=1,
    max_completion_tokens=8192,
    top_p=1,
    reasoning_effort="medium",
    stream=True,
    stop=None
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")

8. Baseten

Baseten, yapay zekâ modellerini dağıtmak, ölçeklemek ve yönetmek için tam kontrol sunan güçlü bir çıkarım ve eğitim platformudur. En iyi yanı, token üretim hızında Groq ve Cerebras ile aynı seviyede olmasıdır.

Kayıt olduğunuzda 5 $ dağıtım kredisi ve 1 $ API erişim kredisi alırsınız. Bu bakiyeyi platformun hizmetlerine erişmek için kullanabilirsiniz.

Kaynak: Model API | Baseten

Baseten, OpenAI ile uyumludur ve kendi SDK’sı yoktur; bu nedenle modele erişmek için OpenAI Python SDK’sını kullanacağız. Bunun için OpenAI Python paketini kurmanız gerekir:

pip install openai

Ardından, API anahtarınız ve temel URL ile istemciyi oluşturun. Sonrasında, model adını ve diğer parametreleri belirterek sohbet tamamlama isteği oluşturabilirsiniz. Son olarak, akışlı yanıtlar üretebilirsiniz.

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("BASETEN_API_KEY"),
    base_url="https://inference.baseten.co/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {
            "role": "user",
            "content": "Implement Hello World in Python"
        }
    ],
    stop=[],
    stream=True,
    stream_options={
        "include_usage": True,
        "continuous_usage_stats": True
    },
    top_p=1,
    max_tokens=1286,
    temperature=1,
    presence_penalty=0,
    frequency_penalty=0
)

for chunk in response:
    if chunk.choices and chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)

LLM Pazar Yeri

LLM pazar yeri, tek bir yerde hem açık kaynaklı hem de kapalı kaynaklı büyük dil modellerine erişmenizi sağlar. Tüm açık kaynak modeller OpenRouter üzerinde barındırılır; böylece maliyet, erişilebilirlik veya performansla uğraşmadan birleşik bir API kullanabilirsiniz.

Bu bölümde, en popüler iki LLM pazar yerini, OpenRouter ve Requesty’yi inceleyeceğiz. Her iki platform da GPT-OSS 12B modeline ücretsiz erişim sağlar.

9. OpenRouter

OpenRouter, tek bir uç nokta üzerinden yüzlerce yapay zekâ modeline erişim sağlayan birleşik bir API sunar. Geri dönüşleri otomatik olarak ele alır ve istekleriniz için en uygun maliyetli seçenekleri seçer.

Entegrasyondan önce çıktılarını test edip karşılaştırmak için LLM Oyun Alanlarını kullanarak farklı modellerle deney yapabilirsiniz.

Kaynak: gpt-oss-120b

OpenRouter entegrasyonu basittir; yalnızca temel URL’yi değiştirin ve API anahtarınızı verin. Geri kalan uygulama OpenAI API’sıyla aynıdır.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.getenv("OPENROUTER_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "What is the meaning of life?"}],
)
print(completion.choices[0].message.content)

10. Requesty

Requesty, OpenRouter’a benzerdir; ancak isteklerinizi GPT‑OSS 120B dahil 170’ten fazla yapay zekâ modeli arasında akıllıca yönlendirir. Bu sayede:

• API maliyetlerini azaltın
• SDK bağımlılığından kaçının
• Otomatik önbelleğe alma, yük dengeleme ve yedekleme politikaları gibi gelişmiş özelliklere erişin. 
• Basit, OpenAI uyumlu bir arayüz kullanın

Modelleri Sohbet menüsünde keşfedebilir, liderlik tablosunu kontrol edebilir, kullanım panonuzu görüntüleyebilir ve doğrudan entegrasyonlar ekleyebilirsiniz.

Kayıt olduğunuzda 1 $ ücretsiz kredi alırsınız; bu sayede ücretli modelleri bile deneyebilirsiniz.

Kaynak: Requesty

Requesty’yi entegre etmek için OpenAI Python SDK kodunuzda yalnızca temel URL’yi, API anahtarını ve varsayılan başlıkları güncelleyin.

Ücretsiz bir model kullanmak istiyorsanız, Groq tarafından sunulanları seçtiğinizden emin olun.

import os
import openai

ROUTER_API_KEY = os.getenv("REQUESTY_API_KEY")

client = openai.OpenAI(
    api_key=ROUTER_API_KEY,
    base_url="https://router.requesty.ai/v1",
    default_headers={"Authorization": f"Bearer {ROUTER_API_KEY}"},
)

# Example request
response = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello, who are you?"}],
)

# Print the result
print(response.choices[0].message.content)

Sonuç 

Uzun bir bekleyişin ardından OpenAI sonunda açık kaynak bir LLM yayımladı. Bu, artık modeli ince ayar yapabileceğiniz, yerelde çalıştırabileceğiniz ve çıktı üretimi üzerinde tam kontrole sahip olabileceğiniz anlamına geliyor. Kontrol sizde; verilerinizi OpenAI ile paylaşmadan ya da API erişimine ödeme yapmadan modelin etrafında ürünler bile geliştirebilirsiniz.

Bu, yapay zekâ için büyük bir adım ve zamanla OpenAI’nin açık kaynak modelleri ve çerçeveleri üzerine inşa edilmiş yeni ve geliştirilmiş modeller göreceğiz. Hemen denemelere başlamak istiyorsanız şunları yapabilirsiniz:

• GPT-OSS 120B’yi yerelde çalıştırın
• Ücretsiz sohbet uygulamalarıyla tarayıcıda erişin
• Hızlı ve ücretsiz LLM çıkarım sağlayıcılarını deneyin
• En iyi ve en hızlı model erişimi için LLM pazar yerlerini keşfedin

Yapay zekâ yolculuğunuza yeni başlıyorsanız, LLM’ler, ChatGPT, üretken yapay zekâ, yapay zekâ etiği ve istem mühendisliği gibi konuları kapsayan AI Fundamentals yetkinlik yolumuzu mutlaka inceleyin.