10 Cara Mengakses GPT-OSS 120B Secara Gratis

OpenAI baru-baru ini merilis model open-weight yang dirancang untuk penalaran kuat, tugas agentik, dan berbagai kasus penggunaan pengembang. Model ini hadir dalam dua varian: gpt-oss-120b dan gpt-oss-20b. Model yang lebih kecil dapat dijalankan secara lokal pada GPU konsumen, sedangkan menjalankan gpt-oss-120b memerlukan 80GB VRAM dan setup komputasi yang lebih kuat, yang mungkin tidak dimiliki banyak pengguna.

Untuk membantu, saya telah menyusun daftar cara mudah dan gratis untuk mengakses model yang lebih besar. Anda dapat menjalankan model secara lokal menggunakan Ollama, Transformers, atau kerangka kerja vLLM. Ada juga aplikasi chat gratis tempat Anda dapat menguji model, serta banyak penyedia inferensi large language model (LLM) yang cepat dan gratis untuk dicoba. Selain itu, Anda dapat mengunjungi marketplace LLM untuk menemukan opsi terbaik yang sesuai dengan kebutuhan Anda. Lihat panduan terpisah kami tentang cara menyiapkan dan menjalankan GPT-OSS secara lokal dengan Ollama. 

Sumber Terbuka

OpenAI GPT-OSS adalah seri model open-weight yang memungkinkan pengguna mengunduh dan menjalankannya di sistem apa pun. Anda juga dapat menggunakannya secara lokal untuk membangun aplikasi dan membuat proyek. Model ini tersedia untuk penggunaan komersial maupun sumber terbuka.

Di bagian ini, kita akan mempelajari cara menjalankan model besar GPT-OSS-120B pada perangkat keras konsumen. 

1. Ollama 

Dengan Ollama, Anda tidak selalu membutuhkan GPU; Anda dapat menjalankan model sepenuhnya pada CPU dan RAM. Namun, generasi token akan jauh lebih lambat tanpa akselerasi GPU. 

Jika Anda memiliki setup multi-GPU, Anda dapat mengalihkan sebagian layer model ke GPU, yang akan sangat meningkatkan kecepatan generasi. Ini memang memerlukan pengetahuan teknis dan konfigurasi untuk menyiapkannya dengan benar.

Sumber: gpt-oss

Untuk memulai, instal Ollama di Linux.  

curl -fsSL https://ollama.com/install.sh | sh  Didukung oleh

Lalu, jalankan perintah berikut untuk mengunduh dan menjalankan model gpt-oss-120b.  

ollama run gpt-oss:120bDidukung oleh

Sesederhana itu.

2. Transformers

Dengan pustaka Transformers, Anda dapat mengunduh dan memuat model, menjalankan inferensi, melakukan fine-tuning model, dan mengintegrasikannya langsung ke dalam aplikasi Anda.

Untuk model dengan 120 miliar parameter, Anda perlu menerapkan sharding model di beberapa GPU. Selain itu, Anda mungkin perlu menggunakan kuantisasi 8-bit atau 4-bit agar model muat di memori. 

Jika VRAM Anda masih tidak mencukupi, Anda dapat mengalihkan sebagian layer ke CPU. Proses ini memerlukan lebih banyak pengalaman dan pengetahuan teknis, tetapi jika Anda memahami langkah‑langkah yang diperlukan, ini dapat dikelola.

Sumber: openai/gpt-oss-120b

Instal paket yang diperlukan:

pip install -U transformers kernels torchDidukung oleh

Berikut contoh penggunaannya: Buat pipeline generasi teks, berikan prompt, lalu jalankan pipeline untuk menghasilkan respons.

from transformers import pipeline
import torch

model_id = "openai/gpt-oss-120b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "What is the best DataCamp course to learn AI?"},
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])Didukung oleh

3. vLLM

vLLM adalah mesin inferensi berkinerja tinggi yang dirancang khusus untuk generasi teks yang cepat dan ber-throughput tinggi, sehingga sempurna untuk deployment tingkat produksi. 

vLLM dapat dideploy dengan beberapa cara: di server lokal Anda untuk pengembangan dan pengujian, di cloud privat untuk penggunaan internal perusahaan, atau di perusahaan kecil dan startup yang mencari kendali dan privasi data lebih besar tanpa bergantung pada API eksternal.

Sumber: GPT OSS - vLLM Recipes

Gunakan uv pip untuk instalasi paket Python yang lebih cepat. 

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-matchDidukung oleh

Jalankan perintah berikut di terminal Anda untuk mengunduh model dan meluncurkan server vLLM:

vllm serve openai/gpt-oss-120bDidukung oleh

Setelah berjalan, vLLM akan memulai server API lokal (bawaan: http://localhost:8000) yang dapat Anda kueri melalui permintaan HTTP dan integrasikan langsung ke aplikasi Anda.

Aplikasi Chat

Aplikasi chat AI memungkinkan Anda mencoba berbagai model tanpa perlu penyiapan. Anda hanya perlu mengunjungi URL dan mendaftar. Anda dapat menikmati fitur yang ditawarkan aplikasi-aplikasi ini.

Di bagian ini, kita akan mengeksplorasi chat resmi dan aplikasi chat T3, keduanya menyediakan akses gratis ke model OpenAI GPT-OSS terbaru.

4. GPT-OSS.com

Gpt-oss adalah situs resmi tempat Anda dapat menguji kedua model sumber terbuka OpenAI. Situs ini dibuat bekerja sama dengan Hugging Face, jadi Anda perlu masuk dengan akun Hugging Face untuk membuka kemampuan penuh model.

Sumber: Gpt-oss

Aplikasi ini sepenuhnya gratis dengan hasil chat tanpa batas. Anda dapat bereksperimen dengan tingkat penalaran berbeda, beralih antar mode, dan bahkan memintanya membangun aplikasi web lengkap dari nol. Sangat cepat dan tidak memerlukan penyiapan.

5. T3 Chat

Saya sangat menyukai T3 Chat sejak pertama kali menemukannya. Aplikasi ini menyediakan akses sangat cepat ke model open-source dan proprietari. Anggap saja seperti aplikasi ChatGPT, tetapi untuk segala jenis model AI, termasuk model pembangkitan gambar, model visi-bahasa, dan large language model.

Saat ini, T3 Chat menawarkan akses tingkat gratis ke GPT-OSS 20B dan GPT-OSS 120B. Anda hanya perlu mendaftar dan mulai menikmati akses fungsional penuh ke model-model ini.

Sumber: t3.chat 

Bagian terbaiknya? UI yang bersih dan intuitif serta cara hasil yang dihasilkan ditampilkan dengan indah.

Penyedia Inferensi LLM

Penyedia inferensi menayangkan large language model di server mereka sendiri dan memberi pengguna akses API atau web, sehingga mereka dapat mengintegrasikan model tersebut langsung ke aplikasi tanpa harus menjalankan server inferensi di infrastruktur sendiri. Ini memudahkan pengembang menggunakan model kuat tanpa khawatir tentang deployment, penskalaan, atau pemeliharaan.

Di bagian ini, kita akan mengeksplorasi beberapa penyedia inferensi yang sangat cepat dan gratis yang dapat Anda gunakan sekarang untuk mengakses varian 120B dari model GPT-OSS.

6. Cerebras

Cerebras adalah salah satu penyedia inferensi LLM tercepat di dunia, mampu menghasilkan hingga 1.400 token per detik dengan permintaan bersamaan. Ini menjadikannya pilihan yang sangat baik untuk membangun sistem AI real-time di mana kecepatan sangat penting.

Namun, ada beberapa hal yang perlu dipertimbangkan:

• Harga: Tingkat permintaan tinggi memerlukan paket berbayar. Paket gratis hanya menawarkan penggunaan dasar.
• Akurasi: Meskipun Cerebras sangat cepat, kualitas outputnya bisa bervariasi. Beberapa penyedia inferensi mengoptimalkan kecepatan dengan mengorbankan presisi.

Sumber: cerebras.ai

Cerebras tidak kompatibel dengan SDK OpenAI, jadi Anda perlu menginstal SDK mereka sendiri:

pip install --upgrade cerebras_cloud_sdkDidukung oleh

Setelah itu, buat client menggunakan kunci API, buat fungsi chat completion, lalu hasilkan respons sebagai stream.

import os
from cerebras.cloud.sdk import Cerebras

client = Cerebras(
    # This is the default and can be omitted
    api_key=os.environ.get("CEREBRAS_API_KEY")
)

stream = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "Who was Leonardo Da Vinci?"
        }
    ],
    model="gpt-oss-120b",
    stream=True,
    max_completion_tokens=65536,
    temperature=1,
    top_p=1,
    reasoning_effort="high"
)

for chunk in stream:
  print(chunk.choices[0].delta.content or "", end="")Didukung oleh

7. Groq

Saya penggemar berat Groq karena mereka menyediakan endpoint inferensi yang cepat dan terjangkau untuk model open-source populer. Saat ini, Anda dapat mengakses varian 120B dari GPT-OSS milik OpenAI secara gratis, meskipun dengan tingkat permintaan terbatas.

Anda dapat mencoba model langsung di Groq Studio sebelum mengintegrasikannya ke dalam aplikasi Anda, sehingga mudah untuk bereksperimen dan menyetel prompt Anda.

Sumber: Groq

Groq kompatibel dengan OpenAI, artinya Anda dapat menggunakan OpenAI Python SDK untuk mengakses model mereka. Namun, Groq juga menawarkan SDK yang dioptimalkan sendiri, yang lebih disetel untuk infrastruktur mereka, dan itu yang akan kita gunakan di sini.

Instal SDK Groq:

pip install groqDidukung oleh

Buat client Groq dengan kunci API, lalu buat chat completions menggunakan nama model dan argumen lain untuk men-stream respons.

from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
      {
        "role": "user",
        "content": "What is the meaning of life?"
      }
    ],
    temperature=1,
    max_completion_tokens=8192,
    top_p=1,
    reasoning_effort="medium",
    stream=True,
    stop=None
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")Didukung oleh

8. Baseten

Baseten adalah platform inferensi dan pelatihan yang andal, dirancang untuk deployment, penskalaan, dan pengelolaan model AI dengan kendali penuh. Bagian terbaiknya adalah kecepatannya dalam menghasilkan token sebanding dengan Groq dan Cerebras.

Saat mendaftar, Anda menerima kredit deployment senilai $5 dan $1 untuk akses API. Anda dapat menggunakan dana ini untuk mengakses layanan platform.

Sumber: Model API | Baseten

Baseten kompatibel dengan OpenAI dan tidak memiliki SDK sendiri, jadi kita akan menggunakan OpenAI Python SDK untuk mengakses endpoint model. Untuk itu, Anda perlu menginstal paket OpenAI Python:

pip install openaiDidukung oleh

Selanjutnya, buat client menggunakan kunci API dan base URL Anda. Setelah itu, Anda dapat membuat chat completions dengan menentukan nama model dan parameter lainnya. Terakhir, Anda dapat menghasilkan respons yang di-stream.

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("BASETEN_API_KEY"),
    base_url="https://inference.baseten.co/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {
            "role": "user",
            "content": "Implement Hello World in Python"
        }
    ],
    stop=[],
    stream=True,
    stream_options={
        "include_usage": True,
        "continuous_usage_stats": True
    },
    top_p=1,
    max_tokens=1286,
    temperature=1,
    presence_penalty=0,
    frequency_penalty=0
)

for chunk in response:
    if chunk.choices and chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)
Didukung oleh

Marketplace LLM

Marketplace LLM memungkinkan Anda mengakses large language model sumber terbuka dan tertutup di satu tempat. Semua model sumber terbuka di-host di OpenRouter, memungkinkan Anda menggunakan API terpadu tanpa khawatir tentang biaya, ketersediaan, atau performa.

Di bagian ini, kita akan meninjau dua marketplace LLM paling populer, OpenRouter dan Requesty. Kedua platform menyediakan akses gratis ke model GPT-OSS 12B.

9. OpenRouter

OpenRouter menyediakan API terpadu yang memberi Anda akses ke ratusan model AI melalui satu endpoint. OpenRouter secara otomatis menangani fallback dan memilih opsi paling hemat biaya untuk permintaan Anda.

Anda dapat bereksperimen dengan berbagai model menggunakan LLM Playground mereka, yang memungkinkan Anda menguji dan membandingkan output sebelum mengintegrasikannya ke dalam alur kerja.

Sumber: gpt-oss-120b

Mengintegrasikan OpenRouter itu mudah; cukup ubah base URL dan berikan kunci API Anda. Implementasi lainnya tetap sama seperti pada API OpenAI.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.getenv("OPENROUTER_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "What is the meaning of life?"}],
)
print(completion.choices[0].message.content)Didukung oleh

10. Requesty

Requesty mirip dengan OpenRouter, tetapi secara cerdas merutekan permintaan Anda ke lebih dari 170 model AI, termasuk GPT‑OSS 120B. Ini membantu Anda:

• Mengurangi biaya API
• Menghindari ketergantungan SDK
• Mengakses fitur lanjutan seperti cache otomatis, penyeimbangan beban, dan kebijakan fallback. 
• Menggunakan antarmuka sederhana yang kompatibel dengan OpenAI

Anda dapat menjelajahi model di menu Chat, memeriksa leaderboard, melihat dasbor penggunaan, dan menambahkan integrasi langsung.

Saat mendaftar, Anda menerima kredit gratis senilai $1, memungkinkan Anda mencoba model berbayar sekalipun.

Sumber: Requesty

Untuk mengintegrasikan Requesty, cukup perbarui base URL, kunci API, dan header default dalam kode OpenAI Python SDK Anda.

Jika Anda ingin menggunakan model gratis, pastikan memilih yang disediakan oleh Groq.

import os
import openai

ROUTER_API_KEY = os.getenv("REQUESTY_API_KEY")

client = openai.OpenAI(
    api_key=ROUTER_API_KEY,
    base_url="https://router.requesty.ai/v1",
    default_headers={"Authorization": f"Bearer {ROUTER_API_KEY}"},
)

# Example request
response = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello, who are you?"}],
)

# Print the result
print(response.choices[0].message.content)Didukung oleh

Kesimpulan 

Setelah penantian panjang, OpenAI akhirnya merilis LLM sumber terbuka. Ini berarti Anda kini dapat melakukan fine-tuning, menjalankannya secara lokal, dan memiliki kendali penuh atas generasi outputnya. Andalah yang memegang kendali; Anda bahkan dapat membangun produk di sekitarnya tanpa membagikan data Anda ke OpenAI atau membayar akses API.

Ini adalah langkah besar bagi AI, dan seiring waktu, kita akan melihat model baru dan yang disempurnakan dibangun di atas model dan kerangka kerja sumber terbuka OpenAI. Jika Anda ingin mulai bereksperimen sekarang, Anda dapat:

• Menjalankan GPT-OSS 120B secara lokal
• Mengaksesnya di peramban menggunakan aplikasi chat gratis
• Mencoba penyedia inferensi LLM yang cepat dan gratis
• Menjelajahi marketplace LLM untuk akses model terbaik dan tercepat

Jika Anda baru memulai perjalanan AI Anda, pastikan untuk melihat AI Fundamentals skill track kami untuk mempelajari topik seperti LLM, ChatGPT, AI generatif, etika AI, dan prompt engineering.