10 cách truy cập GPT-OSS 120B miễn phí

OpenAI gần đây đã phát hành các mô hình open-weight được thiết kế cho suy luận mạnh mẽ, tác vụ tác nhân và nhiều tình huống sử dụng linh hoạt cho nhà phát triển. Các mô hình này có hai biến thể: gpt-oss-120b và gpt-oss-20b. Mô hình nhỏ hơn có thể chạy cục bộ trên GPU phổ thông, trong khi chạy gpt-oss-120b yêu cầu 80GB VRAM và cấu hình tính toán mạnh hơn, điều mà nhiều người dùng có thể không có.

Để hỗ trợ, tôi đã tổng hợp danh sách các cách miễn phí và dễ dàng để truy cập mô hình lớn hơn. Bạn có thể chạy mô hình cục bộ bằng Ollama, Transformers hoặc khung vLLM. Cũng có các ứng dụng chat miễn phí để bạn kiểm thử mô hình, cùng nhiều nhà cung cấp suy luận mô hình ngôn ngữ lớn (LLM) nhanh và miễn phí để bạn dùng thử. Ngoài ra, bạn có thể truy cập chợ LLM để tìm lựa chọn phù hợp nhất với nhu cầu của mình. Xem hướng dẫn riêng của chúng tôi về cách thiết lập và chạy GPT-OSS cục bộ với Ollama. 

Mã nguồn mở

OpenAI GPT-OSS là dòng mô hình open-weight cho phép người dùng tải xuống và chạy trên bất kỳ hệ thống nào. Bạn cũng có thể dùng cục bộ để xây dựng ứng dụng và tạo dự án. Mô hình này khả dụng cho cả mục đích thương mại và nguồn mở.

Trong phần này, chúng ta sẽ tìm hiểu cách chạy mô hình lớn GPT-OSS-120B trên phần cứng phổ thông. 

1. Ollama 

Với Ollama, bạn không nhất thiết cần GPU; bạn có thể chạy mô hình hoàn toàn trên CPU và RAM. Tuy nhiên, tốc độ sinh token sẽ chậm đáng kể nếu không có tăng tốc GPU. 

Nếu bạn có thiết lập nhiều GPU, bạn có thể offload một số tầng mô hình sang GPU, qua đó cải thiện lớn tốc độ sinh. Điều này đòi hỏi một chút kiến thức kỹ thuật và cấu hình để thiết lập đúng.

Nguồn: gpt-oss

Để bắt đầu, cài đặt Ollama trên Linux.  

curl -fsSL https://ollama.com/install.sh | sh  Được hỗ trợ bởi

Sau đó, chạy lệnh sau để tải xuống và chạy mô hình gpt-oss-120b.  

ollama run gpt-oss:120bĐược hỗ trợ bởi

Đơn giản vậy thôi.

2. Transformers

Với thư viện Transformers, bạn có thể tải và nạp mô hình, chạy suy luận, tinh chỉnh mô hình và tích hợp trực tiếp vào ứng dụng của bạn.

Với các mô hình 120 tỷ tham số, bạn sẽ cần triển khai sharding mô hình trên nhiều GPU. Ngoài ra, có thể cần lượng tử hóa 8-bit hoặc 4-bit để vừa bộ nhớ. 

Nếu VRAM vẫn không đủ, bạn có thể offload một số tầng sang CPU. Quy trình này đòi hỏi nhiều kinh nghiệm và kiến thức kỹ thuật hơn, nhưng nếu bạn quen với các bước cần thiết thì vẫn có thể xử lý.

Nguồn: openai/gpt-oss-120b

Cài đặt các gói cần thiết:

pip install -U transformers kernels torchĐược hỗ trợ bởi

Ví dụ sử dụng: Tạo pipeline sinh văn bản, cung cấp prompt, rồi thực thi pipeline để tạo phản hồi.

from transformers import pipeline
import torch

model_id = "openai/gpt-oss-120b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "What is the best DataCamp course to learn AI?"},
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])Được hỗ trợ bởi

3. vLLM

vLLM là động cơ suy luận hiệu năng cao, được thiết kế chuyên cho sinh văn bản nhanh và thông lượng lớn, rất phù hợp cho triển khai ở môi trường sản xuất. 

Bạn có thể triển khai theo nhiều cách: trên máy chủ cục bộ cho phát triển và kiểm thử, trên đám mây riêng cho nội bộ doanh nghiệp, hoặc cho các công ty nhỏ và startup muốn kiểm soát tốt hơn và bảo mật dữ liệu mà không phụ thuộc vào API bên ngoài.

Nguồn: GPT OSS - vLLM Recipes

Dùng uv pip để cài đặt gói Python nhanh hơn. 

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-matchĐược hỗ trợ bởi

Chạy lệnh sau trong terminal để tải mô hình và khởi chạy máy chủ vLLM:

vllm serve openai/gpt-oss-120bĐược hỗ trợ bởi

Khi chạy, vLLM sẽ khởi tạo máy chủ API cục bộ (mặc định: http://localhost:8000) để bạn có thể truy vấn qua HTTP và tích hợp trực tiếp vào ứng dụng.

Ứng dụng Chat

Các ứng dụng chat AI cho phép bạn dùng thử nhiều mô hình mà không cần thiết lập. Bạn chỉ cần truy cập URL và đăng ký. Bạn có thể tận hưởng các tính năng mà ứng dụng cung cấp.

Trong phần này, chúng ta sẽ khám phá chat chính thức và ứng dụng chat T3, cả hai đều cung cấp quyền truy cập miễn phí vào các mô hình OpenAI GPT-OSS mới.

4. GPT-OSS.com

Gpt-oss là trang web chính thức nơi bạn có thể thử nghiệm cả hai mô hình mã nguồn mở của OpenAI. Trang này được tạo hợp tác với Hugging Face, vì vậy bạn sẽ cần đăng nhập bằng tài khoản Hugging Face để mở khóa đầy đủ khả năng của mô hình.

Nguồn: Gpt-oss

Ứng dụng hoàn toàn miễn phí với kết quả chat không giới hạn. Bạn có thể thử nghiệm các mức suy luận khác nhau, chuyển đổi giữa các chế độ, và thậm chí yêu cầu xây dựng một ứng dụng web hoàn chỉnh từ đầu. Rất nhanh và không cần thiết lập.

5. T3 Chat

Tôi đã rất thích T3 Chat kể từ khi khám phá ra nó. Ứng dụng cung cấp quyền truy cập cực nhanh tới cả mô hình nguồn mở và độc quyền. Hãy coi đây như một ứng dụng kiểu ChatGPT, nhưng dành cho mọi loại mô hình AI, bao gồm tạo ảnh, mô hình thị giác-ngôn ngữ và mô hình ngôn ngữ lớn.

Hiện tại, T3 Chat cung cấp quyền truy cập miễn phí cho cả GPT-OSS 20B và GPT-OSS 120B. Bạn chỉ cần đăng ký và bắt đầu sử dụng đầy đủ các chức năng của những mô hình này.

Nguồn: t3.chat 

Điều tuyệt nhất? Giao diện sạch, trực quan và cách hiển thị kết quả tạo ra rất đẹp mắt.

Nhà cung cấp suy luận LLM

Các nhà cung cấp suy luận lưu trữ mô hình ngôn ngữ lớn trên máy chủ của họ và cung cấp cho người dùng quyền truy cập qua API hoặc web, cho phép tích hợp trực tiếp các mô hình này vào ứng dụng mà không cần tự vận hành máy chủ suy luận. Điều này giúp nhà phát triển dễ dàng dùng mô hình mạnh mà không phải lo triển khai, mở rộng hay bảo trì.

Trong phần này, chúng ta sẽ khám phá một số nhà cung cấp suy luận siêu nhanh và miễn phí mà bạn có thể dùng ngay để truy cập biến thể 120B của mô hình GPT-OSS.

6. Cerebras

Cerebras là một trong những nhà cung cấp suy luận LLM nhanh nhất thế giới, có thể đạt tới 1.400 token/giây với các yêu cầu đồng thời. Điều này khiến nó trở thành lựa chọn tuyệt vời để xây dựng hệ thống AI thời gian thực, nơi tốc độ là yếu tố then chốt.

Tuy nhiên, cần lưu ý vài điểm:

• Giá: Tốc độ yêu cầu cao cần gói trả phí. Gói miễn phí chỉ cung cấp mức sử dụng cơ bản.
• Độ chính xác: Dù Cerebras cực nhanh, chất lượng đầu ra có thể thay đổi. Một số nhà cung cấp tối ưu cho tốc độ với chi phí là độ chuẩn xác.

Nguồn: cerebras.ai

Cerebras không tương thích với OpenAI SDK, vì vậy bạn sẽ cần cài SDK riêng của họ:

pip install --upgrade cerebras_cloud_sdkĐược hỗ trợ bởi

Sau đó, tạo client bằng API key, tạo hàm chat completion, rồi sinh phản hồi ở dạng luồng.

import os
from cerebras.cloud.sdk import Cerebras

client = Cerebras(
    # This is the default and can be omitted
    api_key=os.environ.get("CEREBRAS_API_KEY")
)

stream = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "Who was Leonardo Da Vinci?"
        }
    ],
    model="gpt-oss-120b",
    stream=True,
    max_completion_tokens=65536,
    temperature=1,
    top_p=1,
    reasoning_effort="high"
)

for chunk in stream:
  print(chunk.choices[0].delta.content or "", end="")Được hỗ trợ bởi

7. Groq

Tôi là một người hâm mộ lớn của Groq vì họ cung cấp các endpoint suy luận nhanh và giá phải chăng cho các mô hình nguồn mở phổ biến. Hiện bạn có thể truy cập biến thể 120B của GPT-OSS từ OpenAI miễn phí, dù tốc độ yêu cầu bị giới hạn.

Bạn có thể thử mô hình trực tiếp trong Groq Studio trước khi tích hợp vào ứng dụng, giúp dễ dàng thử nghiệm và tinh chỉnh prompt.

Nguồn: Groq

Groq tương thích với OpenAI, nghĩa là bạn có thể dùng OpenAI Python SDK để truy cập mô hình của họ. Tuy nhiên, Groq cũng cung cấp SDK tối ưu riêng, phù hợp hơn với hạ tầng của họ, và đó là thứ chúng ta sẽ dùng ở đây.

Cài đặt Groq SDK:

pip install groqĐược hỗ trợ bởi

Tạo client Groq với API key, rồi tạo chat completions bằng tên mô hình và các tham số khác để stream phản hồi.

from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
      {
        "role": "user",
        "content": "What is the meaning of life?"
      }
    ],
    temperature=1,
    max_completion_tokens=8192,
    top_p=1,
    reasoning_effort="medium",
    stream=True,
    stop=None
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")Được hỗ trợ bởi

8. Baseten

Baseten là nền tảng suy luận và huấn luyện mạnh mẽ, được thiết kế để triển khai, mở rộng và quản lý mô hình AI với toàn quyền kiểm soát. Điểm hay là tốc độ sinh token sánh ngang Groq và Cerebras.

Khi đăng ký, bạn nhận được 5 USD tín dụng triển khai và 1 USD cho truy cập API. Bạn có thể dùng số tiền này cho các dịch vụ của nền tảng.

Nguồn: Model API | Baseten

Baseten tương thích với OpenAI và không có SDK riêng, vì vậy chúng ta sẽ dùng OpenAI Python SDK để truy cập endpoint mô hình. Để làm điều này, bạn cần cài gói Python của OpenAI:

pip install openaiĐược hỗ trợ bởi

Tiếp theo, tạo client bằng API key và base URL của bạn. Sau đó, bạn có thể tạo chat completions bằng cách chỉ định tên mô hình và các tham số khác. Cuối cùng, bạn có thể tạo phản hồi dạng luồng.

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("BASETEN_API_KEY"),
    base_url="https://inference.baseten.co/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {
            "role": "user",
            "content": "Implement Hello World in Python"
        }
    ],
    stop=[],
    stream=True,
    stream_options={
        "include_usage": True,
        "continuous_usage_stats": True
    },
    top_p=1,
    max_tokens=1286,
    temperature=1,
    presence_penalty=0,
    frequency_penalty=0
)

for chunk in response:
    if chunk.choices and chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)
Được hỗ trợ bởi

Chợ LLM

Chợ LLM cho phép bạn truy cập cả mô hình ngôn ngữ lớn nguồn mở và đóng tại một nơi. Tất cả các mô hình nguồn mở đều được lưu trữ trên OpenRouter, cho phép bạn dùng một API thống nhất mà không phải lo về chi phí, khả dụng hay hiệu năng.

Trong phần này, chúng ta sẽ điểm qua hai chợ LLM phổ biến nhất, OpenRouter và Requesty. Cả hai nền tảng đều cung cấp quyền truy cập miễn phí vào mô hình GPT-OSS 12B.

9. OpenRouter

OpenRouter cung cấp một API thống nhất cho phép bạn truy cập hàng trăm mô hình AI thông qua một endpoint. Hệ thống tự động xử lý dự phòng và chọn phương án tiết kiệm chi phí nhất cho yêu cầu của bạn.

Bạn có thể thử nghiệm các mô hình khác nhau bằng LLM Playground của họ, cho phép kiểm thử và so sánh đầu ra trước khi tích hợp vào quy trình làm việc.

Nguồn: gpt-oss-120b

Tích hợp OpenRouter rất đơn giản; chỉ cần đổi base URL và cung cấp API key của bạn. Phần còn lại giữ nguyên như với OpenAI API.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.getenv("OPENROUTER_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "What is the meaning of life?"}],
)
print(completion.choices[0].message.content)Được hỗ trợ bởi

10. Requesty

Requesty tương tự OpenRouter, nhưng định tuyến thông minh các yêu cầu của bạn qua hơn 170 mô hình AI, bao gồm GPT‑OSS 120B. Điều này giúp bạn:

• Giảm chi phí API
• Tránh bị khóa chặt vào một SDK
• Truy cập các tính năng nâng cao như tự động lưu đệm, cân bằng tải và chính sách dự phòng. 
• Dùng giao diện tương thích OpenAI đơn giản

Bạn có thể khám phá mô hình trong menu Chat, xem bảng xếp hạng, theo dõi bảng điều khiển sử dụng và thêm tích hợp trực tiếp.

Khi đăng ký, bạn nhận 1 USD tín dụng miễn phí, cho phép dùng thử cả các mô hình trả phí.

Nguồn: Requesty

Để tích hợp Requesty, chỉ cần cập nhật base URL, API key và header mặc định trong mã OpenAI Python SDK của bạn.

Nếu bạn muốn dùng mô hình miễn phí, hãy chọn các mô hình do Groq cung cấp.

import os
import openai

ROUTER_API_KEY = os.getenv("REQUESTY_API_KEY")

client = openai.OpenAI(
    api_key=ROUTER_API_KEY,
    base_url="https://router.requesty.ai/v1",
    default_headers={"Authorization": f"Bearer {ROUTER_API_KEY}"},
)

# Example request
response = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello, who are you?"}],
)

# Print the result
print(response.choices[0].message.content)Được hỗ trợ bởi

Kết luận 

Sau một thời gian dài chờ đợi, OpenAI cuối cùng đã phát hành một LLM mã nguồn mở. Điều này có nghĩa là bạn có thể tinh chỉnh, chạy cục bộ và toàn quyền kiểm soát việc sinh đầu ra của nó. Bạn làm chủ cuộc chơi; bạn thậm chí có thể xây dựng sản phẩm xung quanh nó mà không cần chia sẻ dữ liệu với OpenAI hay trả phí truy cập API.

Đây là một bước tiến lớn cho AI, và theo thời gian, chúng ta sẽ thấy các mô hình mới và cải tiến được xây dựng dựa trên các mô hình và khung nguồn mở của OpenAI. Nếu bạn muốn bắt đầu thử nghiệm ngay bây giờ, bạn có thể:

• Chạy GPT-OSS 120B cục bộ
• Truy cập qua trình duyệt bằng các ứng dụng chat miễn phí
• Dùng thử các nhà cung cấp suy luận LLM nhanh và miễn phí
• Khám phá các chợ LLM để có quyền truy cập mô hình tốt và nhanh nhất

Nếu bạn mới bắt đầu hành trình AI, hãy nhớ xem lộ trình kỹ năng AI Fundamentals của chúng tôi để tìm hiểu các chủ đề như LLM, ChatGPT, AI tạo sinh, đạo đức AI và kỹ thuật prompt.