免费访问 GPT-OSS 120B 的 10 种方式

OpenAI 近期发布了开放权重模型，面向强推理、Agent 任务以及多样的开发者用例。这些模型有两个变体： gpt-oss-120b 和 gpt-oss-20b。更小的模型可以在消费级 GPU 上本地运行，而运行 gpt-oss-120b 需要 80GB 显存和更强的计算环境，许多用户可能并不具备。

为此，我整理了一份免费且便捷地访问大模型的方法清单。您可以使用 Ollama、Transformers 或 vLLM 框架在本地运行模型。也有免费的聊天应用可供您测试模型，此外还有众多快速且免费的大型语言模型（LLM）推理服务商可供尝试。您还可以访问 LLM 市场，按您的用例找到最合适的选项。请查看我们关于如何使用 Ollama 在本地设置并运行 GPT-OSS 的独立指南。

开源

OpenAI GPT-OSS 是一系列开放权重模型，允许用户下载并在任何系统上运行。您也可以在本地用它来构建应用和创建项目。该模型同时可用于商业和开源场景。

在这一部分，我们将了解如何在消费级硬件上运行大型 GPT-OSS-120B 模型。

1. Ollama

使用 Ollama，您不一定需要 GPU；模型可以完全在 CPU 和内存上运行。不过，没有 GPU 加速的情况下，生成速度会显著变慢。

如果您有多 GPU 环境，可以将部分模型层卸载到 GPU 上，这将极大地提升生成速度。但这需要一定的技术知识和配置才能正确设置。

来源：gpt-oss

首先，在 Linux 上安装 Ollama。

curl -fsSL https://ollama.com/install.sh | sh  技术支持

然后运行以下命令以下载并运行 gpt-oss-120b 模型。

ollama run gpt-oss:120b技术支持

就是这么简单。

2. Transformers

使用 Transformers 库，您可以下载并加载模型、运行推理、微调模型，并直接集成到您的应用中。

对于拥有 1200 亿参数的模型，您需要在多块 GPU 上实施模型分片。此外，可能还需要使用 8 位或 4 位量化以适配内存。

如果显存仍然不足，您可以将部分层卸载到 CPU。此过程需要更多经验和技术知识，但如果您熟悉必要步骤，完全可以管理好。

来源：openai/gpt-oss-120b

安装必要的包：

pip install -U transformers kernels torch技术支持

以下是一个用法示例： 创建文本生成管线，提供提示词，然后执行管线以生成回复。

from transformers import pipeline
import torch

model_id = "openai/gpt-oss-120b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "What is the best DataCamp course to learn AI?"},
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])技术支持

3. vLLM

vLLM 是一款高性能推理引擎，专为快速和高吞吐的文本生成而设计，非常适合生产级部署。

它可以通过多种方式部署：在本地服务器上用于开发和测试、在私有云中用于公司内部，或在寻求更强控制和数据隐私、且不依赖外部 API 的中小企业与初创公司中部署。

来源：GPT OSS - vLLM Recipes

使用 uv pip 更快地安装 Python 包。

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-match技术支持

在终端中运行以下命令以下载模型并启动 vLLM 服务器：

vllm serve openai/gpt-oss-120b技术支持

启动后，vLLM 会开启本地 API 服务器（默认：http://localhost:8000），您可以通过 HTTP 请求进行查询并直接集成到您的应用中。

聊天应用

AI 聊天应用让您无需任何设置即可试用不同模型。您只需访问网址并注册，即可体验这些应用提供的功能。

本节我们将介绍官方聊天与 T3 聊天应用，这两者都提供对全新 OpenAI GPT-OSS 模型的免费访问。

4. GPT-OSS.com

Gpt-oss 是官方网站，您可以在此测试 OpenAI 的两款开源模型。它与 Hugging Face 合作打造，因此您需要使用 Hugging Face 账号登录以解锁模型的完整能力。

来源：Gpt-oss

该应用完全免费，且聊天结果不限量。您可以尝试不同的推理等级、切换模式，甚至让它从零开始构建一个完整的 Web 应用。速度非常快，且无需任何设置。

5. T3 Chat

自从发现 T3 Chat 以来，我就非常喜欢它。它为开源与专有模型提供了闪电般快速的访问。可以把它看作面向各种 AI 模型的 ChatGPT 式应用，包括图像生成、视觉语言模型和大型语言模型。

目前，T3 Chat 提供 GPT-OSS 20B 和 GPT-OSS 120B 的免费层访问。您只需注册即可开始完整功能体验这些模型。

来源：t3.chat

最佳之处？界面简洁直观，生成结果的展示也非常美观。

LLM 推理服务商

推理服务商将大型语言模型托管在其自有服务器上，并为用户提供 API 或网页访问，使其无需在自有基础设施上运行推理服务器即可直接将这些模型集成到应用中。这让开发者能够轻松使用强大的模型，而无需担心部署、扩展或维护。

本节将介绍一些现在就能使用的超快且免费的推理服务商，助您访问 GPT-OSS 模型的 120B 变体。

6. Cerebras

Cerebras 是全球速度最快的 LLM 推理服务商之一，支持并发请求下每秒高达 1,400 个 token 的生成速度。这使其成为构建对速度要求极高的实时 AI 系统的绝佳选择。

不过，也有几点需要注意：

• 定价： 高请求速率需要付费方案。免费层仅提供基础用量。
• 准确性： 虽然 Cerebras 极其快速，但输出质量可能有波动。一些推理服务商会为速度优化而牺牲精度。

来源：cerebras.ai

Cerebras 不兼容 OpenAI SDK，因此您需要安装其自有 SDK：

pip install --upgrade cerebras_cloud_sdk技术支持

之后，使用 API 密钥创建客户端，编写聊天补全函数，然后以流式方式生成回复。

import os
from cerebras.cloud.sdk import Cerebras

client = Cerebras(
    # This is the default and can be omitted
    api_key=os.environ.get("CEREBRAS_API_KEY")
)

stream = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "Who was Leonardo Da Vinci?"
        }
    ],
    model="gpt-oss-120b",
    stream=True,
    max_completion_tokens=65536,
    temperature=1,
    top_p=1,
    reasoning_effort="high"
)

for chunk in stream:
  print(chunk.choices[0].delta.content or "", end="")技术支持

7. Groq

我是 Groq 的忠实粉丝，因为他们为流行的开源模型提供快速且实惠的推理端点。目前，您可以免费访问 OpenAI 的 GPT-OSS 120B 变体，但请求速率有限制。

在将模型集成到您的应用之前，您可以先在 Groq Studio 中直接试用模型，便于实验和微调提示词。

来源：Groq

Groq 兼容 OpenAI，这意味着您可以使用 OpenAI Python SDK 访问其模型。不过，Groq 也提供了自己的优化 SDK，更贴合其基础设施，我们在此将使用后者。

安装 Groq SDK：

pip install groq技术支持

使用 API 密钥创建 Groq 客户端，然后通过模型名称和其他参数创建聊天补全，以流式方式获取回复。

from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
      {
        "role": "user",
        "content": "What is the meaning of life?"
      }
    ],
    temperature=1,
    max_completion_tokens=8192,
    top_p=1,
    reasoning_effort="medium",
    stream=True,
    stop=None
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")技术支持

8. Baseten

Baseten 是一款强大的推理与训练平台，旨在以完全可控的方式部署、扩展和管理 AI 模型。其 token 生成速度与 Groq 和 Cerebras 不相上下。

注册后，您将获得 5 美元的部署额度和 1 美元的 API 访问额度。您可以使用这些金额来访问平台服务。

来源：Model API | Baseten

Baseten 兼容 OpenAI，且没有自有 SDK，因此我们将使用 OpenAI Python SDK 访问模型端点。为此，您需要安装 OpenAI Python 包：

pip install openai技术支持

接下来，使用您的 API 密钥和基础 URL 创建客户端。随后，通过指定模型名称和其他参数来创建聊天补全。最后，您可以生成流式回复。

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("BASETEN_API_KEY"),
    base_url="https://inference.baseten.co/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {
            "role": "user",
            "content": "Implement Hello World in Python"
        }
    ],
    stop=[],
    stream=True,
    stream_options={
        "include_usage": True,
        "continuous_usage_stats": True
    },
    top_p=1,
    max_tokens=1286,
    temperature=1,
    presence_penalty=0,
    frequency_penalty=0
)

for chunk in response:
    if chunk.choices and chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)
技术支持

LLM 市场

LLM 市场让您在同一处访问开源与闭源大型语言模型。所有开源模型均托管在 OpenRouter 上，您可以使用统一的 API，而无需担忧成本、可用性或性能。

本节我们将评测两个最流行的 LLM 市场：OpenRouter 和 Requesty。两个平台均提供对 GPT-OSS 12B 模型的免费访问。

9. OpenRouter

OpenRouter 提供统一 API，通过单一端点即可访问数百种 AI 模型。它会自动处理回退，并为您的请求选择最具性价比的选项。

您可以使用其 LLM Playground 试验不同模型，在集成到工作流前先行测试并比较输出。

来源：gpt-oss-120b

集成 OpenRouter 非常直接；只需更改基础 URL 并提供您的 API 密钥。其余实现与 OpenAI API 保持一致。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.getenv("OPENROUTER_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "What is the meaning of life?"}],
)
print(completion.choices[0].message.content)技术支持

10. Requesty

Requesty 与 OpenRouter 类似，但它会在 170 多个 AI 模型（包括 GPT‑OSS 120B）之间智能路由您的请求。这将帮助您：

• 降低 API 成本
• 避免被 SDK 锁定
• 获取自动缓存、负载均衡和回退策略等高级功能。
• 使用简洁的 OpenAI 兼容接口

您可以在 Chat 菜单中探索模型、查看排行榜、浏览用量看板，并添加直接集成。

注册后，您将获得 1 美元的免费额度，可用于试用付费模型。

来源：Requesty

要集成 Requesty，只需在 OpenAI Python SDK 代码中更新基础 URL、API 密钥和默认请求头。

如果您想使用免费模型，请务必选择由 Groq 提供的那些。

import os
import openai

ROUTER_API_KEY = os.getenv("REQUESTY_API_KEY")

client = openai.OpenAI(
    api_key=ROUTER_API_KEY,
    base_url="https://router.requesty.ai/v1",
    default_headers={"Authorization": f"Bearer {ROUTER_API_KEY}"},
)

# Example request
response = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello, who are you?"}],
)

# Print the result
print(response.choices[0].message.content)技术支持

结语

经过漫长等待，OpenAI 终于发布了开源 LLM。这意味着您现在可以对其进行微调、在本地运行，并完全掌控其输出生成。由您主导；您甚至可以围绕它构建产品，而无需与 OpenAI 共享数据或为 API 访问付费。

这对 AI 而言是重要一步。随着时间推移，我们将看到基于 OpenAI 开源模型与框架构建的全新、改进的模型。如果您想现在就开始尝试，可以：

• 在本地运行 GPT-OSS 120B
• 通过免费的聊天应用在浏览器中访问
• 试用快速且免费的 LLM 推理服务商
• 探索 LLM 市场以获取最佳、最快的模型访问

如果您刚开始踏入 AI 之旅，务必查看我们的 AI 基础技能路径，涵盖 LLM、ChatGPT、生成式 AI、AI 伦理与提示工程等主题。