10 modi per accedere a GPT-OSS 120B gratis

OpenAI ha rilasciato di recente modelli open-weight pensati per ragionamento avanzato, compiti agentici e casi d’uso versatili per sviluppatori. Questi modelli sono disponibili in due varianti: gpt-oss-120b e gpt-oss-20b. Il modello più piccolo può essere eseguito in locale su GPU consumer, mentre eseguire gpt-oss-120b richiede 80 GB di VRAM e un setup di calcolo più robusto, che molti utenti potrebbero non avere.

Per aiutarti, ho raccolto un elenco di modi gratuiti e semplici per accedere al modello più grande. Puoi eseguire il modello in locale usando Ollama, Transformers o il framework vLLM. Ci sono anche app di chat gratuite dove puoi testare il modello, oltre a numerosi provider di inferenza di large language model (LLM) veloci e gratuiti da provare. Inoltre, puoi visitare il marketplace LLM per trovare le opzioni migliori per il tuo caso d’uso. Dai un’occhiata alla nostra guida dedicata su come configurare ed eseguire GPT-OSS in locale con Ollama. 

Open source

OpenAI GPT-OSS è una serie di modelli open-weight che consente agli utenti di scaricarli ed eseguirli su qualsiasi sistema. Puoi anche usarli in locale per creare applicazioni e progetti. Questo modello è disponibile sia per uso commerciale sia open-source.

In questa parte vedremo come eseguire il grande modello GPT-OSS-120B su hardware consumer. 

1. Ollama 

Con Ollama non serve necessariamente una GPU; puoi eseguire il modello interamente su CPU e RAM. Tuttavia, la generazione dei token sarà significativamente più lenta senza accelerazione GPU. 

Se hai un setup con più GPU, puoi scaricare alcuni layer del modello sulla GPU, migliorando notevolmente la velocità di generazione. Questo richiede però un po’ di conoscenza tecnica e configurazione per essere impostato correttamente.

Fonte: gpt-oss

Per iniziare, installa Ollama su Linux.  

curl -fsSL https://ollama.com/install.sh | sh  Offerto da

Quindi esegui il seguente comando per scaricare ed eseguire il modello gpt-oss-120b.  

ollama run gpt-oss:120bOfferto da

È davvero così semplice.

2. Transformers

Con la libreria Transformers puoi scaricare e caricare il modello, eseguire inferenza, fare fine-tuning e integrarlo direttamente nella tua applicazione.

Per modelli da 120 miliardi di parametri dovrai implementare lo sharding del modello su più GPU. Inoltre, potresti dover usare quantizzazione a 8 bit o 4 bit per far entrare il modello in memoria. 

Se la tua VRAM non è ancora sufficiente, puoi scaricare alcuni layer sulla CPU. Questo processo richiede più esperienza e competenze tecniche, ma se conosci i passaggi necessari è gestibile.

Fonte: openai/gpt-oss-120b

Installa i pacchetti necessari:

pip install -U transformers kernels torchOfferto da

Ecco un esempio d’uso: crea la pipeline di generazione del testo, fornisci un prompt ed esegui la pipeline per generare una risposta.

from transformers import pipeline
import torch

model_id = "openai/gpt-oss-120b"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "user", "content": "What is the best DataCamp course to learn AI?"},
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])Offerto da

3. vLLM

vLLM è un motore di inferenza ad alte prestazioni progettato specificamente per una generazione di testo veloce e ad alto throughput, perfetto per deploy in produzione. 

Può essere distribuito in vari modi: sul tuo server locale per sviluppo e test, su un cloud privato per uso interno in azienda o in piccole aziende e startup che cercano maggiore controllo e privacy dei dati senza affidarsi ad API esterne.

Fonte: GPT OSS - vLLM Recipes

Usa uv pip per un’installazione più veloce dei pacchetti Python. 

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-matchOfferto da

Esegui il seguente comando nel terminale per scaricare il modello e avviare il server vLLM:

vllm serve openai/gpt-oss-120bOfferto da

Una volta in esecuzione, vLLM avvierà un server API locale (predefinito: http://localhost:8000) che puoi interrogare con richieste HTTP e integrare direttamente nelle tue applicazioni.

Applicazioni di chat

Le app di chat AI ti permettono di provare diversi modelli senza alcuna configurazione. Ti basta visitare l’URL e registrarti. Puoi usufruire delle funzionalità offerte da queste applicazioni.

In questa sezione esploreremo la chat ufficiale e l’applicazione T3 Chat, entrambe con accesso gratuito ai nuovi modelli OpenAI GPT-OSS.

4. GPT-OSS.com

Gpt-oss è il sito ufficiale dove puoi testare entrambi i modelli open-source di OpenAI. È stato creato in collaborazione con Hugging Face, quindi dovrai accedere con il tuo account Hugging Face per sbloccare le funzionalità complete dei modelli.

Fonte: Gpt-oss

L’app è completamente gratuita con risultati di chat illimitati. Puoi sperimentare diversi livelli di ragionamento, passare tra le modalità e persino chiedergli di creare da zero un’applicazione web completa. È velocissima e non richiede configurazioni.

5. T3 Chat

Da quando l’ho scoperta, adoro T3 Chat: offre accesso fulmineo sia a modelli open-source sia proprietari. Pensala come un’app in stile ChatGPT, ma per tutti i tipi di modelli AI, inclusa generazione di immagini, modelli visione-linguaggio e large language model.

Al momento, T3 Chat offre accesso gratuito sia a GPT-OSS 20B sia a GPT-OSS 120B. Ti basta registrarti e iniziare a sfruttare l’accesso completo a questi modelli.

Fonte: t3.chat 

La cosa migliore? La sua UI pulita e intuitiva e il modo in cui i risultati generati vengono presentati in modo impeccabile.

Provider di inferenza LLM

I provider di inferenza ospitano i large language model sui propri server e offrono accesso via API o web, consentendo di integrarli direttamente nelle applicazioni senza dover gestire un server di inferenza sulla propria infrastruttura. Questo semplifica l’uso di modelli potenti senza doversi preoccupare di deployment, scalabilità o manutenzione.

In questa sezione esploreremo alcuni provider di inferenza super veloci e gratuiti che puoi usare subito per accedere alla variante 120B del modello GPT-OSS.

6. Cerebras

Cerebras è uno dei provider di inferenza LLM più veloci al mondo, in grado di fornire fino a 1.400 token al secondo con richieste concorrenti. È quindi un’ottima scelta per sistemi AI in tempo reale dove la velocità è cruciale.

Tuttavia, ci sono alcune considerazioni:

• Prezzi: per alti tassi di richiesta serve un piano a pagamento. Il livello gratuito offre solo un uso di base.
• Accuratezza: sebbene Cerebras sia estremamente veloce, la qualità dell’output può variare. Alcuni provider ottimizzano per la velocità a scapito della precisione.

Fonte: cerebras.ai

Cerebras non è compatibile con l’SDK di OpenAI, quindi dovrai installare il loro SDK:

pip install --upgrade cerebras_cloud_sdkOfferto da

Dopodiché, crea il client usando la chiave API, crea la funzione di chat completion e genera la risposta in streaming.

import os
from cerebras.cloud.sdk import Cerebras

client = Cerebras(
    # Questo è il valore predefinito e può essere omesso
    api_key=os.environ.get("CEREBRAS_API_KEY")
)

stream = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "Who was Leonardo Da Vinci?"
        }
    ],
    model="gpt-oss-120b",
    stream=True,
    max_completion_tokens=65536,
    temperature=1,
    top_p=1,
    reasoning_effort="high"
)

for chunk in stream:
  print(chunk.choices[0].delta.content or "", end="")Offerto da

7. Groq

Sono un grande fan di Groq perché offre endpoint di inferenza veloci ed economici per modelli open-source popolari. Al momento puoi accedere gratuitamente alla variante 120B di GPT-OSS di OpenAI, sebbene con un tasso di richieste limitato.

Puoi provare il modello direttamente in Groq Studio prima di integrarlo nelle tue applicazioni, così da sperimentare e affinare i prompt con facilità.

Fonte: Groq

Groq è compatibile con OpenAI, quindi puoi usare l’SDK Python di OpenAI per accedere ai loro modelli. Tuttavia, Groq offre anche un proprio SDK ottimizzato, meglio tarato per la loro infrastruttura, e qui useremo quello.

Installa l’SDK di Groq:

pip install groqOfferto da

Crea il client Groq con la chiave API, quindi crea le chat completions usando il nome del modello e gli altri argomenti per lo streaming della risposta.

from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
      {
        "role": "user",
        "content": "What is the meaning of life?"
      }
    ],
    temperature=1,
    max_completion_tokens=8192,
    top_p=1,
    reasoning_effort="medium",
    stream=True,
    stop=None
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")Offerto da

8. Baseten

Baseten è una potente piattaforma di inferenza e training progettata per distribuire, scalare e gestire modelli AI con pieno controllo. La cosa migliore è che è alla pari di Groq e Cerebras in termini di velocità di generazione dei token.

Quando ti registri, ricevi 5 $ di credito per il deploy e 1 $ per l’accesso API. Puoi usare questo credito per accedere ai servizi della piattaforma.

Fonte: Model API | Baseten

Baseten è compatibile con OpenAI e non ha un proprio SDK, quindi useremo l’SDK Python di OpenAI per accedere all’endpoint del modello. Per farlo, devi installare il pacchetto Python di OpenAI:

pip install openaiOfferto da

Poi crea il client usando la tua chiave API e la base URL. Dopodiché puoi creare chat completions specificando il nome del modello e gli altri parametri. Infine, puoi generare risposte in streaming.

from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("BASETEN_API_KEY"),
    base_url="https://inference.baseten.co/v1"
)

response = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {
            "role": "user",
            "content": "Implement Hello World in Python"
        }
    ],
    stop=[],
    stream=True,
    stream_options={
        "include_usage": True,
        "continuous_usage_stats": True
    },
    top_p=1,
    max_tokens=1286,
    temperature=1,
    presence_penalty=0,
    frequency_penalty=0
)

for chunk in response:
    if chunk.choices and chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="", flush=True)
Offerto da

LLM Marketplace

L’LLM marketplace ti permette di accedere in un unico posto a modelli di linguaggio di grandi dimensioni sia open-source sia closed-source. Tutti i modelli open-source sono ospitati su OpenRouter, così puoi usare un’API unificata senza preoccuparti di costi, disponibilità o prestazioni.

In questa sezione esamineremo due dei marketplace LLM più popolari, OpenRouter e Requesty. Entrambe le piattaforme offrono accesso gratuito al modello GPT-OSS 12B.

9. OpenRouter

OpenRouter offre un’API unificata che dà accesso a centinaia di modelli AI tramite un singolo endpoint. Gestisce automaticamente i fallback e seleziona le opzioni più convenienti per le tue richieste.

Puoi sperimentare con diversi modelli usando il loro LLM Playground, che ti consente di testare e confrontare gli output prima di integrarli nel tuo flusso di lavoro.

Fonte: gpt-oss-120b

Integrare OpenRouter è semplice; ti basta cambiare la base URL e fornire la tua chiave API. Il resto dell’implementazione rimane uguale all’API di OpenAI.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.getenv("OPENROUTER_API_KEY"),
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "What is the meaning of life?"}],
)
print(completion.choices[0].message.content)Offerto da

10. Requesty

Requesty è simile a OpenRouter, ma instrada in modo intelligente le tue richieste tra oltre 170 modelli AI, incluso GPT‑OSS 120B. Questo ti aiuta a:

• Ridurre i costi API
• Evitare il lock‑in dell’SDK
• Accedere a funzionalità avanzate come auto caching, load balancing e politiche di fallback. 
• Usare una semplice interfaccia compatibile con OpenAI

Puoi esplorare i modelli nel menu Chat, consultare la classifica, vedere la dashboard d’uso e aggiungere integrazioni dirette.

Quando ti registri, ricevi 1 $ di crediti gratuiti, così puoi provare anche modelli a pagamento.

Fonte: Requesty

Per integrare Requesty, aggiorna semplicemente la base URL, la chiave API e gli header predefiniti nel tuo codice con l’SDK Python di OpenAI.

Se vuoi usare un modello gratuito, assicurati di selezionare quelli forniti da Groq.

import os
import openai

ROUTER_API_KEY = os.getenv("REQUESTY_API_KEY")

client = openai.OpenAI(
    api_key=ROUTER_API_KEY,
    base_url="https://router.requesty.ai/v1",
    default_headers={"Authorization": f"Bearer {ROUTER_API_KEY}"},
)

# Example request
response = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello, who are you?"}],
)

# Print the result
print(response.choices[0].message.content)Offerto da

Conclusione 

Dopo una lunga attesa, OpenAI ha finalmente rilasciato un LLM open-source. Questo significa che ora puoi fare fine-tuning, eseguirlo in locale e avere pieno controllo sulla generazione degli output. Il controllo è nelle tue mani; puoi persino costruire prodotti attorno ad esso senza condividere i tuoi dati con OpenAI o pagare per l’accesso API.

È un grande passo avanti per l’AI e, col tempo, vedremo modelli nuovi e migliori costruiti sui modelli e framework open-source di OpenAI. Se vuoi iniziare a sperimentare subito, puoi:

• Eseguire GPT-OSS 120B in locale
• Accedervi dal browser usando app di chat gratuite
• Provare provider di inferenza LLM veloci e gratuiti
• Esplorare i marketplace LLM per il miglior e più rapido accesso ai modelli

Se stai iniziando ora il tuo percorso nell’AI, assicurati di dare un’occhiata al nostro percorso sulle basi dell’AI per coprire argomenti come LLM, ChatGPT, AI generativa, etica dell’AI e prompt engineering.