GitHub Models: una guida con esempi pratici

Cosa sono i GitHub Models?

I GitHub Models sono modelli di IA integrati direttamente nella piattaforma di GitHub per aiutarti a lavorare in modo più intelligente e veloce con codice, repository e documentazione. Con GitHub Models puoi:

• Sviluppare prompt in un editor strutturato che supporta istruzioni di sistema, input di test e configurazione dei parametri.
• Confrontare i modelli affiancati, sperimentando con prompt identici su modelli diversi.
• Valutare gli output usando metriche come similarità, pertinenza o valutatori personalizzati per monitorare le prestazioni.
• Archiviare configurazioni di prompt come file .prompt.yml per il controllo di versione e la riproducibilità.
• Integrare i modelli in produzione tramite SDK o REST API.

Il controllo di versione ti consente di collaborare sui prompt proprio come fai sul codice. Quando esegui il commit di un file di prompt, segue lo stesso flusso di pull request, permettendo al tuo team di sapere chi ha apportato la modifica, cosa è stato cambiato e perché.

GitHub Models è una piattaforma utile, pensata per i team software che vogliono usare l’IA mantenendola strettamente integrata nei flussi di lavoro esistenti.

Funzionalità principali di GitHub Models

Prima di entrare nel dettaglio di come usare GitHub Models, vediamo brevemente le funzioni principali:

1. Hosting a cura di GitHub: non devi gestire server o GPU. I modelli girano sull’infrastruttura di GitHub, quindi ottieni di default sicurezza e prestazioni di livello enterprise.
2. Prompt e schemi strutturati: puoi definire la struttura esatta di input e output tramite schemi JSON. Questo rende le risposte prevedibili e facili da integrare.
3. Confronti multi‑modello: il Playground ti consente di testare i prompt su più modelli contemporaneamente. Aiuta a confrontare modelli in termini di costo e prestazioni, così puoi scegliere l’opzione migliore per le tue esigenze.
4. Strumenti di valutazione: i valutatori integrati forniscono metriche quantitative, come pertinenza o groundedness. Puoi anche scrivere valutatori personalizzati per controlli specifici di dominio.
5. Percorsi di integrazione: usa il Playground per esperimenti rapidi, la REST API per l’automazione, GitHub Actions per CI/CD e la CLI o Copilot Chat per un uso conversazionale.
6. Preset ed editor di prompt: salva un preset dello stato del tuo playground, inclusi parametri, cronologia chat e altro, così da condividerlo o iterarci in seguito. L’editor di prompt ti permette di progettare i tuoi prompt.

In sintesi, GitHub Models è pensato per aiutarti a portare un’idea dal concetto alla produzione. Puoi iniziare con gli esperimenti, valutarli e poi distribuire. Il tutto in un unico posto. 

Come usare GitHub Models

Puoi interagire con GitHub Models in diversi modi. La scelta giusta dipende se stai sperimentando, automatizzando un workflow o integrando l’IA in un’applicazione.

Le sezioni seguenti spiegano nel dettaglio i vari metodi, con esempi pertinenti.

Uso di GitHub Models nel Playground

Il playground è il mio modo preferito per iniziare. È una sandbox in cui puoi sperimentare con i prompt, regolare i parametri e confrontare i modelli affiancati. 

Vi accedi tramite GitHub Marketplace o direttamente da un repository.

Partiamo dalla scelta di un modello. Per aprire un modello nel playground, vai su GitHub Marketplace e seleziona un modello dal menu a discesa. Puoi fare clic su “View all models” per sfogliare il catalogo, quindi scegliere “Playground” su qualsiasi modello.

Una volta nel playground, puoi regolare parametri come temperature, token massimi e penalità di presenza o frequenza. 

Screenshot di un system prompt e di un user prompt che contiene la descrizione di un bug.

Passando alla scheda “Code” viene mostrata la chiamata API corrispondente usando un SDK nel linguaggio di programmazione che preferisci, così da poterla replicare negli script. 

E se fai clic su "Compare" accanto al tuo modello, puoi selezionare un secondo modello da confrontare. Il playground replicherà il prompt su entrambi i modelli e mostrerà le risposte affiancate. Questa funzione è ottima per confrontare i modelli su compiti specifici.

Tuttavia, è importante confrontare due modelli non solo a intuito, ma con metriche oggettive. Qui entrano in gioco i valutatori. Puoi applicare valutatori come similarità o groundedness a ogni output, o persino scrivere valutatori personalizzati per metriche specifiche di dominio. 

E se trovi una combinazione di prompt e parametri che ti piace, salvala come preset. I preset memorizzano il tuo stato, i parametri e, facoltativamente, la cronologia della chat. Puoi caricare un preset in seguito o condividerlo tramite URL, il che è perfetto per collaborare con i tuoi compagni di squadra.

Creazione di un nuovo preset che può essere versionato e condiviso con i compagni di squadra.

Nei miei progetti privati ho usato il playground per generare unit test, creare riepiloghi dei commit e persino fare brainstorming sui messaggi di errore. È il modo più rapido per vedere cosa può fare un modello con il contesto del tuo repository.

Uso di GitHub Models tramite API

Il playground è ottimo per conoscere i modelli, esplorarne tutte le funzionalità e fare un po’ di pratica.

Tuttavia, ti suggerisco di fare un passo in più e usare i GitHub Models per automatizzare i tuoi workflow o integrarli nelle tue applicazioni. In quel caso, dovrai usare la GitHub Models API.

Ecco una panoramica su come usare la raw API:

• Endpoint: POST /inference/chat/completions o /orgs/{org}/inference/chat/completions per richieste con ambito organizzazione.
• Autenticazione: il token deve avere il permesso models: read permission (PAT granulare o token GitHub App). È richiesto l’header Authorization: Bearer <TOKEN>.
• Corpo della richiesta: fornisci l’ID del modello (ad es., openai/gpt‑4.1) e un array di messaggi, ciascuno con un role (system, user, assistant o developer) e il contenuto. Puoi anche impostare parametri come max_tokens, temperature, frequency_penalty, presence_penalty e response_format.
• Risposta: l’API restituisce un oggetto JSON con un array choices che contiene la risposta del modello.

Di seguito un semplice esempio in Python usando requests (presuppone un personal access token con ambito models: read).

Puoi creare il token nelle tue impostazioni GitHub.

import osimport requests# Replace with your fine-grained PATtoken = os.getenv('GITHUB_PAT')url = "https://models.github.ai/inference/chat/completions"payload = {    "model": "openai/gpt-4.1",    "messages": [        {"role": "system", "content": "You are a helpful coding assistant."},        {"role": "user", "content": "Explain the concept of recursion."}    ],    "max_tokens": 150,    "temperature": 0.3}headers = {    "Content-Type": "application/json",    "Accept": "application/vnd.github+json",    "Authorization": f"Bearer {token}"}response = requests.post(url, json=payload, headers=headers)print(response.json())

Questo script invia un prompt di chat al modello GPT‑4.1 e stampa la risposta dell’assistant. In pratica, inseriresti questa chiamata in un bot, in un workflow CI o in uno strumento personalizzato.

Puoi anche consultare la scheda “Code” all’interno dell’interfaccia del playground di GitHub Models, se vuoi usare una libreria Python di più alto livello per comunicare con il tuo modello GitHub o anche un altro linguaggio di programmazione. Nella scheda del codice, per Python, puoi persino scegliere tra Azure AI Inference SDK o OpenAI SDK.

Sezione di codice per comunicare con un GitHub Model usando Azure AI Inference SDK o OpenAI SDK

Consiglio questo approccio rispetto all’uso del pacchetto raw requests, perché astrae parte della complessità. Tuttavia, il codice non è disponibile per tutti i modelli.

Integrare i modelli di IA nei workflow

Quando hai preso confidenza con playground e API, la vera potenza arriva integrando i modelli nei processi di sviluppo quotidiani. GitHub fornisce estensioni per Copilot Chat, GitHub Actions e la GitHub CLI.

Estensione Copilot Chat

Se hai un abbonamento a Copilot, installa la GitHub Models Copilot Extension. Ti consente di chattare direttamente con modelli specifici dentro Copilot Chat e persino di chiedere all’estensione di consigliarti un modello in base a criteri (ad es., “Qual è un modello a basso costo che supporta il function calling?”). Puoi digitare @models YOUR‑PROMPT in chat e scegliere il tuo modello.

GitHub Actions

Puoi chiamare la inference API dentro un file di workflow impostando il permesso models: read ed effettuando una richiesta HTTP. La documentazione di GitHub fornisce un esempio che usa curl per chiamare l’API e pubblicare la risposta nell’output del workflow. 

Ecco lo snippet:

name: Use GitHub Modelson: [push]permissions:  models: readjobs:  call-model:    runs-on: ubuntu-latest    steps:      - name: Call AI model        env:          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}        run: |          curl "https://models.github.ai/inference/chat/completions" \             -H "Content-Type: application/json" \             -H "Authorization: Bearer $GITHUB_TOKEN" \             -d '{              "messages": [                  {                     "role": "user",                     "content": "Explain the concept of recursion."                  }               ],               "model": "openai/gpt-4o"            }'

Estensione GitHub CLI

A volte preferisco usare la riga di comando per inviare alcune query a un modello, da vero nerd dello sviluppo.

Se anche tu preferisci la riga di comando, installa lo strumento CLI e l’estensione GitHub Models per la CLI. 

Trovi le istruzioni per installare lo strumento CLI nella documentazione ufficiale della CLI.

Per prima cosa, esegui gh auth login per accedere al tuo account GitHub.

Output dell’esecuzione dell’autenticazione con GitHub CLI (Immagine dell’autore).

Dopo l’autenticazione, esegui gh extension install https://github.com/github/gh-models. 

Puoi quindi inviare un prompt a un modello con un solo comando: 

# ask GPT-4 why the sky is bluegh models run openai/gpt-4.1 "why is the sky blue?"# or start a chat sessiongh models run

È perfetto per fare scripting o quando ti servono risposte rapide senza lasciare il terminale.

GitHub Models su scala enterprise

Se fai parte di un’organizzazione più grande, GitHub Models offre controlli e personalizzazioni a livello enterprise.

Secondo la documentazione di GitHub, i vantaggi includono:

• Gestione centralizzata dei modelli: gli amministratori possono controllare quali modelli e provider di IA sono disponibili per gli sviluppatori in tutta l’organizzazione.
• Modelli personalizzati: puoi portare le tue chiavi API LLM per collegare modelli esterni o personalizzati, permettendo all’organizzazione di pagare direttamente tramite abbonamenti esistenti.
• Governance e compliance: applica standard e monitora l’uso dei modelli per garantire la conformità a requisiti come GDPR, SOC 2 o ISO 27001.
• Ottimizzazione dei costi: valuta costo e prestazioni dei vari modelli e seleziona quelli più convenienti per i task meno critici.
• Collaborazione e controllo di versione: prompt e risultati sono archiviati nel repository e soggetti a pull request, consentendo ai team di iterare con piena visibilità.
• API ad alto throughput: usa la Models REST API per gestire i prompt, eseguire richieste di inferenza in modo programmatico e integrare con GitHub Actions o sistemi esterni.

Nei grandi progetti a cui ho lavorato, questi controlli contano. Quando più team sperimentano con l’IA, non vuoi 50 prompt per lo stesso compito o bollette API senza controllo. GitHub Models ti permette di imporre prompt coerenti e valutare i modelli tra i team, assicurando che tutta l’organizzazione benefici dell’apprendimento collettivo.

Quando dovresti usare GitHub Models?

Con così tanti strumenti di IA disponibili, quando ha senso usare GitHub Models rispetto ad alternative come l’API di OpenAI direttamente o solo Copilot? 

Ecco alcune linee guida basate sulla mia esperienza:

• Se usi già GitHub e vuoi un setup minimo, la scheda Models e il playground sono perfetti. È tutto in hosting, così puoi concentrarti su prompt e valutazione invece che sull’infrastruttura.
• Se ti servono prompt e risposte strutturati (ad es., output JSON per una pipeline di etichettatura automatizzata), il supporto agli schemi di GitHub Models aiuta a garantire risultati coerenti.
• Se devi confrontare modelli o iterare sui prompt come team, gli strumenti integrati di confronto e valutazione rendono la sperimentazione molto più semplice rispetto a colpire manualmente l’API di OpenAI.
• Se stai costruendo tool interni (bot, action, script) e vuoi mantenere tutto nell’ecosistema GitHub, la Models API si integra perfettamente con GitHub Actions, la CLI e Copilot.
• Se stai sperimentando o imparando il prompt engineering, inizia dal Playground. Quando ti senti a tuo agio, passa all’integrazione via API.

D’altra parte, se hai già una pipeline consolidata con un altro provider di IA o ti serve un modello che GitHub non ospita, potresti voler restare con il setup esistente. GitHub Models è un’aggiunta alla tua cassetta degli attrezzi, non un sostituto di tutto ciò che riguarda l’IA.

Conclusione

Con GitHub Models, gli sviluppatori possono passare dalla concezione del prompt all’integrazione in produzione senza nemmeno lasciare i propri repository. 

Puoi sperimentare con i modelli nel Playground, valutarli con metriche integrate, salvare i prompt per una collaborazione versionata e chiamare i modelli tramite API, GitHub Actions o CLI. Per i team enterprise, GitHub aggiunge governance, controllo dei costi e la possibilità di portare i propri modelli, affrontando molte delle preoccupazioni che le grandi organizzazioni hanno sull’adozione dell’IA.

Il mio consiglio? Parti in piccolo. Usa il playground per testare i prompt, riassumere issue o generare documentazione.  Poi integra il tuo miglior prompt in una GitHub Action per un compito ripetitivo. Col tempo scoprirai dove l’IA ti fa risparmiare più tempo. E poiché tutto è sotto controllo di versione e trasparente, puoi costruire fiducia e affinare il tuo workflow man mano.