GitHub Models: een gids met praktische voorbeelden

Wat zijn GitHub Models?

GitHub Models zijn AI-modellen die direct in GitHub’s platform zijn ingebouwd om je slimmer en sneller te laten werken met code, repositories en documentatie. Met GitHub Models kun je:

• Prompts ontwikkelen in een gestructureerde editor die systeeminstructies, testinputs en parameterconfiguratie ondersteunt.
• Modellen naast elkaar vergelijken door met identieke prompts te experimenteren in verschillende modellen.
• Outputs evalueren met metrics zoals similariteit, relevantie of aangepaste evaluators om prestaties te volgen.
• Promptconfiguraties opslaan als .prompt.yml-bestanden voor versiebeheer en reproduceerbaarheid.
• Modellen integreren in productie via SDK’s of de REST API.

Versiebeheer laat je op prompts samenwerken zoals je dat ook met code doet. Als je een promptbestand commit, doorloopt het dezelfde pull request-flow, zodat je team weet wie de wijziging heeft gedaan, wat er is veranderd en waarom.

GitHub Models is een handig platform voor softwareteams die AI willen gebruiken en dit nauw willen integreren met hun bestaande workflows.

Kernfuncties van GitHub Models

Voordat we dieper ingaan op het gebruik van GitHub Models, hier kort de kernfuncties:

1. Gehost door GitHub: Je beheert geen servers of GPU’s. Modellen draaien op GitHub’s infrastructuur, dus je krijgt standaard security en performance op enterpriseniveau.
2. Gestructureerde prompts en schema’s: Je kunt de exacte input- en outputstructuur definiëren via JSON-schema’s. Dit maakt responses voorspelbaar en makkelijk te integreren.
3. Vergelijkingen met meerdere modellen: In de Playground kun je prompts tegelijk tegen meerdere modellen testen. Zo vergelijk je kosten en prestaties en kies je de beste optie voor jouw behoeften.
4. Evaluatietools: Ingebouwde evaluators bieden kwantitatieve metrics, zoals relevantie of groundedness. Je kunt ook aangepaste evaluators schrijven voor domeinspecifieke checks.
5. Integratiepaden: Gebruik de Playground voor snelle experimenten, de REST API voor automatisering, GitHub Actions voor CI/CD, en de CLI of Copilot Chat voor conversatiegebruik.
6. Presets en prompteditor: Sla een preset op van je playgroundstaat, inclusief parameters, chatgeschiedenis en meer, zodat je deze later kunt delen of itereren. De prompteditor geeft je de mogelijkheid om je prompts te ontwerpen.

Kortom, GitHub Models is ontworpen om je idee van concept naar productie te brengen. Je start met experimenten, evalueert ze en zet ze daarna live. En al deze stappen op één plek. 

Hoe gebruik je GitHub Models

Je kunt op verschillende manieren met GitHub Models werken. De juiste route hangt af van of je aan het experimenteren bent, een workflow automatiseert of AI in een applicatie integreert.

De volgende secties geven een gedetailleerde uitleg van de verschillende methoden, met bijbehorende voorbeelden.

GitHub Models gebruiken in de Playground

De playground is mijn favoriete startpunt. Het is een sandbox waar je met prompts kunt experimenteren, parameters aanpassen en modellen naast elkaar kunt vergelijken. 

Je opent hem via de GitHub Marketplace of direct vanuit een repository.

Laten we beginnen met het kiezen van een model. Ga naar de GitHub Marketplace en selecteer een model uit het dropdownmenu om een model in de playground te openen. Je kunt op “Alle modellen bekijken” klikken om de catalogus te doorbladeren en daarna “Playground” kiezen bij elk model.

Eenmaal in de playground kun je parameters aanpassen zoals temperature, maximum tokens en presence- of frequency‑penalties. 

Screenshot van een system prompt en een user prompt met een beschrijving van een bug.

Als je overschakelt naar het tabblad “Code” zie je de bijbehorende API‑aanroep met een SDK in de programmeertaal van jouw keuze, zodat je die in je scripts kunt reproduceren. 

En als je op "Vergelijken" klikt naast je model, kun je een tweede model selecteren om mee te vergelijken. De playground spiegelt je prompt naar beide modellen en toont de antwoorden naast elkaar. Deze functie is ideaal om modellen voor specifieke taken te vergelijken.

Toch wil je twee modellen vooral vergelijken op objectieve metrics en niet alleen op gevoel. Daar komen de evaluators van pas. Je kunt evaluators zoals similariteit of groundedness toepassen op elke output, of zelfs aangepaste evaluators schrijven voor domeinspecifieke metrics. 

En als je een fijne combinatie van prompt en parameters vindt, sla die dan op als preset. Presets bewaren je staat, parameters en optionele chatgeschiedenis. Je kunt een preset later laden of delen via een URL, ideaal om met je teamgenoten samen te werken.

Een nieuwe preset maken die je kunt versiebeheerden en delen met je teamgenoten.

In mijn privéprojecten heb ik de playground gebruikt om unittests te genereren, commit‑samenvattingen te maken en zelfs te brainstormen over foutmeldingen. Het is de snelste manier om te zien wat een model kan met de context van je repository.

GitHub Models gebruiken via de API

De playground is fijn om de modellen te leren kennen, alle functies te verkennen en ermee te spelen.

Maar ik raad je aan een stap verder te gaan en GitHub Models te gebruiken om je workflows te automatiseren of ze in je applicaties te integreren. In dat geval heb je de GitHub Models API nodig.

Hier is een overzicht van het gebruik van de ruwe API:

• Endpoint: POST /inference/chat/completions of /orgs/{org}/inference/chat/completions voor verzoeken met organisatie‑scope.
• Authenticatie: De token moet de models: read permission hebben (een fijnmazige PAT of GitHub App‑token). De header Authorization: Bearer <TOKEN> is vereist.
• Request body: Geef de model ID op (bijv. openai/gpt‑4.1) en een array met berichten, elk met een role (system, user, assistant of developer) en content. Je kunt ook parameters instellen zoals max_tokens, temperature, frequency_penalty, presence_penalty en response_format.
• Response: De API retourneert een JSON‑object met een choices-array met het antwoord van het model.

Hieronder staat een eenvoudig Python‑voorbeeld met requests (ervan uitgaand dat je een personal access token met models: read-scope hebt).

Je kunt de token aanmaken in je GitHub‑instellingen.

import osimport requests# Replace with your fine-grained PATtoken = os.getenv('GITHUB_PAT')url = "https://models.github.ai/inference/chat/completions"payload = {    "model": "openai/gpt-4.1",    "messages": [        {"role": "system", "content": "You are a helpful coding assistant."},        {"role": "user", "content": "Explain the concept of recursion."}    ],    "max_tokens": 150,    "temperature": 0.3}headers = {    "Content-Type": "application/json",    "Accept": "application/vnd.github+json",    "Authorization": f"Bearer {token}"}response = requests.post(url, json=payload, headers=headers)print(response.json())

Dit script stuurt een chatprompt naar het GPT‑4.1‑model en print het antwoord van de assistant. In de praktijk zou je deze aanroep opnemen in een bot, een CI‑workflow of een custom tool.

Je kunt ook het tabblad “Code” in de GitHub Models‑playground gebruiken als je een hoger‑niveau Python‑bibliotheek wilt gebruiken om met je GitHub‑model te communiceren, of als je zelfs een andere programmeertaal wilt gebruiken. In de code‑tab kun je, voor Python, zelfs kiezen tussen de Azure AI Inference SDK of de OpenAI SDK.

Codedeel voor communicatie met een GitHub‑model met de Azure AI Inference SDK of de OpenAI SDK

Deze aanpak raad ik aan boven het gebruik van het ruwe requests‑pakket, omdat dit een deel van de complexiteit wegneemt. Maar de code is niet voor alle modellen beschikbaar.

AI‑modellen integreren in workflows

Als je vertrouwd bent met de playground en API, komt de echte kracht vrij door modellen te integreren in je dagelijkse ontwikkelprocessen. GitHub biedt extensies voor Copilot Chat, GitHub Actions en de GitHub CLI.

Copilot Chat‑extensie

Als je een Copilot‑abonnement hebt, installeer de GitHub Models Copilot‑extensie. Daarmee kun je rechtstreeks met specifieke modellen chatten binnen Copilot Chat en de extensie zelfs vragen een model aan te bevelen op basis van criteria (bijv. “Wat is een goedkoop model dat function calling ondersteunt?”). Je kunt @models JOUW‑PROMPT in de chat typen en je model kiezen.

GitHub Actions

Je kunt de inference‑API aanroepen in een workflowbestand door de models: read-permission in te stellen en een HTTP‑verzoek te doen. De GitHub‑docs geven een voorbeeld dat curl gebruikt om de API aan te roepen en de response naar de workflow‑output te posten. 

Hier is het fragment:

name: Use GitHub Modelson: [push]permissions:  models: readjobs:  call-model:    runs-on: ubuntu-latest    steps:      - name: Call AI model        env:          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}        run: |          curl "https://models.github.ai/inference/chat/completions" \             -H "Content-Type: application/json" \             -H "Authorization: Bearer $GITHUB_TOKEN" \             -d '{              "messages": [                  {                     "role": "user",                     "content": "Explain the concept of recursion."                  }               ],               "model": "openai/gpt-4o"            }'

GitHub CLI‑extensie

Ik gebruik soms liever de commandline om wat queries naar een model te sturen, ik ben nu eenmaal een echte developer‑nerd.

Als jij ook de commandline verkiest, installeer dan de CLI‑tool en de GitHub Models CLI‑extensie. 

De instructies voor het installeren van de CLI‑tool vind je in de officiële CLI‑documentatie.

Voer eerst gh auth login uit om in te loggen op je GitHub‑account.

Output van het uitvoeren van authenticatie met GitHub CLI (Afbeelding door de auteur).

Na authenticatie voer je gh extension install https://github.com/github/gh-models uit. 

Je kunt daarna met één opdracht een model prompten: 

# ask GPT-4 why the sky is bluegh models run openai/gpt-4.1 "why is the sky blue?"# or start a chat sessiongh models run

Dit is perfect voor scripting of wanneer je snelle antwoorden nodig hebt zonder je terminal te verlaten.

GitHub Models op enterpriseniveau

Als je onderdeel bent van een grotere organisatie, biedt GitHub Models controls en maatwerk op enterpriseniveau.

Volgens de documentatie van GitHub zijn de voordelen onder meer:

• Gecentraliseerd modelbeheer: Beheerders kunnen bepalen welke AI‑modellen en providers beschikbaar zijn voor ontwikkelaars binnen de organisatie.
• Aangepaste modellen: Je kunt je eigen LLM‑API‑sleutels gebruiken om externe of custom modellen te koppelen, zodat je organisatie direct kan betalen via bestaande abonnementen.
• Governance en compliance: Handhaaf standaarden en monitor modelgebruik om te voldoen aan GDPR-, SOC 2- of ISO 27001‑eisen.
• Kostenoptimalisatie: Beoordeel de kosten en prestaties van verschillende modellen en kies de meest kosteneffectieve voor minder kritieke taken.
• Samenwerking en versiebeheer: Prompts en resultaten worden in de repository opgeslagen en via pull requests beheerd, zodat teams met volledige zichtbaarheid kunnen itereren.
• API met hoge throughput: Gebruik de Models REST API om prompts te beheren, inference‑verzoeken programmatisch uit te voeren en te integreren met GitHub Actions of externe systemen.

In grote projecten waar ik aan heb gewerkt, maken deze controls het verschil. Als meerdere teams met AI experimenteren, wil je niet 50 prompts voor dezelfde taak of onbeperkte API‑rekeningen. Met GitHub Models kun je consistente prompts afdwingen en modellen teamoverstijgend evalueren, zodat de hele organisatie profiteert van gezamenlijke learnings.

Wanneer gebruik je GitHub Models?

Met zoveel AI‑tools beschikbaar, wanneer is het zinvol om GitHub Models te gebruiken in plaats van bijvoorbeeld rechtstreeks de API van OpenAI of alleen Copilot? 

Hier zijn wat richtlijnen uit mijn ervaring:

• Als je al op GitHub zit en minimale setup wilt, zijn het tabblad Models en de playground perfect. Alles is gehost, zodat je je kunt richten op prompts en evaluatie in plaats van infrastructuur.
• Als je gestructureerde prompts en responses nodig hebt (bijv. JSON‑output voor een geautomatiseerde labelpipelines), helpt de schema‑ondersteuning van GitHub Models om consistente resultaten te garanderen.
• Als je modellen wilt vergelijken of als team aan prompts wilt itereren, maken de ingebouwde vergelijkings‑ en evaluatietools experimenteren veel eenvoudiger dan handmatig de OpenAI‑API aanroepen.
• Als je interne tooling bouwt (bots, actions, scripts) en alles binnen het GitHub‑ecosysteem wilt houden, integreert de Models API naadloos met GitHub Actions, de CLI en Copilot.
• Als je experimenteert of prompt engineering wilt leren, begin dan met de Playground. Stap daarna over op API‑integratie zodra je comfortabel bent.

Aan de andere kant: als je al een robuuste pipeline hebt met een andere AI‑provider of een model nodig hebt dat GitHub niet host, blijf dan bij je bestaande setup. GitHub Models is een aanvulling op je gereedschapskist, geen vervanging voor alles rond AI.

Conclusie

Met GitHub Models kunnen developers nu van prompt‑idee naar productie‑integratie gaan zonder hun repositories te verlaten. 

Je kunt met modellen experimenteren in de Playground, ze evalueren met ingebouwde metrics, prompts opslaan voor versiegestuurde samenwerking en de modellen aanroepen via API, GitHub Actions of CLI. Voor enterpriseteams voegt GitHub governance, kostenbeheersing en de mogelijkheid toe om je eigen modellen mee te nemen, waarmee veel zorgen rond AI‑adoptie in grote organisaties worden weggenomen.

Mijn advies? Begin klein. Gebruik de playground om prompts te testen, issues samen te vatten of documentatie te genereren.  Integreer vervolgens je beste prompt in een GitHub Action voor een repetitieve taak. Na verloop van tijd ontdek je waar AI je de meeste tijd bespaart. En omdat alles met versiebeheer en transparant is, kun je vertrouwen opbouwen en je workflow gaandeweg verfijnen.