GitHub Models: Panduan dengan Contoh Praktis

Apa Itu GitHub Models?

GitHub Models adalah model AI yang dibangun langsung ke dalam platform GitHub untuk membantu Anda bekerja lebih cerdas dan cepat dengan kode, repositori, dan dokumentasi. GitHub Models memungkinkan Anda:

• Mengembangkan prompt dalam editor terstruktur yang mendukung instruksi sistem, input uji, dan konfigurasi parameter.
• Membandingkan model secara berdampingan, bereksperimen dengan prompt yang sama pada model yang berbeda.
• Mengevaluasi keluaran menggunakan metrik seperti kemiripan, relevansi, atau evaluator kustom untuk melacak kinerja.
• Menyimpan konfigurasi prompt sebagai file .prompt.yml untuk kontrol versi dan reprodusibilitas.
• Mengintegrasikan model ke dalam produksi melalui SDK atau REST API.

Kontrol versi memungkinkan Anda berkolaborasi pada prompt dengan cara yang sama seperti pada kode. Saat Anda melakukan commit file prompt, file tersebut melalui alur pull request yang sama, sehingga tim Anda mengetahui siapa yang mengubah, apa yang diubah, dan alasannya.

GitHub Models adalah platform yang bermanfaat bagi tim perangkat lunak yang ingin menggunakan AI sambil tetap terintegrasi erat dengan alur kerja yang ada.

Fitur inti GitHub Models

Sebelum membahas lebih dalam cara menggunakan GitHub Models, mari singkat fitur intinya:

1. Di-host oleh GitHub: Anda tidak perlu mengelola server atau GPU. Model berjalan di infrastruktur GitHub, sehingga Anda mendapatkan keamanan dan performa kelas enterprise secara default.
2. Prompt dan skema terstruktur: Anda dapat mendefinisikan struktur input dan output secara tepat melalui skema JSON. Ini membuat respons menjadi terprediksi dan mudah diintegrasikan.
3. Perbandingan multi-model: Playground memungkinkan Anda menguji prompt pada beberapa model sekaligus. Ini membantu membandingkan model dari sisi biaya dan performa, sehingga Anda dapat memilih opsi terbaik untuk kebutuhan Anda.
4. Alat evaluasi: Evaluator bawaan menyediakan metrik kuantitatif, seperti relevansi atau groundedness. Anda juga dapat menulis evaluator kustom untuk pemeriksaan spesifik domain.
5. Jalur integrasi: Gunakan Playground untuk eksperimen cepat, REST API untuk otomasi, GitHub Actions untuk CI/CD, dan CLI atau Copilot Chat untuk penggunaan percakapan.
6. Preset dan editor prompt: Simpan preset dari keadaan playground Anda, termasuk parameter, riwayat chat, dan lainnya, sehingga Anda dapat membagikan atau mengembangkannya nanti. Editor prompt memberi Anda kemungkinan untuk merancang prompt Anda.

Singkatnya, GitHub Models dirancang untuk membantu Anda membawa ide dari konsep hingga produksi. Anda dapat memulai dengan eksperimen, mengevaluasinya, lalu menerapkan. Dan semua langkah ini di satu tempat.

Cara Menggunakan GitHub Models

Anda dapat berinteraksi dengan GitHub Models melalui beberapa cara. Jalur yang tepat tergantung pada apakah Anda sedang bereksperimen, mengotomatiskan alur kerja, atau mengintegrasikan AI ke dalam aplikasi.

Bagian-bagian berikut memberikan penjelasan terperinci tentang berbagai metode, beserta contoh yang relevan.

Menggunakan GitHub Models di Playground

Playground adalah cara favorit saya untuk memulai. Ini adalah sandbox tempat Anda dapat bereksperimen dengan prompt, menyesuaikan parameter, dan membandingkan model secara berdampingan.

Anda mengaksesnya melalui GitHub Marketplace atau langsung dari sebuah repositori.

Mari mulai dengan memilih model. Untuk membuka model di playground, buka GitHub Marketplace dan pilih model dari menu dropdown. Anda dapat mengeklik “View all models” untuk menelusuri katalog, lalu pilih “Playground” pada model mana pun.

Setelah masuk ke playground, Anda dapat menyesuaikan parameter seperti temperature, maksimum token, serta presence atau frequency penalties.

Tangkapan layar prompt sistem dan prompt pengguna yang memuat deskripsi bug.

Beralih ke tab “Code” akan menampilkan pemanggilan API yang sesuai menggunakan SDK dalam bahasa pemrograman pilihan Anda, sehingga Anda bisa mereplikasinya di skrip Anda.

Dan jika Anda mengeklik "Compare" di samping model Anda, Anda dapat memilih model kedua untuk dibandingkan. Playground kemudian akan mencerminkan prompt Anda ke kedua model dan menampilkan respons secara berdampingan. Fitur ini sangat baik untuk membandingkan model untuk tugas tertentu.

Namun, Anda terutama ingin membandingkan dua model bukan hanya berdasarkan intuisi, melainkan dengan metrik objektif. Di sinilah evaluator berperan. Anda dapat menerapkan evaluator seperti kemiripan atau groundedness pada setiap keluaran, atau bahkan menulis evaluator kustom untuk metrik spesifik domain.

Dan jika Anda menemukan kombinasi prompt-parameter yang Anda sukai, simpan sebagai preset. Preset menyimpan keadaan Anda, parameter, dan riwayat chat opsional. Anda dapat memuat preset nanti atau membagikannya melalui URL, sehingga sangat tepat untuk berkolaborasi dengan rekan satu tim.

Membuat preset baru yang dapat diberi versi dan dibagikan dengan rekan satu tim Anda.

Dalam proyek pribadi, saya menggunakan playground untuk menghasilkan unit test, membuat ringkasan commit, dan bahkan mengasah ide pesan galat. Ini adalah cara paling cepat untuk melihat kemampuan model dengan konteks repositori Anda.

Menggunakan GitHub Models melalui API

Menggunakan playground sangat baik untuk mengenal model dan mengeksplorasi semua fiturnya, sekaligus bermain-main dengannya.

Namun, saya sarankan melangkah lebih jauh dan memanfaatkan GitHub Models untuk mengotomatiskan alur kerja Anda atau mengintegrasikannya ke dalam aplikasi. Dalam hal ini, Anda perlu menggunakan GitHub Models API.

Berikut ikhtisar cara menggunakan API mentah:

• Endpoint: POST /inference/chat/completions atau /orgs/{org}/inference/chat/completions untuk permintaan dalam cakupan organisasi.
• Autentikasi: Token harus memiliki models: read permission (PAT butir‑halus atau token GitHub App). Header Authorization: Bearer <TOKEN> diperlukan.
• Badan permintaan: Sertakan model ID (mis., openai/gpt‑4.1) dan sebuah array messages, masing‑masing dengan role (system, user, assistant, atau developer) dan konten. Anda juga dapat mengatur parameter seperti max_tokens, temperature, frequency_penalty, presence_penalty, dan response_format.
• Respons: API mengembalikan objek JSON dengan array choices yang memuat balasan model.

Di bawah ini contoh Python sederhana menggunakan requests (dengan asumsi Anda memiliki personal access token dengan cakupan models: read).

Anda dapat membuat token di pengaturan GitHub Anda.

import osimport requests# Replace with your fine-grained PATtoken = os.getenv('GITHUB_PAT')url = "https://models.github.ai/inference/chat/completions"payload = {    "model": "openai/gpt-4.1",    "messages": [        {"role": "system", "content": "You are a helpful coding assistant."},        {"role": "user", "content": "Explain the concept of recursion."}    ],    "max_tokens": 150,    "temperature": 0.3}headers = {    "Content-Type": "application/json",    "Accept": "application/vnd.github+json",    "Authorization": f"Bearer {token}"}response = requests.post(url, json=payload, headers=headers)print(response.json())

Skrip ini mengirimkan prompt chat ke model GPT‑4.1 dan mencetak balasan asisten. Dalam praktiknya, Anda akan menanamkan pemanggilan ini pada bot, alur CI, atau alat kustom.

Anda juga dapat melihat tab “Code” di dalam UI GitHub Models playground, jika Anda ingin menggunakan pustaka Python tingkat lebih tinggi untuk berkomunikasi dengan model GitHub Anda, atau bahkan menggunakan bahasa pemrograman lain. Di tab code, Anda, untuk Python, bahkan bisa memilih antara menggunakan Azure AI Inference SDK atau OpenAI SDK.

Bagian kode untuk berkomunikasi dengan GitHub Model menggunakan Azure AI Inference SDK atau OpenAI SDK

Saya merekomendasikan pendekatan ini ketimbang menggunakan paket requests mentah, karena sebagian kompleksitas diabstraksi. Namun kode tidak tersedia untuk semua model.

Mengintegrasikan Model AI ke dalam Alur Kerja

Setelah Anda nyaman dengan playground dan API, kekuatan sesungguhnya muncul dari integrasi model ke proses pengembangan harian Anda. GitHub menyediakan ekstensi untuk Copilot Chat, GitHub Actions, dan GitHub CLI.

Ekstensi Copilot Chat

Jika Anda memiliki langganan Copilot, pasang GitHub Models Copilot Extension. Ini memungkinkan Anda mengobrol langsung dengan model tertentu di dalam Copilot Chat dan bahkan meminta ekstensi merekomendasikan model berdasarkan kriteria (mis., “Apa model berbiaya rendah yang mendukung function calling?”). Anda dapat mengetik @models YOUR‑PROMPT di chat dan memilih model Anda.

GitHub Actions

Anda dapat memanggil inference API di dalam file workflow dengan mengatur izin models: read dan membuat permintaan HTTP. Dokumentasi GitHub menyediakan contoh yang menggunakan curl untuk memanggil API dan memposting respons ke keluaran workflow.

Berikut cuplikannya:

name: Use GitHub Modelson: [push]permissions:  models: readjobs:  call-model:    runs-on: ubuntu-latest    steps:      - name: Call AI model        env:          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}        run: |          curl "https://models.github.ai/inference/chat/completions" \             -H "Content-Type: application/json" \             -H "Authorization: Bearer $GITHUB_TOKEN" \             -d '{              "messages": [                  {                     "role": "user",                     "content": "Explain the concept of recursion."                  }               ],               "model": "openai/gpt-4o"            }'

Ekstensi GitHub CLI

Saya kadang lebih suka menggunakan command line untuk mengirim beberapa kueri ke model, karena saya benar‑benar penggemar developer.

Jika Anda juga lebih suka command line, pasang alat CLI dan ekstensi GitHub Models CLI.

Anda dapat menemukan petunjuk pemasangan alat CLI di dokumentasi CLI resmi.

Pertama, jalankan gh auth login untuk masuk ke akun GitHub Anda.

Output saat menjalankan autentikasi dengan GitHub CLI (Gambar oleh penulis).

Setelah diautentikasi, jalankan gh extension install https://github.com/github/gh-models.

Anda kemudian dapat memberi prompt ke model dengan satu perintah:

# ask GPT-4 why the sky is bluegh models run openai/gpt-4.1 "why is the sky blue?"# or start a chat sessiongh models run

Ini sangat cocok untuk scripting atau saat Anda memerlukan jawaban cepat tanpa meninggalkan terminal.

GitHub Models pada Skala Perusahaan

Jika Anda bagian dari organisasi yang lebih besar, GitHub Models menawarkan kontrol dan kustomisasi tingkat enterprise.

Menurut dokumentasi GitHub, manfaatnya mencakup:

• Manajemen model terpusat: Admin dapat mengontrol model AI dan penyedia mana yang tersedia bagi developer di seluruh organisasi.
• Model kustom: Anda dapat membawa kunci API LLM sendiri untuk menghubungkan model eksternal atau kustom, memungkinkan organisasi Anda membayar langsung melalui langganan yang ada.
• Tata kelola dan kepatuhan: Terapkan standar dan pantau penggunaan model untuk memastikan kepatuhan terhadap persyaratan GDPR, SOC 2, atau ISO 27001.
• Optimasi biaya: Evaluasi biaya dan performa berbagai model dan pilih yang paling hemat biaya untuk tugas yang kurang kritis.
• Kolaborasi dan kontrol versi: Prompt dan hasil disimpan di repositori dan tunduk pada pull request, memungkinkan tim beriterasi dengan visibilitas penuh.
• API throughput tinggi: Gunakan Models REST API untuk mengelola prompt, menjalankan permintaan inferensi secara terprogram, dan mengintegrasikan dengan GitHub Actions atau sistem eksternal.

Dalam proyek besar yang pernah saya kerjakan, kontrol ini penting. Saat banyak tim bereksperimen dengan AI, Anda tidak ingin ada 50 prompt untuk tugas yang sama atau tagihan API yang tak terkendali. GitHub Models memungkinkan Anda menegakkan konsistensi prompt dan mengevaluasi model lintas tim, memastikan seluruh organisasi mendapatkan manfaat dari pembelajaran kolektif.

Kapan Sebaiknya Menggunakan GitHub Models?

Dengan begitu banyak alat AI yang tersedia, kapan masuk akal menggunakan GitHub Models dibanding alternatif seperti langsung menggunakan API OpenAI atau Copilot saja?

Berikut beberapa panduan berdasarkan pengalaman saya:

• Jika Anda sudah menggunakan GitHub dan menginginkan penyiapan minimal, tab Models dan playground sangat cocok. Semuanya di-host, sehingga Anda dapat fokus pada prompt dan evaluasi alih-alih infrastruktur.
• Jika Anda memerlukan prompt dan respons terstruktur (mis., keluaran JSON untuk pipeline pelabelan otomatis), dukungan skema GitHub Models membantu memastikan hasil yang konsisten.
• Jika Anda perlu membandingkan model atau beriterasi pada prompt sebagai tim, alat perbandingan dan evaluasi bawaan membuat eksperimen jauh lebih mudah dibanding memanggil API OpenAI secara manual.
• Jika Anda membangun tooling internal (bot, actions, skrip) dan ingin menjaga semuanya tetap dalam ekosistem GitHub, Models API terintegrasi mulus dengan GitHub Actions, CLI, dan Copilot.
• Jika Anda sedang bereksperimen atau belajar prompt engineering, mulailah dengan Playground. Setelah nyaman, lanjutkan ke integrasi API.

Di sisi lain, jika Anda sudah memiliki pipeline yang matang menggunakan penyedia AI lain atau memerlukan model yang tidak di‑host oleh GitHub, Anda mungkin ingin tetap pada penyiapan yang ada. GitHub Models adalah tambahan untuk kotak peralatan Anda, bukan pengganti semua hal terkait AI.

Kesimpulan

Dengan GitHub Models, developer kini dapat bergerak dari perancangan prompt hingga integrasi produksi tanpa meninggalkan repositori mereka.

Anda dapat bereksperimen dengan model di Playground, mengevaluasinya dengan metrik bawaan, menyimpan prompt untuk kolaborasi berversi, dan memanggil model melalui API, GitHub Actions, atau CLI. Untuk tim enterprise, GitHub menambahkan tata kelola, kontrol biaya, dan kemampuan membawa model Anda, menjawab banyak kekhawatiran organisasi besar tentang adopsi AI.

Rekomendasi saya? Mulailah dari yang kecil. Gunakan playground untuk menguji prompt, merangkum isu, atau menghasilkan dokumentasi. Lalu, integrasikan prompt terbaik Anda ke GitHub Action untuk tugas berulang. Seiring waktu, Anda akan menemukan di mana AI paling banyak menghemat waktu. Dan karena semuanya dikontrol versi dan transparan, Anda dapat membangun kepercayaan dan menyempurnakan alur kerja seiring berjalan.