GitHub Models: Hướng dẫn kèm ví dụ thực tiễn

GitHub Models là gì?

GitHub Models là các mô hình AI được tích hợp trực tiếp vào nền tảng GitHub để giúp bạn làm việc thông minh và nhanh hơn với mã nguồn, kho lưu trữ và tài liệu. GitHub Models cho phép bạn:

• Phát triển prompt trong một trình soạn thảo có cấu trúc hỗ trợ hướng dẫn hệ thống, đầu vào kiểm thử và cấu hình tham số.
• So sánh mô hình song song, thử nghiệm với các prompt giống hệt nhau trên những mô hình khác nhau.
• Đánh giá đầu ra bằng các chỉ số như độ tương đồng, mức độ liên quan, hoặc bộ đánh giá tùy chỉnh để theo dõi hiệu năng.
• Lưu cấu hình prompt dưới dạng tệp .prompt.yml để kiểm soát phiên bản và khả năng tái lập.
• Tích hợp mô hình vào sản xuất qua SDK hoặc REST API.

Kiểm soát phiên bản cho phép bạn cộng tác trên prompt giống như với mã nguồn. Khi bạn commit một tệp prompt, nó sẽ qua luồng pull request tương tự, giúp nhóm của bạn biết ai đã thay đổi, thay đổi gì và vì sao.

GitHub Models là nền tảng hữu ích dành cho các đội ngũ phần mềm muốn dùng AI nhưng vẫn tích hợp chặt chẽ với quy trình hiện có.

Tính năng cốt lõi của GitHub Models

Trước khi đi sâu vào cách sử dụng GitHub Models, hãy điểm qua ngắn gọn các tính năng chính:

1. Được GitHub lưu trữ: Bạn không phải quản lý máy chủ hay GPU. Mô hình chạy trên hạ tầng của GitHub, mặc định mang lại bảo mật và hiệu năng cấp doanh nghiệp.
2. Prompt và schema có cấu trúc: Bạn có thể xác định chính xác cấu trúc đầu vào và đầu ra qua JSON schema. Điều này giúp phản hồi có thể đoán trước và dễ tích hợp.
3. So sánh đa mô hình: Playground cho phép bạn kiểm thử prompt trên nhiều mô hình cùng lúc. Điều này giúp so sánh chi phí và hiệu năng để chọn phương án phù hợp nhất.
4. Công cụ đánh giá: Bộ đánh giá tích hợp cung cấp số liệu định lượng như mức độ liên quan hoặc groundedness. Bạn cũng có thể viết bộ đánh giá tùy chỉnh cho các kiểm tra theo miền cụ thể.
5. Đường tích hợp: Dùng Playground cho thử nghiệm nhanh, REST API để tự động hóa, GitHub Actions cho CI/CD, và CLI hoặc Copilot Chat cho tương tác hội thoại.
6. Preset và trình soạn prompt: Lưu một preset trạng thái playground của bạn, gồm tham số, lịch sử trò chuyện và hơn thế nữa, để chia sẻ hoặc lặp lại sau. Trình soạn prompt cho phép bạn thiết kế prompt của mình.

Tóm lại, GitHub Models được thiết kế để giúp bạn đưa ý tưởng từ khái niệm đến sản xuất. Bạn có thể bắt đầu bằng thử nghiệm, đánh giá rồi triển khai. Tất cả các bước đều ở một nơi. 

Cách sử dụng GitHub Models

Bạn có thể tương tác với GitHub Models theo nhiều cách. Lộ trình phù hợp phụ thuộc vào việc bạn đang thử nghiệm, tự động hóa quy trình hay tích hợp AI vào ứng dụng.

Các phần sau cung cấp giải thích chi tiết về các phương pháp cùng ví dụ liên quan.

Dùng GitHub Models trong Playground

Playground là cách tôi ưa thích để bắt đầu. Đây là một sandbox nơi bạn có thể thử nghiệm prompt, điều chỉnh tham số và so sánh mô hình song song. 

Bạn truy cập qua GitHub Marketplace hoặc trực tiếp từ một kho lưu trữ.

Hãy bắt đầu bằng việc chọn mô hình. Để mở một mô hình trong playground, vào GitHub Marketplace và chọn một mô hình từ menu thả xuống. Bạn có thể nhấp “View all models” để duyệt danh mục, sau đó chọn “Playground” trên bất kỳ mô hình nào.

Khi đã ở trong playground, bạn có thể điều chỉnh các tham số như temperature, số token tối đa, và presence hoặc frequency penalty. 

Ảnh chụp màn hình một system prompt và một user prompt mô tả một lỗi.

Chuyển sang thẻ “Code” sẽ hiển thị lời gọi API tương ứng bằng SDK trong ngôn ngữ lập trình bạn chọn, cho phép bạn tái sử dụng trong script của mình. 

Và nếu bạn nhấp "Compare" cạnh mô hình của mình, bạn có thể chọn mô hình thứ hai để so sánh. Playground sẽ phản chiếu prompt của bạn tới cả hai mô hình và hiển thị phản hồi cạnh nhau. Tính năng này rất phù hợp để so sánh mô hình cho các tác vụ cụ thể.

Tuy nhiên, bạn chủ yếu muốn so sánh hai mô hình không chỉ bằng trực giác mà bằng các chỉ số khách quan. Đây là lúc các bộ đánh giá phát huy tác dụng. Bạn có thể áp dụng bộ đánh giá như độ tương đồng hoặc groundedness cho từng đầu ra, hoặc thậm chí viết bộ đánh giá tùy chỉnh cho các chỉ số theo miền cụ thể. 

Nếu bạn tìm được tổ hợp prompt‑tham số ưng ý, hãy lưu lại dưới dạng preset. Preset lưu trạng thái, tham số và tùy chọn lịch sử trò chuyện. Bạn có thể tải preset sau này hoặc chia sẻ qua URL, rất lý tưởng để cộng tác với đồng đội.

Tạo preset mới có thể quản lý phiên bản và chia sẻ với đồng đội.

Trong các dự án cá nhân, tôi đã dùng playground để tạo unit test, viết tóm tắt commit và thậm chí động não cho thông điệp lỗi. Đây là cách nhanh nhất để xem mô hình có thể làm gì với ngữ cảnh của kho lưu trữ của bạn.

Sử dụng GitHub Models qua API

Dùng playground rất phù hợp để làm quen các mô hình, khám phá tính năng và thử nghiệm thoải mái.

Tuy vậy, tôi gợi ý bạn tiến thêm một bước: tận dụng GitHub Models để tự động hóa quy trình hoặc tích hợp vào ứng dụng. Lúc này, bạn sẽ cần dùng GitHub Models API.

Dưới đây là tổng quan cách dùng API thuần:

• Endpoint: POST /inference/chat/completions hoặc /orgs/{org}/inference/chat/completions cho các yêu cầu phạm vi tổ chức.
• Xác thực: Token phải có models: read permission (PAT tinh chỉnh hoặc token GitHub App). Cần header Authorization: Bearer <TOKEN>.
• Thân yêu cầu: Cung cấp model ID (ví dụ, openai/gpt‑4.1) và một mảng messages, mỗi phần tử có role (system, user, assistant hoặc developer) và nội dung. Bạn cũng có thể đặt các tham số như max_tokens, temperature, frequency_penalty, presence_penalty và response_format.
• Phản hồi: API trả về một đối tượng JSON với mảng choices chứa phản hồi của mô hình.

Dưới đây là ví dụ Python đơn giản dùng requests (giả sử bạn có personal access token với phạm vi models: read).

Bạn có thể tạo token trong phần cài đặt GitHub của bạn.

import osimport requests# Replace with your fine-grained PATtoken = os.getenv('GITHUB_PAT')url = "https://models.github.ai/inference/chat/completions"payload = {    "model": "openai/gpt-4.1",    "messages": [        {"role": "system", "content": "You are a helpful coding assistant."},        {"role": "user", "content": "Explain the concept of recursion."}    ],    "max_tokens": 150,    "temperature": 0.3}headers = {    "Content-Type": "application/json",    "Accept": "application/vnd.github+json",    "Authorization": f"Bearer {token}"}response = requests.post(url, json=payload, headers=headers)print(response.json())Được hỗ trợ bởi

Script này gửi một chat prompt tới mô hình GPT‑4.1 và in ra câu trả lời của trợ lý. Trong thực tế, bạn sẽ nhúng lời gọi này vào bot, quy trình CI hoặc một công cụ tùy chỉnh.

Bạn cũng có thể xem thẻ “Code” trong giao diện GitHub Models playground nếu muốn dùng thư viện Python cấp cao để giao tiếp với mô hình GitHub của bạn, hoặc thậm chí muốn dùng ngôn ngữ lập trình khác. Trong thẻ code, với Python, bạn còn có thể chọn giữa Azure AI Inference SDK hoặc OpenAI SDK.

Phần mã để giao tiếp với GitHub Model bằng Azure AI Inference SDK hoặc OpenAI SDK

Tôi khuyến nghị cách này thay vì dùng gói requests thuần, vì nó giúp trừu tượng bớt độ phức tạp. Nhưng mã không có sẵn cho mọi mô hình.

Tích hợp mô hình AI vào quy trình

Khi đã quen với playground và API, sức mạnh thực sự đến từ việc tích hợp mô hình vào quy trình phát triển hằng ngày. GitHub cung cấp tiện ích mở rộng cho Copilot Chat, GitHub Actions và GitHub CLI.

Tiện ích Copilot Chat

Nếu bạn có đăng ký Copilot, hãy cài đặt GitHub Models Copilot Extension. Tiện ích cho phép bạn trò chuyện trực tiếp với các mô hình cụ thể trong Copilot Chat và thậm chí nhờ tiện ích đề xuất mô hình theo tiêu chí (ví dụ: “Mô hình chi phí thấp nào hỗ trợ function calling?”). Bạn có thể gõ @models YOUR‑PROMPT trong chat và chọn mô hình.

GitHub Actions

Bạn có thể gọi inference API trong tệp workflow bằng cách đặt quyền models: read và thực hiện yêu cầu HTTP. Tài liệu của GitHub cung cấp ví dụ dùng curl để gọi API và đăng phản hồi vào output của workflow. 

Đoạn mã như sau:

name: Use GitHub Modelson: [push]permissions:  models: readjobs:  call-model:    runs-on: ubuntu-latest    steps:      - name: Call AI model        env:          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}        run: |          curl "https://models.github.ai/inference/chat/completions" \             -H "Content-Type: application/json" \             -H "Authorization: Bearer $GITHUB_TOKEN" \             -d '{              "messages": [                  {                     "role": "user",                     "content": "Explain the concept of recursion."                  }               ],               "model": "openai/gpt-4o"            }'Được hỗ trợ bởi

Phần mở rộng GitHub CLI

Đôi khi tôi thích dùng dòng lệnh để gửi vài truy vấn tới mô hình, vì tôi đích thực là một tín đồ lập trình.

Nếu bạn cũng thích dòng lệnh, hãy cài công cụ CLI và phần mở rộng GitHub Models CLI. 

Bạn có thể tìm hướng dẫn cài công cụ CLI trong tài liệu CLI chính thức.

Đầu tiên, chạy gh auth login để đăng nhập tài khoản GitHub của bạn.

Kết quả khi chạy xác thực với GitHub CLI (Ảnh của tác giả).

Sau khi xác thực, chạy gh extension install https://github.com/github/gh-models. 

Sau đó, bạn có thể prompt một mô hình chỉ với một lệnh: 

# ask GPT-4 why the sky is bluegh models run openai/gpt-4.1 "why is the sky blue?"# or start a chat sessiongh models runĐược hỗ trợ bởi

Cách này rất phù hợp cho scripting hoặc khi bạn cần câu trả lời nhanh mà không rời terminal.

GitHub Models ở quy mô doanh nghiệp

Nếu bạn thuộc một tổ chức lớn, GitHub Models cung cấp các điều khiển và tùy biến cấp doanh nghiệp.

Theo tài liệu của GitHub, các lợi ích gồm:

• Quản lý mô hình tập trung: Quản trị viên có thể kiểm soát mô hình AI và nhà cung cấp nào khả dụng cho nhà phát triển trong toàn tổ chức.
• Mô hình tùy chỉnh: Bạn có thể mang khóa API LLM của riêng mình để kết nối mô hình bên ngoài hoặc tùy chỉnh, cho phép tổ chức thanh toán trực tiếp qua đăng ký hiện có.
• Quản trị và tuân thủ: Thực thi tiêu chuẩn và giám sát việc sử dụng mô hình để đảm bảo tuân thủ các yêu cầu GDPR, SOC 2 hoặc ISO 27001.
• Tối ưu chi phí: Đánh giá chi phí và hiệu năng của các mô hình khác nhau và chọn những mô hình tiết kiệm nhất cho tác vụ ít quan trọng.
• Cộng tác và kiểm soát phiên bản: Prompt và kết quả được lưu trong kho và chịu sự kiểm duyệt qua pull request, cho phép nhóm lặp lại với khả năng quan sát đầy đủ.
• API thông lượng cao: Dùng Models REST API để quản lý prompt, chạy yêu cầu suy luận theo lập trình và tích hợp với GitHub Actions hoặc hệ thống bên ngoài.

Trong các dự án lớn tôi từng tham gia, những kiểm soát này rất quan trọng. Khi nhiều nhóm đang thử nghiệm AI, bạn không muốn có 50 prompt cho cùng một tác vụ hoặc hóa đơn API không kiểm soát. GitHub Models cho phép bạn thực thi prompt nhất quán và đánh giá mô hình trên nhiều nhóm, đảm bảo cả tổ chức hưởng lợi từ tri thức tập thể.

Khi nào bạn nên dùng GitHub Models?

Với rất nhiều công cụ AI hiện có, khi nào nên dùng GitHub Models thay vì các lựa chọn như API của OpenAI trực tiếp hoặc chỉ Copilot? 

Dưới đây là một số hướng dẫn dựa trên kinh nghiệm của tôi:

• Nếu bạn đã ở trên GitHub và muốn thiết lập tối thiểu, thẻ Models và playground là lựa chọn hoàn hảo. Mọi thứ đều được lưu trữ sẵn, cho phép bạn tập trung vào prompt và đánh giá thay vì hạ tầng.
• Nếu bạn cần prompt và phản hồi có cấu trúc (ví dụ: đầu ra JSON cho pipeline gán nhãn tự động), hỗ trợ schema của GitHub Models giúp đảm bảo kết quả nhất quán.
• Nếu bạn cần so sánh mô hình hoặc lặp trên prompt theo nhóm, công cụ so sánh và đánh giá tích hợp giúp thử nghiệm dễ dàng hơn nhiều so với tự gọi OpenAI API thủ công.
• Nếu bạn đang xây dựng công cụ nội bộ (bot, action, script) và muốn giữ mọi thứ trong hệ sinh thái GitHub, Models API tích hợp mượt với GitHub Actions, CLI và Copilot.
• Nếu bạn đang thử nghiệm hoặc học prompt engineering, hãy bắt đầu với Playground. Khi đã quen, hãy chuyển sang tích hợp API.

Mặt khác, nếu bạn đã có pipeline vững chắc với nhà cung cấp AI khác hoặc cần một mô hình mà GitHub không lưu trữ, bạn có thể tiếp tục dùng thiết lập hiện có. GitHub Models là sự bổ sung cho hộp công cụ của bạn, không phải để thay thế mọi thứ liên quan đến AI.

Kết luận

Với GitHub Models, nhà phát triển giờ đây có thể đi từ ý tưởng prompt đến tích hợp sản xuất mà không cần rời khỏi kho lưu trữ. 

Bạn có thể thử nghiệm mô hình trong Playground, đánh giá bằng chỉ số tích hợp, lưu prompt để cộng tác có kiểm soát phiên bản, và gọi mô hình qua API, GitHub Actions hoặc CLI. Với đội ngũ doanh nghiệp, GitHub bổ sung quản trị, kiểm soát chi phí và khả năng mang mô hình của riêng bạn, giải quyết nhiều băn khoăn của các tổ chức lớn về việc ứng dụng AI.

Khuyến nghị của tôi? Bắt đầu nhỏ. Dùng playground để thử prompt, tóm tắt issue hoặc tạo tài liệu.  Sau đó, tích hợp prompt hiệu quả nhất vào một GitHub Action cho tác vụ lặp lại. Theo thời gian, bạn sẽ phát hiện nơi AI giúp tiết kiệm nhiều thời gian nhất. Và vì mọi thứ đều có kiểm soát phiên bản và minh bạch, bạn có thể xây dựng niềm tin và tinh chỉnh quy trình khi tiến bước.