Gemini Decisions API: Menguji Model Keputusan Baru Google pada Latensi dan Biaya
Pelajari bagaimana Gemini Decision 1 memberi skor pada opsi tetap tanpa menghasilkan teks, bangun pengklasifikasi intent perbankan dengan Decisions API, dan bandingkan dengan Gemini 3.5 Flash-Lite pada akurasi, latensi, kalibrasi, dan biaya.
Sebagian besar aplikasi LLM dipenuhi keputusan kecil: Alat mana yang harus dipanggil agen? Model mana yang harus menangani kueri ini? Apakah pesan ini melanggar kebijakan?
Saat ini, banyak tim menjawab pertanyaan-pertanyaan ini dengan meminta model generatif menulis jawaban sebagai teks, lalu mengurai teks tersebut untuk membuat keputusan.
Gemini Decisions APIdari Google mengambil pendekatan berbeda. Ia menggunakan model Gemini Decision 1 untuk memberi skor pada satu set opsi tetap dalam satu forward pass dan mengembalikan probabilitas untuk setiap opsi, tanpa penagihan token output.
Dalam tutorial ini, kita akan menjalankan tugas klasifikasi intent yang sama pada dua pengaturan:
Gemini Decision 1 melalui Decisions API
Gemini 3.5 Flash-Lite melalui Interactions API, dengan output JSON terstruktur
Kita akan membandingkan keduanya pada akurasi, latensi, penggunaan token, biaya, dan kalibrasi, lalu mendorong keduanya dari 1 menjadi 100 pertanyaan dalam satu permintaan.
Di akhir tutorial ini, Anda akan tahu cara:
Memanggil Decisions API dengan pertanyaan choice dan membaca probabilitas serta skor keyakinannya
Membangun baseline generatif dengan Interactions API dan skema JSON
Mengukur latensi, penggunaan token, dan biaya untuk kedua pendekatan
Memeriksa apakah keyakinan model dapat dipercaya, menggunakan diagram reliabilitas dan expected calibration error (ECE)
Menentukan kapan model keputusan lebih cocok untuk aplikasi Anda dibandingkan model generatif
Anda dapat menjalankan kode lengkapnya di Google Colab.
Model Keputusan vs. Model Generatif
Sebelum melihat cara kerjanya, mari kita definisikan kedua istilah tersebut.
Model generatif: Model ini menghasilkan konten baru. Anda memberinya prompt, dan ia menulis respons satu per satu token. Respons itu bisa berupa jawaban, ringkasan, kode, atau label. Gemini 3.5 Flash-Lite, seperti kebanyakan LLM yang kita gunakan di aplikasi chat, adalah model generatif.
Model keputusan: Model keputusan memilih dari opsi yang Anda tentukan. Anda memberinya input dan daftar jawaban yang tetap, dan ia memberi tahu probabilitas setiap opsi tanpa menulis satu baris teks pun. Gemini Decision 1 adalah model keputusan.
Berikut contoh.
Seorang nasabah menulis ke bank: "Kartu saya belum datang. Kapan akan tiba?"
Jika Anda bertanya pada model generatif, "Apa yang diinginkan nasabah ini?", ia mungkin menjawab:
“Nasabah menunggu kartu baru dan ingin tahu kapan akan tiba.”
Itu jawaban yang bagus untuk dibaca manusia. Namun jika aplikasi Anda perlu merutekan pesan ke tim yang tepat, kode Anda sekarang harus mengubah kalimat itu menjadi label. Anda bisa memaksa label dengan skema JSON, tetapi model tetap menulisnya token demi token.
Namun, jika Anda bertanya pada model keputusan hal yang sama, pertama-tama Anda memberinya opsi, seperti card_arrival, lost_or_stolen_card, dan exchange_rate. Ia mengembalikan probabilitas untuk masing-masing:
card_arrival 0.91
lost_or_stolen_card 0.06
exchange_rate 0.03Didukung oleh
Kode Anda kemudian dapat bertindak langsung berdasarkan probabilitas tersebut dengan merutekan ke tim kartu jika card_arrival di atas ambang batas, dan mengirimkannya ke manusia jika tidak. Singkatnya:
Model generatif
Model keputusan
Mengembalikan
Teks yang ditulisnya
Probabilitas untuk setiap opsi yang Anda tentukan
Jawaban yang mungkin
Terbuka
Set tetap
Cocok untuk
Jawaban, ringkasan, penjelasan, dan ekstraksi
Perutean, pemilihan alat, pemeriksaan kebijakan, dan penilaian
Dalam praktiknya, banyak aplikasi menggunakan model generatif untuk kedua tugas. Itulah yang akan kita uji di bagian berikut: apakah model keputusan melakukan bagian klasifikasi lebih baik daripada model generatif.
Saat Anda menggunakan model generatif sebagai pengklasifikasi, ia menulis jawaban satu token pada satu waktu. Untuk jawaban JSON seperti milik kita, output terlihat seperti ini saat dihasilkan:
{
{"intent":
{"intent": "card_arrival",
{"intent": "card_arrival", "confidence": 0.95}Didukung oleh
Setiap token adalah langkah decoding terpisah, dan setiap token output ditagihkan. Jika Anda menginginkan skor keyakinan, model juga harus menulis angka itu. Angka tersebut adalah tebakan model tentang dirinya sendiri, bukan probabilitas yang diukur dari internalnya.
Namun model keputusan melewati langkah penulisan ini. Anda memberikan opsi di awal, dan ia memberi skor semuanya terhadap input dalam satu forward pass. Hasilnya adalah probabilitas untuk setiap opsi:
card_arrival 0.12
card_delivery_estimate 0.85
lost_or_stolen_card 0.01
...Didukung oleh
Ini mengubah tiga hal yang dapat Anda ukur:
Latensi: Tidak ada loop decoding, sehingga latensi tidak seharusnya bertambah dengan panjang jawaban.
Biaya: Tidak ada token output yang ditagihkan. Anda hanya membayar token input, yang mencakup teks pertanyaan dan deskripsi opsi.
Keyakinan: Keyakinan berasal dari probabilitas itu sendiri, sehingga seharusnya selaras dengan seberapa sering model benar.
Komprominya adalah Anda hanya dapat menanyakan pertanyaan set tertutup. Model keputusan tidak bisa menjelaskan jawabannya, mengekstrak nilai, atau menulis teks bebas.
Demo: Membangun Pengklasifikasi Intent Perbankan
Dalam demo ini, kita akan membangun pengklasifikasi intent perbankan. Kita akan menggunakan split uji Banking77, dataset publik berisi pesan pelanggan yang diberi label dengan 77 intent, dan mempertahankan 12 intent yang mudah saling tertukar:
card_arrival dan card_delivery_estimate
pending_card_payment, declined_card_payment, dan card_payment_fee_charged
pending_transfer, transfer_not_received_by_recipient, dan balance_not_updated_after_bank_transfer
lost_or_stolen_card, card_not_working, exchange_rate, dan top_up_failed
Intent yang mirip membuat tugas menjadi lebih sulit, yang membuat skor keyakinan lebih menarik untuk dipelajari.
Kita akan menjalankan pengklasifikasi dengan kedua model dalam dua cara:
Satu pesan per permintaan: 180 pesan (15 per intent), dikirim ke masing-masing model satu per satu.
Banyak pertanyaan per permintaan: N pesan ditempatkan dalam satu input bersama, dengan satu pertanyaan per pesan, untuk N = 1, 5, 10, 25, 50, dan 100.
Berikut pengaturan yang kita samakan untuk kedua models:
Pengaturan
Nilai yang digunakan
Alasan
Model keputusan
gemini-decision-1
Model yang diuji
Model generatif
gemini-3.5-flash-lite
Baseline generatif hemat biaya yang digunakan dalam perbandingan posting peluncuran
Suhu Flash-Lite
0.0
Menghilangkan noise sampling dari baseline
Tingkat berpikir Flash-Lite
minimal
Menjaga perbandingan pada decoding, bukan penalaran
Format output
Skema JSON dengan enum berisi 12 label
Flash-Lite hanya dapat mengembalikan label yang valid
Deskripsi opsi
Satu kalimat pendek per intent
Kedua model melihat definisi label yang sama
Panggilan pemanasan
2 per model
Menghilangkan setup koneksi dari pengukuran
Pengulangan (banyak pertanyaan per permintaan)
3 per pengaturan
Kami melaporkan median, bukan satu kali run
Catatan: Ini adalah pengaturan kerja untuk demo ini, bukan pengaturan yang dituning untuk salah satu model.
Decisions API memiliki tier tanpa biaya di Google AI Studio untuk prototyping, jadi Anda bisa mencobanya sebelum membayar. Saya menjalankan demo ini di Colab, tetapi silakan gunakan lingkungan Python 3 apa pun.
Mari mulai dengan memasang paket:
!pip install-q-U"google-genai>=3.2" pandas matplotlibDidukung oleh
Di sini, google-genai adalah SDK Python Google untuk Gemini API. Ini memberi kita metode client.decisions.create dan client.interactions.create, yang mengirim permintaan ke Decisions API dan Interactions API. Kita menggunakan pandas untuk memuat dataset dan mengorganisasi hasil, serta matplotlib untuk membuat plot gambar.
Selanjutnya, kita membuat klien. Decisions API memerlukan versi API v1beta:
import os, time, json
import numpy as np
import pandas as pd
from google import genai
client = genai.Client(
api_key=os.environ["GEMINI_API_KEY"],
http_options={"api_version":"v1beta"},)
DECISION_MODEL ="gemini-decision-1"
GEN_MODEL ="gemini-3.5-flash-lite"Didukung oleh
Di sini, genai.Client() membaca kunci API dari GEMINI_API_KEY yang disetel di secrets Colab atau sebagai variabel lingkungan, dan http_options mengarahkannya ke API v1beta, tempat Decisions API berada.
Lalu kita akan memuat dataset Banking77 dan mendefinisikan 12 intent kita. Setiap intent mendapat deskripsi satu kalimat yang akan dilihat kedua model:
BANKING77_URL =("https://raw.githubusercontent.com/PolyAI-LDN/task-specific-datasets/master/banking_data/test.csv")
INTENTS ={"card_arrival":"The customer is asking where their new card is or why it has not arrived yet.","card_delivery_estimate":"The customer wants to know how long card delivery usually takes.","lost_or_stolen_card":"The customer's card was lost or stolen.",# ... 9 more intents}
LABELS =list(INTENTS)
df = pd.read_csv(BANKING77_URL)
df = df[df["category"].isin(LABELS)].reset_index(drop=True)
sample =(
df.groupby("category").sample(n=15, random_state=42).sample(frac=1, random_state=42).reset_index(drop=True))Didukung oleh
Cuplikan kode di atas mengunduh split uji Banking77 sebagai file CSV dan hanya mempertahankan baris yang berlabel dengan salah satu dari 12 intent kita. Lalu mengambil sampel 15 pesan per intent dengan seed acak tetap, sehingga Anda mendapatkan sampel yang sama pada setiap run. .sample(frac=1) terakhir mengacak baris sehingga intent bercampur.
Ini memberi kita 180 pesan, 15 per intent.
Langkah 2: Klasifikasikan dengan Decisions API
Pertanyaan choice menerima dictionary yang memetakan setiap ID opsi ke deskripsinya. Kita meneruskan pesan sebagai input dan menanyakan satu pertanyaan, berkunci intent:
defdecide_intent(text):
start = time.perf_counter()
result = client.decisions.create(
model=DECISION_MODEL,input=text,
questions={"intent":{"type":"choice","instructions":"Which intent best describes this banking customer message?","criteria": INTENTS,}},)
latency = time.perf_counter()- start
ans = result.answers["intent"]return{"pred": ans.choice,"confidence":float(ans.confidence),"probabilities":dict(ans.probabilities),"latency_s": latency,"input_tokens": result.usage.total_input_tokens,"output_tokens": result.usage.total_output_tokens,}Didukung oleh
Fungsi decide_intent() mengirim satu pesan sebagai input dan satu pertanyaan choice dengan 12 intent kita sebagai opsi. Kita mengukur waktu panggilan dengan time.perf_counter(), lalu membaca pilihan teratas, keyakinan, semua probabilitas opsi, dan jumlah token dari respons.
Setiap jawaban membawa tiga bidang:
choice: Opsi dengan probabilitas tertinggi
probabilities: Satu probabilitas per opsi, dijumlahkan menjadi 1
confidence: Perkiraan probabilitas bahwa jawaban teratas benar
Objek usage melaporkan token input, dan total_output_tokens selalu 0.
Berikut hasil untuk pesan pertama dalam sampel kita:
Model membingungkan dua intent yang serupa, tetapi keyakinannya sebesar 0,846 menunjukkan ketidakpastian. Bagian bagusnya adalah intent yang benar, card_arrival, berada di urutan kedua dengan hampir semua probabilitas yang tersisa (sekitar 0,15). Semua opsi lainnya mendekati nol.
Langkah 3: Klasifikasikan dengan Flash-Lite
Untuk baseline generatif, kita menggunakan output terstruktur dengan enum dari 12 label yang sama, sehingga Flash-Lite hanya dapat mengembalikan label yang valid. Kita juga meminta keyakinan antara 0 dan 1, yang merupakan cara sebagian besar aplikasi mendapatkan skor keyakinan dari model generatif:
LABEL_LIST ="\n".join(f"- {k}: {v}"for k, v in INTENTS.items())
GEN_SCHEMA ={"type":"object","properties":{"intent":{"type":"string","enum": LABELS},"confidence":{"type":"number"},},"required":["intent","confidence"],}defgenerate_intent(text):
prompt =("Which intent best describes this banking customer message?\n\n"f"Intents:\n{LABEL_LIST}\n\n"f"Message: {text}\n\n""Return the intent and your confidence from 0 to 1.")
start = time.perf_counter()
interaction = client.interactions.create(
model=GEN_MODEL,input=prompt,
response_format={"type":"text","mime_type":"application/json","schema": GEN_SCHEMA,},
generation_config={"temperature":0.0,"thinking_level":"minimal"},
store=False,)
latency = time.perf_counter()- start
parsed = json.loads(interaction.output_text)return{"pred": parsed["intent"],"confidence":float(parsed["confidence"]),"latency_s": latency,"input_tokens": interaction.usage.total_input_tokens,"output_tokens": interaction.usage.total_output_tokens,"thought_tokens": interaction.usage.total_thought_tokens,}Didukung oleh
Fungsi generate_intent() membangun prompt dengan 12 intent dan deskripsinya. Ia memanggil Flash-Lite dengan response_format yang disetel ke skema JSON kita, sehingga output harus berupa JSON valid dengan salah satu dari 12 label. Suhu disetel ke 0 dengan tingkat minimal agar jawaban stabil dan singkat. Kita lalu mengurai interaction.output_text dengan json.loads() dan membaca jumlah token dari interaction.usage.
Saya menguji pesan yang sama seperti pada langkah sebelumnya dengan Flash-Lite, dan ia membuat kesalahan yang sama dengan keyakinan lebih tinggi:
Token thinking adalah 0, yang menegaskan bahwa tingkat minimal membuat Flash-Lite hanya menulis jawaban. Flash-Lite menggunakan lebih sedikit token input daripada Decision 1 (277 vs 337) karena Decisions API menghitung deskripsi opsi di dalam pertanyaan sebagai input.
Langkah 4: Klasifikasikan satu pesan per permintaan
Sekarang, mari kirim semua 180 pesan ke kedua model, satu permintaan pada satu waktu, setelah dua panggilan pemanasan masing-masing:
rows =[]for i, r in sample.iterrows():for model_name, fn in(("decision", decide_intent),("generative", generate_intent)):
out = fn(r["text"])
rows.append({"model": model_name,"gold": r["category"],"pred": out["pred"],"confidence": out["confidence"],"latency_s": out["latency_s"],"input_tokens": out["input_tokens"],"output_tokens": out["output_tokens"],})
exp1 = pd.DataFrame(rows)
exp1["correct"]= exp1["pred"]== exp1["gold"]Didukung oleh
Loop ini mengirim setiap pesan ke kedua fungsi dan menyimpan prediksi, keyakinan, latensi, dan jumlah token sebagai satu baris. Lalu kita mengubah baris menjadi DataFrame dan menambahkan kolom "correct" yang menandai apakah setiap prediksi cocok dengan label sebenarnya.
Berikut hasilnya:
Metrik
Gemini Decision 1
Gemini 3.5 Flash-Lite
Akurasi
84,4%
83,9%
Latensi median
325 ms
1.068 ms
Latensi p90
412 ms
6.483 ms
Permintaan paling lambat
1,0 dtk
101,6 dtk
Permintaan di atas 5 dtk
0 dari 180
33 dari 180
Rata-rata token input
339
279
Rata-rata token output
0
25
Berikut tiga hal yang kita pelajari dari metrik ini:
Akurasi: Kedua model sama-sama akurat.
Latensi: Decision 1 sekitar 3x lebih cepat pada median dan jauh lebih konsisten, sementara Flash-Lite memiliki buntut panjang permintaan lambat.
Token: Decision 1 menggunakan lebih banyak token input karena deskripsi opsi dihitung sebagai input, tetapi tidak menghasilkan token output.
Catatan: Pengukuran waktu kami mencakup perjalanan jaringan dari Colab, jadi perlakukan celah itu sebagai hal yang bergantung pada setup.
Langkah 5: Cek kalibrasi
Akurasi memberi tahu seberapa sering model benar, tetapi kalibrasi memberi tahu apakah keyakinannya bermakna atau tidak. Sebuah model terkalibrasi dengan baik saat keyakinannya sesuai dengan akurasinya, yaitu, jika ia mengatakan 0,8 pada sekelompok jawaban, sekitar 80% di antaranya seharusnya benar.
Untuk mengukurnya, kita mengelompokkan prediksi ke dalam 10 bin keyakinan dan membandingkan rata-rata keyakinan tiap bin dengan akurasinya. Expected calibration error (ECE) adalah rata-rata kesenjangan, ditimbang dengan berapa banyak prediksi yang masuk ke tiap bin. Lebih rendah lebih baik.
defece(conf, correct, n_bins=10):
conf = np.asarray(conf, dtype=float)
correct = np.asarray(correct, dtype=float)
edges = np.linspace(0,1, n_bins +1)
ids = np.clip(np.digitize(conf, edges[1:-1]),0, n_bins -1)
total =0.0for b inrange(n_bins):
mask = ids == b
if mask.sum():
total += mask.mean()*abs(conf[mask].mean()- correct[mask].mean())return totalDidukung oleh
Fungsi ece() menempatkan setiap prediksi ke salah satu dari 10 bin berdasarkan keyakinannya (0 hingga 0,1, 0,1 hingga 0,2, dan seterusnya). Untuk setiap bin, fungsi mengambil selisih antara rata-rata keyakinan dan akurasi, menimbangnya dengan porsi prediksi dalam bin tersebut, dan menjumlahkan hasilnya.
Berikut perbandingan kedua model:
Metrik
Gemini Decision 1
Gemini 3.5 Flash-Lite
Akurasi
84,4%
83,9%
Rata-rata keyakinan
0,867
0,957
ECE
0,050
0,124
Rata-rata keyakinan saat benar
0,901
0,966
Rata-rata keyakinan saat salah
0,686
0,912
Gambar: Diagram reliabilitas untuk kedua model
Keyakinan Decision 1 dekat dengan akurasinya, dengan ECE 0,050. Keyakinannya juga jelas lebih rendah saat model salah (0,686) dibanding saat benar (0,901).
Flash-Lite terlalu percaya diri. Ia melaporkan rata-rata 0,957 sementara benar 83,9% dari waktu. Ia hanya menggunakan 9 nilai keyakinan berbeda di 180 jawaban, dan 158 di antaranya 0,95 atau lebih tinggi. Bahkan jawaban yang salah rata-ratanya 0,912. Angka itu terlihat seperti probabilitas, tetapi itu adalah perkiraan model yang ditulis sebagai teks.
Kalibrasi penting saat Anda bertindak berdasarkan skor. Pola umum adalah menerima jawaban di atas ambang keyakinan dan mengirim sisanya ke model fallback atau manusia:
Ambang
Decision 1: porsi yang dipertahankan
Decision 1: akurasi pada yang dipertahankan
Flash-Lite: porsi yang dipertahankan
Flash-Lite: akurasi pada yang dipertahankan
0,50
94,4%
85,9%
99,4%
84,4%
0,70
78,3%
92,2%
98,9%
84,3%
0,80
74,4%
93,3%
98,9%
84,3%
0,90
63,3%
95,6%
88,9%
87,5%
0,95
53,9%
96,9%
87,8%
87,3%
Dengan Decision 1, kenaikan ambang bekerja sebagaimana mestinya. Pada 0,9, ia mempertahankan 63% pesan dengan akurasi 95,6%. Dengan Flash-Lite, ambang nyaris tidak membantu, karena sebagian besar jawaban salahnya juga berkeyakinan tinggi. Dokumentasi resmi merekomendasikan memilih ambang dari contoh berlabel pada trafik Anda sendiri.
Langkah 6: Klasifikasikan 100 pesan dalam satu permintaan
Decisions API dapat menjawab hingga 1.000 pertanyaan tentang satu input bersama dalam satu permintaan. Untuk mengujinya, kita memasukkan N pesan pelanggan ke satu input dan menanyakan satu pertanyaan per pesan.
Untuk Decision 1, itu berarti N pertanyaan choice berkunci m1 hingga mN:
defbuild_batch(n):
msgs = pool.iloc[:n]
shared ="Banking customer messages:\n"+"".join(f"Message {i +1}: {t}\n"for i, t inenumerate(msgs["text"]))return shared,list(msgs["category"])defdecide_batch(n):
shared, gold = build_batch(n)
questions ={f"m{i +1}":{"type":"choice","instructions":f"Which intent best describes Message {i +1}?","criteria": INTENTS,}for i inrange(n)}
result = client.decisions.create(
model=DECISION_MODEL,input=shared, questions=questions
)
preds =[result.answers[f"m{i +1}"].choice for i inrange(n)]return preds, gold, result.usageDidukung oleh
Di sini, fungsi build_batch() memberi nomor pada N pesan pertama dan menggabungkannya ke dalam satu input bersama. Lalu decide_batch() membuat satu pertanyaan choice per pesan, berkunci m1 hingga mN, mengirim semuanya dalam satu permintaan, dan membaca kembali satu jawaban per kunci.
Untuk Flash-Lite, kita mengirim input bersama yang sama dengan skema JSON yang memiliki N field, masing-masing dibatasi pada 12 label. Setiap N menggunakan pesan yang sama untuk kedua model, dan setiap pengaturan dijalankan tiga kali.
Pertanyaan per permintaan
Decision 1: latensi median
Flash-Lite: latensi median
Decision 1: token input
Flash-Lite: token input / output
1
318 ms
888 ms
344
291 / 14
5
353 ms
858 ms
1.554
369 / 64
10
398 ms
1.063 ms
3.056
456 / 129
25
546 ms
2.753 ms
7.570
710 / 350
50
592 ms
Gagal
15.100
Gagal
100
59.095 ms
Gagal
30.309
Gagal
Hingga 25 pertanyaan, latensi median Decision 1 tetap di bawah 550 ms. Median Flash-Lite bertambah seiring N, dari di bawah 1 dtk pada 1 hingga 5 pertanyaan menjadi 2,75 dtk pada 25, karena ia harus menulis setiap jawaban sebagai token output. Bahkan pada 50 pertanyaan, median Decision 1 adalah 592 ms, meskipun salah satu dari tiga run memakan waktu 70 dtk.
Berikut dua poin kunci untuk dipertimbangkan:
Flash-Lite gagal pada 50 dan 100 pertanyaan: Baris "Gagal" pada tabel di atas semuanya adalah error 400 yang sama. Ini menunjukkan bahwa skema "memiliki terlalu banyak state untuk serving." Skema dengan 50 field atau lebih, masing-masing dibatasi 12 label, melebihi yang diterima API.
Decision 1 melambat pada 100 pertanyaan: Setiap pertanyaan mengulang semua 12 deskripsi opsi, sekitar 300 token per pertanyaan, sehingga permintaan mencapai 30.309 token, sementara klaim latensi datar Google mencakup konteks hingga 16K token.
Langkah 7: Pangkas permintaan
Sekarang, pertanyaan jelas muncul: bisakah kita memperbaiki perlambatan dan kegagalan? Untuk Decision 1, kita gunakan deskripsi opsi kosong (""). Untuk Flash-Lite, kita minta satu daftar berisi N label alih-alih N field terpisah:
# Decision 1: option IDs only, no descriptions"criteria":{k:""for k in LABELS}# Flash-Lite: one list field instead of N fields
schema ={"type":"object","properties":{"intents":{"type":"array","items":{"type":"string","enum": LABELS},"minItems": n,"maxItems": n,}},"required":["intents"],}Didukung oleh
Berikut hasil Decision 1 dengan deskripsi kosong:
Pertanyaan per permintaan
Latensi median
Akurasi
Token input
25
357 ms
84,0%
3.995
50
649 ms
78,0%
7.950
100
1.603 ms
83,0%
16.009
Menghapus deskripsi kira-kira memangkas separuh token input. Pada 100 pertanyaan, permintaan turun menjadi sekitar 16K token, dan latensi median turun dari 59 dtk menjadi 1,6 dtk. Akurasi sedikit turun pada 25 dan 50 pertanyaan, jadi deskripsi singkat adalah jalan tengah yang lebih baik daripada tanpa deskripsi, terutama untuk intent yang serupa.
Skema daftar tidak membantu model Flash-Lite. Ia bekerja pada 25 pertanyaan, tetapi tetap gagal pada 50 dan 100.
Langkah 8: Bandingkan biaya
Terakhir, kita hitung biaya dari jumlah token yang dikembalikan masing-masing API, menggunakan harga tier berbayar:
Model
Harga input per 1M token
Harga output per 1M token
Gemini Decision 1
$0,10
$0
Gemini 3.5 Flash-Lite
$0,30
$2,50 (termasuk token thinking)
defcost_per_request(model, input_tokens, output_tokens, thought_tokens):if model =="decision":return input_tokens *0.10/1e6return(input_tokens *0.30+(output_tokens + thought_tokens)*2.50)/1e6Didukung oleh
Fungsi cost_per_request() mengalikan setiap jumlah token dengan harga per 1M token. Untuk Decision 1, hanya token input yang dihitung. Untuk Flash-Lite, token thinking ditagihkan dengan harga output, jadi kita menambahkannya ke token output.
Berikut biaya per 1.000 permintaan untuk setiap setup:
Setup
Gemini Decision 1
Gemini 3.5 Flash-Lite
Flash-Lite / Decision 1
1 pesan per permintaan
$0,034
$0,147
4,3x
5 pertanyaan per permintaan
$0,155
$0,271
1,7x
10 pertanyaan per permintaan
$0,306
$0,459
1,5x
25 pertanyaan per permintaan
$0,757
$1,088
1,4x
25 pertanyaan, setup dipangkas (Langkah 7)
$0,400
$0,831
2,1x
50 pertanyaan per permintaan
$1,510
Gagal
n/a
100 pertanyaan, deskripsi kosong
$1,601
Gagal
n/a
Pada pesan tunggal, Decision 1 4,3x lebih murah, tetapi kesenjangan menyempit saat Anda membundel lebih banyak pertanyaan dalam satu permintaan. Input bersama ditagihkan sekali di kedua API. Namun setiap pertanyaan Decision 1 membawa instruksinya sendiri dan semua 12 deskripsi opsi, sementara Flash-Lite melihat daftar label hanya sekali dan membayar output singkat per jawaban. Pada 25 pertanyaan, Decision 1 menggunakan 7.570 token input dibanding 710 token input dan 350 token output Flash-Lite.
Catatan: Decisions API tidak mendukung context caching atau Batch API. Jika Anda mengirim input yang sama dalam beberapa permintaan, itu ditagihkan penuh setiap kali. Jadi ketika Anda memiliki banyak pertanyaan tentang input yang sama, ajukan dalam satu permintaan alih-alih menyebarkannya di beberapa panggilan.
Kapan Menggunakan Masing-Masing Pendekatan
Berdasarkan run di atas, model keputusan lebih cocok ketika:
Jawaban berasal dari set opsi tetap, seperti intent, rute, alat, atau label kebijakan
Keputusan berada di jalur permintaan, tempat setiap pengguna menunggunya
Anda ingin bertindak berdasarkan keyakinan, misalnya, dengan mengirim kasus yang tidak jelas ke fallback atau manusia
Anda perlu menanyakan banyak pertanyaan independen tentang input yang sama dalam satu permintaan
Model generatif tetap lebih cocok ketika:
Anda memerlukan penjelasan, nilai yang diekstrak, atau teks bebas apa pun
Set kemungkinan jawaban terbuka atau berubah per permintaan
Anda sudah melakukan panggilan generatif pada input tersebut dan dapat menambahkan klasifikasi ke dalamnya
Gunakan Decisions API saat Anda memerlukan
Gunakan Interactions API saat Anda memerlukan
Probabilitas ya/tidak, satu opsi dari set tetap, atau penilaian pada skala tetap
Teks terhasilkan, ringkasan, atau penjelasan
Probabilitas terkalibrasi yang dapat Anda beri ambang
Nilai atau objek yang diekstrak sesuai skema JSON Anda sendiri
Banyak pemeriksaan independen atas input yang sama dalam satu panggilan
Panggilan alat dengan argumen
Latensi rendah dan tanpa biaya token output
Penalaran multi-langkah
Pikiran Penutup
Dalam tutorial ini, kita membangun pengklasifikasi intent perbankan dengan Gemini Decision 1 dan Gemini 3.5 Flash-Lite, lalu menghitung akurasi, latensi, kalibrasi, dan biaya untuk membandingkan kedua model. Berikut empat hal yang dapat diambil dari tutorial ini:
Akurasi seri: 84,4% untuk Decision 1 dan 83,9% untuk Flash-Lite, dengan vonis yang sama pada 163 dari 180 pesan.
Decision 1 lebih cepat dan lebih prediktabel: Median latensinya 325 ms vs 1.068 ms, dan permintaan paling lambatnya 1,0 dtk vs 101,6 dtk.
Keyakinan Decision 1 dapat digunakan: ECE-nya 0,050 vs 0,124, dan menaikkan ambang ke 0,9 meningkatkan akurasi jawaban yang dipertahankan dari 84,4% menjadi 95,6%. Keyakinan yang dilaporkan sendiri oleh Flash-Lite nyaris tidak membedakan jawaban benar dari yang salah.
Biaya dan skala bergantung pada cara Anda menulis pertanyaan: Decision 1 4,3x lebih murah pada pesan tunggal, tetapi setiap pertanyaan membayar deskripsi opsinya. Jadi, jaga total input di bawah sekitar 16K token dan buat deskripsi opsi singkat.
Hasil ini berasal dari satu tugas, satu dataset, dan sejumlah kecil run dari notebook Colab. Anggaplah sebagai observasi dari sebuah demo, bukan klaim performa umum.
Saya adalah Google Developers Expert di ML (Gen AI), Kaggle 3x Expert, dan Women Techmakers Ambassador dengan pengalaman lebih dari 3 tahun di bidang teknologi. Saya ikut mendirikan startup health-tech pada 2020 dan sedang menempuh studi magister ilmu komputer di Georgia Tech dengan spesialisasi machine learning.
FAQs
Apa perbedaan antara Decisions API dan API generatif?⌄
API generatif menulis jawabannya token demi token dan menagih setiap token output. Decisions API memberi skor pada satu set opsi tetap dalam satu forward pass dan mengembalikan probabilitas untuk masing-masing. Ia tidak menghasilkan token output, jadi Anda hanya membayar input.
Apakah Gemini Decision 1 lebih akurat daripada Gemini 3.5 Flash-Lite?⌄
Tidak dalam pengujian kami. Pada 180 pesan perbankan, akurasi 84,4% untuk Decision 1 dan 83,9% untuk Flash-Lite. Perbedaan yang kami ukur ada pada latensi, kalibrasi, dan biaya.
Mengapa Decision 1 menggunakan lebih banyak token input daripada Flash-Lite?⌄
Instruksi setiap pertanyaan dan deskripsi opsi dihitung sebagai input. Dengan 12 opsi yang dideskripsikan, itu menambah sekitar 300 token per pertanyaan dalam pengujian kami. Deskripsi opsi yang singkat atau kosong menguranginya.
Apakah latensi tetap datar saat saya menambah pertanyaan?⌄
Dalam run kami, median tetap di bawah 650 ms hingga 50 pertanyaan. Pada 100 pertanyaan dengan deskripsi opsi penuh, permintaan mencapai sekitar 30K token dan memakan waktu 48 hingga 59 dtk. Dengan deskripsi kosong, 100 pertanyaan yang sama muat dalam sekitar 16K token dan memakan waktu 1,6 dtk.
Tipe pertanyaan apa yang didukung Decisions API?⌄
Decisions API mendukung tiga tipe pertanyaan, termasuk noul untuk cek ya/tidak, choice untuk memilih satu opsi dari 2 hingga 255, dan score untuk penilaian pada rubrik berurutan. Anda bisa mencampur ketiganya dalam satu permintaan.
Temukan alasan mengapa Anda sebaiknya (tidak) menggunakan spaghetti plot untuk menyampaikan ketidakpastian jalur prediksi badai serta dampaknya terhadap interpretasi.
Kuasai pertanyaan wawancara basis data, dari konsep SQL dasar hingga skenario desain sistem tingkat lanjut. Panduan mendalam ini mencakup semua yang Anda perlukan untuk sukses di wawancara DBMS dan meraih peran berikutnya.
Analyze data smarter with Gemini in Google Sheets. Use AI-powered insights, formula suggestions, and automation to simplify spreadsheets and boost productivity.
Sebagian besar aplikasi LLM dipenuhi keputusan kecil: Alat mana yang harus dipanggil agen? Model mana yang harus menangani kueri ini? Apakah pesan ini melanggar kebijakan?
Saat ini, banyak tim menjawab pertanyaan-pertanyaan ini dengan meminta model generatif menulis jawaban sebagai teks, lalu mengurai teks tersebut untuk membuat keputusan.
Gemini Decisions API dari Google mengambil pendekatan berbeda. Ia menggunakan model Gemini Decision 1 untuk memberi skor pada satu set opsi tetap dalam satu forward pass dan mengembalikan probabilitas untuk setiap opsi, tanpa penagihan token output.
Dalam tutorial ini, kita akan menjalankan tugas klasifikasi intent yang sama pada dua pengaturan:
Kita akan membandingkan keduanya pada akurasi, latensi, penggunaan token, biaya, dan kalibrasi, lalu mendorong keduanya dari 1 menjadi 100 pertanyaan dalam satu permintaan.
Di akhir tutorial ini, Anda akan tahu cara:
Memanggil Decisions API dengan pertanyaan
choicedan membaca probabilitas serta skor keyakinannyaMembangun baseline generatif dengan Interactions API dan skema JSON
Mengukur latensi, penggunaan token, dan biaya untuk kedua pendekatan
Memeriksa apakah keyakinan model dapat dipercaya, menggunakan diagram reliabilitas dan expected calibration error (ECE)
Menentukan kapan model keputusan lebih cocok untuk aplikasi Anda dibandingkan model generatif
Anda dapat menjalankan kode lengkapnya di Google Colab.
Model Keputusan vs. Model Generatif
Sebelum melihat cara kerjanya, mari kita definisikan kedua istilah tersebut.
Berikut contoh.
Seorang nasabah menulis ke bank: "Kartu saya belum datang. Kapan akan tiba?"
Jika Anda bertanya pada model generatif, "Apa yang diinginkan nasabah ini?", ia mungkin menjawab:
“Nasabah menunggu kartu baru dan ingin tahu kapan akan tiba.”
Itu jawaban yang bagus untuk dibaca manusia. Namun jika aplikasi Anda perlu merutekan pesan ke tim yang tepat, kode Anda sekarang harus mengubah kalimat itu menjadi label. Anda bisa memaksa label dengan skema JSON, tetapi model tetap menulisnya token demi token.
Namun, jika Anda bertanya pada model keputusan hal yang sama, pertama-tama Anda memberinya opsi, seperti
card_arrival,lost_or_stolen_card, danexchange_rate. Ia mengembalikan probabilitas untuk masing-masing:Kode Anda kemudian dapat bertindak langsung berdasarkan probabilitas tersebut dengan merutekan ke tim kartu jika
card_arrivaldi atas ambang batas, dan mengirimkannya ke manusia jika tidak. Singkatnya:Model generatif
Model keputusan
Mengembalikan
Teks yang ditulisnya
Probabilitas untuk setiap opsi yang Anda tentukan
Jawaban yang mungkin
Terbuka
Set tetap
Cocok untuk
Jawaban, ringkasan, penjelasan, dan ekstraksi
Perutean, pemilihan alat, pemeriksaan kebijakan, dan penilaian
Dalam praktiknya, banyak aplikasi menggunakan model generatif untuk kedua tugas. Itulah yang akan kita uji di bagian berikut: apakah model keputusan melakukan bagian klasifikasi lebih baik daripada model generatif.
Saat Anda menggunakan model generatif sebagai pengklasifikasi, ia menulis jawaban satu token pada satu waktu. Untuk jawaban JSON seperti milik kita, output terlihat seperti ini saat dihasilkan:
Setiap token adalah langkah decoding terpisah, dan setiap token output ditagihkan. Jika Anda menginginkan skor keyakinan, model juga harus menulis angka itu. Angka tersebut adalah tebakan model tentang dirinya sendiri, bukan probabilitas yang diukur dari internalnya.
Namun model keputusan melewati langkah penulisan ini. Anda memberikan opsi di awal, dan ia memberi skor semuanya terhadap input dalam satu forward pass. Hasilnya adalah probabilitas untuk setiap opsi:
Ini mengubah tiga hal yang dapat Anda ukur:
Komprominya adalah Anda hanya dapat menanyakan pertanyaan set tertutup. Model keputusan tidak bisa menjelaskan jawabannya, mengekstrak nilai, atau menulis teks bebas.
Demo: Membangun Pengklasifikasi Intent Perbankan
Dalam demo ini, kita akan membangun pengklasifikasi intent perbankan. Kita akan menggunakan split uji Banking77, dataset publik berisi pesan pelanggan yang diberi label dengan 77 intent, dan mempertahankan 12 intent yang mudah saling tertukar:
card_arrivaldancard_delivery_estimatepending_card_payment,declined_card_payment, dancard_payment_fee_chargedpending_transfer,transfer_not_received_by_recipient, danbalance_not_updated_after_bank_transferlost_or_stolen_card,card_not_working,exchange_rate, dantop_up_failedIntent yang mirip membuat tugas menjadi lebih sulit, yang membuat skor keyakinan lebih menarik untuk dipelajari.
Kita akan menjalankan pengklasifikasi dengan kedua model dalam dua cara:
Berikut pengaturan yang kita samakan untuk kedua models:
Pengaturan
Nilai yang digunakan
Alasan
Model keputusan
gemini-decision-1Model yang diuji
Model generatif
gemini-3.5-flash-liteBaseline generatif hemat biaya yang digunakan dalam perbandingan posting peluncuran
Suhu Flash-Lite
0.0
Menghilangkan noise sampling dari baseline
Tingkat berpikir Flash-Lite
minimalMenjaga perbandingan pada decoding, bukan penalaran
Format output
Skema JSON dengan
enumberisi 12 labelFlash-Lite hanya dapat mengembalikan label yang valid
Deskripsi opsi
Satu kalimat pendek per intent
Kedua model melihat definisi label yang sama
Panggilan pemanasan
2 per model
Menghilangkan setup koneksi dari pengukuran
Pengulangan (banyak pertanyaan per permintaan)
3 per pengaturan
Kami melaporkan median, bukan satu kali run
Catatan: Ini adalah pengaturan kerja untuk demo ini, bukan pengaturan yang dituning untuk salah satu model.
Langkah 1: Prasyarat dan penyiapan
Untuk mengikuti, Anda memerlukan:
Kunci API Gemini dari Google AI Studio
Notebook Colab (atau lingkungan Python 3 apa pun)
google-genaiversi 3.2 atau yang lebih baruDecisions API memiliki tier tanpa biaya di Google AI Studio untuk prototyping, jadi Anda bisa mencobanya sebelum membayar. Saya menjalankan demo ini di Colab, tetapi silakan gunakan lingkungan Python 3 apa pun.
Mari mulai dengan memasang paket:
Di sini,
google-genaiadalah SDK Python Google untuk Gemini API. Ini memberi kita metodeclient.decisions.createdanclient.interactions.create, yang mengirim permintaan ke Decisions API dan Interactions API. Kita menggunakanpandasuntuk memuat dataset dan mengorganisasi hasil, sertamatplotlibuntuk membuat plot gambar.Selanjutnya, kita membuat klien. Decisions API memerlukan versi API v1beta:
Di sini,
genai.Client()membaca kunci API dariGEMINI_API_KEYyang disetel di secrets Colab atau sebagai variabel lingkungan, danhttp_optionsmengarahkannya ke API v1beta, tempat Decisions API berada.Lalu kita akan memuat dataset Banking77 dan mendefinisikan 12 intent kita. Setiap intent mendapat deskripsi satu kalimat yang akan dilihat kedua model:
Cuplikan kode di atas mengunduh split uji Banking77 sebagai file CSV dan hanya mempertahankan baris yang berlabel dengan salah satu dari 12 intent kita. Lalu mengambil sampel 15 pesan per intent dengan seed acak tetap, sehingga Anda mendapatkan sampel yang sama pada setiap run.
.sample(frac=1)terakhir mengacak baris sehingga intent bercampur.Ini memberi kita 180 pesan, 15 per intent.
Langkah 2: Klasifikasikan dengan Decisions API
Pertanyaan
choicemenerima dictionary yang memetakan setiap ID opsi ke deskripsinya. Kita meneruskan pesan sebagaiinputdan menanyakan satu pertanyaan, berkunciintent:Fungsi
decide_intent()mengirim satu pesan sebagaiinputdan satu pertanyaanchoicedengan 12 intent kita sebagai opsi. Kita mengukur waktu panggilan dengantime.perf_counter(), lalu membaca pilihan teratas, keyakinan, semua probabilitas opsi, dan jumlah token dari respons.Setiap jawaban membawa tiga bidang:
choice: Opsi dengan probabilitas tertinggiprobabilities: Satu probabilitas per opsi, dijumlahkan menjadi 1confidence: Perkiraan probabilitas bahwa jawaban teratas benarObjek
usagemelaporkan token input, dantotal_output_tokensselalu 0.Berikut hasil untuk pesan pertama dalam sampel kita:
Model membingungkan dua intent yang serupa, tetapi keyakinannya sebesar 0,846 menunjukkan ketidakpastian. Bagian bagusnya adalah intent yang benar,
card_arrival, berada di urutan kedua dengan hampir semua probabilitas yang tersisa (sekitar 0,15). Semua opsi lainnya mendekati nol.Langkah 3: Klasifikasikan dengan Flash-Lite
Untuk baseline generatif, kita menggunakan output terstruktur dengan
enumdari 12 label yang sama, sehingga Flash-Lite hanya dapat mengembalikan label yang valid. Kita juga meminta keyakinan antara 0 dan 1, yang merupakan cara sebagian besar aplikasi mendapatkan skor keyakinan dari model generatif:Fungsi
generate_intent()membangun prompt dengan 12 intent dan deskripsinya. Ia memanggil Flash-Lite denganresponse_formatyang disetel ke skema JSON kita, sehingga output harus berupa JSON valid dengan salah satu dari 12 label. Suhu disetel ke0dengan tingkatminimalagar jawaban stabil dan singkat. Kita lalu menguraiinteraction.output_textdenganjson.loads()dan membaca jumlah token dariinteraction.usage.Saya menguji pesan yang sama seperti pada langkah sebelumnya dengan Flash-Lite, dan ia membuat kesalahan yang sama dengan keyakinan lebih tinggi:
Token thinking adalah 0, yang menegaskan bahwa tingkat
minimalmembuat Flash-Lite hanya menulis jawaban. Flash-Lite menggunakan lebih sedikit token input daripada Decision 1 (277 vs 337) karena Decisions API menghitung deskripsi opsi di dalam pertanyaan sebagai input.Langkah 4: Klasifikasikan satu pesan per permintaan
Sekarang, mari kirim semua 180 pesan ke kedua model, satu permintaan pada satu waktu, setelah dua panggilan pemanasan masing-masing:
Loop ini mengirim setiap pesan ke kedua fungsi dan menyimpan prediksi, keyakinan, latensi, dan jumlah token sebagai satu baris. Lalu kita mengubah baris menjadi DataFrame dan menambahkan kolom "correct" yang menandai apakah setiap prediksi cocok dengan label sebenarnya.
Berikut hasilnya:
Metrik
Gemini Decision 1
Gemini 3.5 Flash-Lite
Akurasi
84,4%
83,9%
Latensi median
325 ms
1.068 ms
Latensi p90
412 ms
6.483 ms
Permintaan paling lambat
1,0 dtk
101,6 dtk
Permintaan di atas 5 dtk
0 dari 180
33 dari 180
Rata-rata token input
339
279
Rata-rata token output
0
25
Berikut tiga hal yang kita pelajari dari metrik ini:
Catatan: Pengukuran waktu kami mencakup perjalanan jaringan dari Colab, jadi perlakukan celah itu sebagai hal yang bergantung pada setup.
Langkah 5: Cek kalibrasi
Akurasi memberi tahu seberapa sering model benar, tetapi kalibrasi memberi tahu apakah keyakinannya bermakna atau tidak. Sebuah model terkalibrasi dengan baik saat keyakinannya sesuai dengan akurasinya, yaitu, jika ia mengatakan 0,8 pada sekelompok jawaban, sekitar 80% di antaranya seharusnya benar.
Untuk mengukurnya, kita mengelompokkan prediksi ke dalam 10 bin keyakinan dan membandingkan rata-rata keyakinan tiap bin dengan akurasinya. Expected calibration error (ECE) adalah rata-rata kesenjangan, ditimbang dengan berapa banyak prediksi yang masuk ke tiap bin. Lebih rendah lebih baik.
Fungsi
ece()menempatkan setiap prediksi ke salah satu dari 10 bin berdasarkan keyakinannya (0 hingga 0,1, 0,1 hingga 0,2, dan seterusnya). Untuk setiap bin, fungsi mengambil selisih antara rata-rata keyakinan dan akurasi, menimbangnya dengan porsi prediksi dalam bin tersebut, dan menjumlahkan hasilnya.Berikut perbandingan kedua model:
Metrik
Gemini Decision 1
Gemini 3.5 Flash-Lite
Akurasi
84,4%
83,9%
Rata-rata keyakinan
0,867
0,957
ECE
0,050
0,124
Rata-rata keyakinan saat benar
0,901
0,966
Rata-rata keyakinan saat salah
0,686
0,912
Gambar: Diagram reliabilitas untuk kedua model
Keyakinan Decision 1 dekat dengan akurasinya, dengan ECE 0,050. Keyakinannya juga jelas lebih rendah saat model salah (0,686) dibanding saat benar (0,901).
Flash-Lite terlalu percaya diri. Ia melaporkan rata-rata 0,957 sementara benar 83,9% dari waktu. Ia hanya menggunakan 9 nilai keyakinan berbeda di 180 jawaban, dan 158 di antaranya 0,95 atau lebih tinggi. Bahkan jawaban yang salah rata-ratanya 0,912. Angka itu terlihat seperti probabilitas, tetapi itu adalah perkiraan model yang ditulis sebagai teks.
Kalibrasi penting saat Anda bertindak berdasarkan skor. Pola umum adalah menerima jawaban di atas ambang keyakinan dan mengirim sisanya ke model fallback atau manusia:
Ambang
Decision 1: porsi yang dipertahankan
Decision 1: akurasi pada yang dipertahankan
Flash-Lite: porsi yang dipertahankan
Flash-Lite: akurasi pada yang dipertahankan
0,50
94,4%
85,9%
99,4%
84,4%
0,70
78,3%
92,2%
98,9%
84,3%
0,80
74,4%
93,3%
98,9%
84,3%
0,90
63,3%
95,6%
88,9%
87,5%
0,95
53,9%
96,9%
87,8%
87,3%
Dengan Decision 1, kenaikan ambang bekerja sebagaimana mestinya. Pada 0,9, ia mempertahankan 63% pesan dengan akurasi 95,6%. Dengan Flash-Lite, ambang nyaris tidak membantu, karena sebagian besar jawaban salahnya juga berkeyakinan tinggi. Dokumentasi resmi merekomendasikan memilih ambang dari contoh berlabel pada trafik Anda sendiri.
Langkah 6: Klasifikasikan 100 pesan dalam satu permintaan
Decisions API dapat menjawab hingga 1.000 pertanyaan tentang satu input bersama dalam satu permintaan. Untuk mengujinya, kita memasukkan N pesan pelanggan ke satu input dan menanyakan satu pertanyaan per pesan.
Untuk Decision 1, itu berarti N pertanyaan
choiceberkuncim1hinggamN:Di sini, fungsi
build_batch()memberi nomor pada N pesan pertama dan menggabungkannya ke dalam satu input bersama. Laludecide_batch()membuat satu pertanyaanchoiceper pesan, berkuncim1hinggamN, mengirim semuanya dalam satu permintaan, dan membaca kembali satu jawaban per kunci.Untuk Flash-Lite, kita mengirim input bersama yang sama dengan skema JSON yang memiliki N field, masing-masing dibatasi pada 12 label. Setiap N menggunakan pesan yang sama untuk kedua model, dan setiap pengaturan dijalankan tiga kali.
Pertanyaan per permintaan
Decision 1: latensi median
Flash-Lite: latensi median
Decision 1: token input
Flash-Lite: token input / output
1
318 ms
888 ms
344
291 / 14
5
353 ms
858 ms
1.554
369 / 64
10
398 ms
1.063 ms
3.056
456 / 129
25
546 ms
2.753 ms
7.570
710 / 350
50
592 ms
Gagal
15.100
Gagal
100
59.095 ms
Gagal
30.309
Gagal
Hingga 25 pertanyaan, latensi median Decision 1 tetap di bawah 550 ms. Median Flash-Lite bertambah seiring N, dari di bawah 1 dtk pada 1 hingga 5 pertanyaan menjadi 2,75 dtk pada 25, karena ia harus menulis setiap jawaban sebagai token output. Bahkan pada 50 pertanyaan, median Decision 1 adalah 592 ms, meskipun salah satu dari tiga run memakan waktu 70 dtk.
Berikut dua poin kunci untuk dipertimbangkan:
Langkah 7: Pangkas permintaan
Sekarang, pertanyaan jelas muncul: bisakah kita memperbaiki perlambatan dan kegagalan? Untuk Decision 1, kita gunakan deskripsi opsi kosong (""). Untuk Flash-Lite, kita minta satu daftar berisi N label alih-alih N field terpisah:
Berikut hasil Decision 1 dengan deskripsi kosong:
Pertanyaan per permintaan
Latensi median
Akurasi
Token input
25
357 ms
84,0%
3.995
50
649 ms
78,0%
7.950
100
1.603 ms
83,0%
16.009
Menghapus deskripsi kira-kira memangkas separuh token input. Pada 100 pertanyaan, permintaan turun menjadi sekitar 16K token, dan latensi median turun dari 59 dtk menjadi 1,6 dtk. Akurasi sedikit turun pada 25 dan 50 pertanyaan, jadi deskripsi singkat adalah jalan tengah yang lebih baik daripada tanpa deskripsi, terutama untuk intent yang serupa.
Skema daftar tidak membantu model Flash-Lite. Ia bekerja pada 25 pertanyaan, tetapi tetap gagal pada 50 dan 100.
Langkah 8: Bandingkan biaya
Terakhir, kita hitung biaya dari jumlah token yang dikembalikan masing-masing API, menggunakan harga tier berbayar:
Model
Harga input per 1M token
Harga output per 1M token
Gemini Decision 1
$0,10
$0
Gemini 3.5 Flash-Lite
$0,30
$2,50 (termasuk token thinking)
Fungsi
cost_per_request()mengalikan setiap jumlah token dengan harga per 1M token. Untuk Decision 1, hanya token input yang dihitung. Untuk Flash-Lite, token thinking ditagihkan dengan harga output, jadi kita menambahkannya ke token output.Berikut biaya per 1.000 permintaan untuk setiap setup:
Setup
Gemini Decision 1
Gemini 3.5 Flash-Lite
Flash-Lite / Decision 1
1 pesan per permintaan
$0,034
$0,147
4,3x
5 pertanyaan per permintaan
$0,155
$0,271
1,7x
10 pertanyaan per permintaan
$0,306
$0,459
1,5x
25 pertanyaan per permintaan
$0,757
$1,088
1,4x
25 pertanyaan, setup dipangkas (Langkah 7)
$0,400
$0,831
2,1x
50 pertanyaan per permintaan
$1,510
Gagal
n/a
100 pertanyaan, deskripsi kosong
$1,601
Gagal
n/a
Pada pesan tunggal, Decision 1 4,3x lebih murah, tetapi kesenjangan menyempit saat Anda membundel lebih banyak pertanyaan dalam satu permintaan. Input bersama ditagihkan sekali di kedua API. Namun setiap pertanyaan Decision 1 membawa instruksinya sendiri dan semua 12 deskripsi opsi, sementara Flash-Lite melihat daftar label hanya sekali dan membayar output singkat per jawaban. Pada 25 pertanyaan, Decision 1 menggunakan 7.570 token input dibanding 710 token input dan 350 token output Flash-Lite.
Catatan: Decisions API tidak mendukung context caching atau Batch API. Jika Anda mengirim input yang sama dalam beberapa permintaan, itu ditagihkan penuh setiap kali. Jadi ketika Anda memiliki banyak pertanyaan tentang input yang sama, ajukan dalam satu permintaan alih-alih menyebarkannya di beberapa panggilan.
Kapan Menggunakan Masing-Masing Pendekatan
Berdasarkan run di atas, model keputusan lebih cocok ketika:
Model generatif tetap lebih cocok ketika:
Gunakan Decisions API saat Anda memerlukan
Gunakan Interactions API saat Anda memerlukan
Probabilitas ya/tidak, satu opsi dari set tetap, atau penilaian pada skala tetap
Teks terhasilkan, ringkasan, atau penjelasan
Probabilitas terkalibrasi yang dapat Anda beri ambang
Nilai atau objek yang diekstrak sesuai skema JSON Anda sendiri
Banyak pemeriksaan independen atas input yang sama dalam satu panggilan
Panggilan alat dengan argumen
Latensi rendah dan tanpa biaya token output
Penalaran multi-langkah
Pikiran Penutup
Dalam tutorial ini, kita membangun pengklasifikasi intent perbankan dengan Gemini Decision 1 dan Gemini 3.5 Flash-Lite, lalu menghitung akurasi, latensi, kalibrasi, dan biaya untuk membandingkan kedua model. Berikut empat hal yang dapat diambil dari tutorial ini:
Hasil ini berasal dari satu tugas, satu dataset, dan sejumlah kecil run dari notebook Colab. Anggaplah sebagai observasi dari sebuah demo, bukan klaim performa umum.