Azure OpenAI: Panduan Langkah demi Langkah untuk Memulai

Menyiapkan Azure OpenAI

Di bagian ini, saya menunjukkan cara menyiapkan Azure OpenAI. Saya berasumsi Anda memiliki sedikit pengalaman menggunakan Azure. 

Perlu dicatat bahwa antarmuka pengguna sering berubah. Jadi, tata letak dan teks berbagai bagian dan judul dalam instruksi serta tangkapan layar dapat berubah dari waktu ke waktu atau antarwilayah.

Langkah 1: Buat akun Azure

Kunjungi halaman utama Azure OpenAI dan pilih Sign in di kanan atas. Masuk dengan akun Microsoft Anda. Jika Anda belum memiliki akun Microsoft, pilih opsi untuk membuat akun baru di halaman Sign-in dan buat akun Microsoft. 

Lalu, buat akun Azure dengan mengikuti langkah-langkah berikut:

1. Masuk menggunakan akun Microsoft Anda di Azure Portal. Pilih opsi Start with an Azure free trial. 

Microsoft Azure Portal.

2. Di halaman berikutnya, pilih opsi untuk membuat Azure free account dengan kredit gratis $200.

Pilih jenis akun Azure.

3. Isi informasi pribadi Anda pada formulir.

Buat akun Azure gratis.

4. Verifikasi identitas Anda menggunakan kartu kredit atau debit. Perhatikan bahwa mungkin ada biaya penahanan sementara (biasanya beberapa sen atau setara) yang didebet dari akun Anda. 

Verifikasi akun Azure Anda (tangkapan layar oleh penulis) 

5. Setelah memverifikasi informasi pembayaran Anda, pilih Go to Azure Portal. Anda akan diarahkan ke Quickstart Center.
6. Perhatikan bahwa kredit gratis $200 tidak dapat digunakan untuk layanan Azure OpenAI. Model Azure OpenAI hanya dapat diakses dengan akun berbayar. Untuk meningkatkan akun Anda ke langganan pay-as-you-go, kembali ke portal Azure dan pilih Upgrade pada bilah atas. 

Tingkatkan akun Azure Anda.

7. Isi detail pada halaman upgrade dan pilih Upgrade to pay as you go.

Setelah meningkatkan ke akun berbayar, Anda dapat mengakses model OpenAI. 

Langkah 2: Akses Azure OpenAI di portal Azure

1. Kembali ke portal Azure, yang menampilkan berbagai layanan, seperti layanan AI, mesin virtual, akun penyimpanan, dan lainnya. 

Portal Azure menampilkan layanan yang tersedia.

2. Pilih Azure AI services dan buka halaman utama layanan AI. Azure menawarkan berbagai layanan berbasis AI, seperti pengenalan wajah, deteksi anomali, suara, penglihatan komputer, OpenAI, dan lainnya. 

Layanan AI Azure.

3. Pada tab Azure OpenAI account, pilih opsi View. 
4. Ini akan membuka halaman Azure OpenAI, yang menampilkan daftar instance OpenAI pada akun Anda. Pilih Create Azure OpenAI untuk membuat instance baru. Anda juga dapat memilih Create di halaman sebelumnya. 
5. Masukkan detail berikut:
• Di bawah Subscription, pilih nama langganan berbayar Anda.
• Di bawah Resource group, pilih Create new:
• Masukkan nama untuk resource group baru. 

Buat instance Azure OpenAI baru.

• • • Di bagian Region, pilih wilayah terdekat.
    • Di bawah Name, masukkan nama unik. 
    • Di bawah Pricing tier, pilih Standard S0.
    • Pilih Next untuk melanjutkan.

6. Di bagian Network, pilih "All networks, including the Internet, can access this resource." Lalu, lanjutkan ke langkah berikutnya.
7. Di bagian Tags, masukkan pasangan name-value untuk mengkategorikan instance ini. Ini membantu pada penagihan terpusat. Langkah ini opsional. 
8. Di bagian berikutnya, pilih Review + submit, periksa kembali nilainya, lalu pilih Create. Ini akan menyebarkan instance OpenAI baru. 
9. Setelah beberapa saat, akan muncul pesan "Your deployment is complete." Pada halaman ini, pilih Go to resource. 
10. Di halaman resource, pilih nama resource pada tab Resources. 

Langkah 3: Menyiapkan akses API

Halaman resource menampilkan detail instance. 

Tab Develop menampilkan kunci API dan URL endpoint API untuk instance ini. Kunci telah dibuat otomatis untuk Anda. 

• Salin kunci dan endpoint ke dalam berkas teks.

Anda mendapatkan dua kunci API. Ini memungkinkan Anda menggunakan kunci kedua jika kunci pertama terkompromi. Anda juga dapat menggunakan kunci kedua saat meregenerasi kunci pertama. Dengan demikian, Anda dapat merotasi kunci secara berkala tanpa mengalami downtime. 

Kunci API instance Azure OpenAI

• Pada tab Monitor, periksa metrik penggunaan untuk instance ini. 
• Pada tab Get Started, pilih Explore Azure AI Foundry portal untuk membuka AI playground pada halaman baru. 

Azure OpenAI chat playground.

• Pilih Chat playground dari menu sebelah kiri. 
• Di bawah Deployment, pilih Create new dep.
• Pilih From base models pada pop-up deployment baru
• Ini akan menampilkan pop-up yang memungkinkan Anda memilih model. 
• Di bilah pencarian, ketik “gpt-3”. 
• Pilih gpt-35-turbo dari daftar. Ini adalah model ekonomis yang dioptimalkan untuk chat completions. Setelah mendapatkan konfigurasi yang berfungsi, beralih ke model yang lebih canggih (dan lebih mahal) jika diperlukan.
• Pilih Confirm. 
• Pada pop-up Deploy model, pilih Customize.
• Kecilkan Tokens per Minute Rate Limit ke nilai rendah (misalnya, 12 permintaan per menit) untuk pengujian manual. Tingkatkan ini nanti saat Anda menjalankan model di produksi. 
• Nonaktifkan dynamic quota. Anda tidak memerlukannya hingga deployment menerima lalu lintas yang tinggi. 
• Pilih Deploy.

Sebarkan model baru di chat playground.

Selesai! Pada bagian berikutnya, kita akan melihat cara mengakses deployment model gpt-35-turbo OpenAI ini. 

Meregenerasi kunci API

Disarankan untuk meregenerasi kunci akses API secara berkala. Ini memastikan akun tidak terkompromi jika kunci lama tidak sengaja bocor. Langkah-langkah di bawah ini menjelaskan cara meregenerasi kunci:

• Di bawah Resource Management, dari menu kiri, pilih Keys and Endpoint.
• Regenerasi setiap kunci secara individual. 

Kunci API instance Azure OpenAI.

Menggunakan Azure OpenAI dalam Aplikasi

Setelah menyiapkan Azure OpenAI dan menyebarkan model, kita melihat cara mengaksesnya secara terprogram. 

Langkah 1: Menyiapkan lingkungan pengembangan Anda

Saya akan menunjukkan cara menggunakan Python untuk terhubung ke Azure OpenAI. Instal pustaka yang diperlukan:

$ pip install openai

Jika Anda menggunakan notebook, jalankan perintah berikut. Catatan: Saya menggunakan notebook DataLab.

!pip install openai

Impor paket yang diperlukan di dalam shell Python atau di notebook:

import os
from openai import AzureOpenAI

Modul AzureOpenAI memungkinkan akses ke layanan OpenAI di dalam Azure. Ini berbeda dari modul OpenAI yang digunakan untuk mengakses OpenAI API mandiri. 

Sebelum menggunakan Azure OpenAI, atur kunci API dan endpoint di lingkungan Anda. Bagian sebelumnya menunjukkan cara menemukan nilai-nilai ini. Secara prinsip, Anda bisa menetapkannya di dalam lingkungan pemrograman, namun saya sarankan untuk tidak pernah melakukannya. Jangan pernah mengekspos kunci API dalam program. 

Mengatur kunci API menggunakan terminal

Untuk menjalankan Python secara lokal, tetapkan variabel lingkungan di berkas konfigurasi shell. Saya akan menunjukkan cara menyiapkannya untuk shell Bash. 

• Edit berkas .bashrc di editor teks. 
• Di akhir berkas, tambahkan dua baris ini:
• export AZURE_OPENAI_API_KEY=MY_API_KEY'
• export AZURE_OPENAI_ENDPOINT=MY_ENDPOINT'
• Simpan dan tutup berkas.
• Muat ulang perubahan di terminal menggunakan perintah source ~/.bashrc. 
• Untuk shell lain, seperti sh atau zsh, prosesnya bisa sedikit berbeda. 
• Buka (atau buka ulang) shell Python dalam sesi terminal yang sama. 

Impor nilai kunci API dan endpoint di terminal Python:

azure_openai_api_key = os.getenv["AZURE_OPENAI_API_KEY"]
azure_openai_endpoint = os.getenv["AZURE_OPENAI_ENDPOINT"]

Mengatur kunci API menggunakan notebook online (DataLab)

DataLab memungkinkan Anda langsung menetapkan variabel lingkungan untuk sebuah notebook.

• Dari bilah menu atas, pilih Environment lalu pilih Environment variables dari menu turun bawah. 
• Pilih opsi untuk menambahkan variabel lingkungan. 
• Tambahkan dua variabel, AZURE_OPENAI_API_KEY dan AZURE_OPENAI_ENDPOINT, beserta nilai masing-masing. 
• Beri nama pada set nilai lingkungan ini dan simpan perubahan. 

Di dalam notebook, ekstrak nilai-nilai tersebut seperti di bawah ini:

azure_openai_api_key = os.environ["AZURE_OPENAI_API_KEY"]
azure_openai_endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]

Langkah 2: Lakukan panggilan API pertama Anda ke Azure OpenAI

Sekarang Anda dapat menggunakan fungsi AzureOpenAI() untuk membuat objek client yang menerima permintaan. Fungsi ini menggunakan parameter berikut:

• api_version: Versi Azure OpenAI API. Periksa versi terbaru dari dokumentasi Azure. 
• api_key: kunci API Azure OpenAI. Dapatkan dari variabel lingkungan yang Anda tetapkan sebelumnya. Jangan menetapkannya secara manual di sini. 
• azure_endpoint: URL endpoint Azure OpenAI API (ambil nilai ini dari lingkungan). 

client = AzureOpenAI(
    api_version="2024-06-01",
    api_key=azure_openai_api_key,
    azure_endpoint=azure_openai_endpoint
)

Gunakan objek client ini untuk tugas seperti chat completion menggunakan fungsi .chat.completions.create(). Fungsi ini menerima parameter berikut:

• model: Nama model. Pada rilis OpenAI API yang lebih lama, ini sebelumnya adalah parameter engine. Perhatikan bahwa parameter model harus sesuai dengan model yang ditentukan saat deployment (pada Azure AI Foundry portal). Jika Anda mencoba menggunakan model yang berbeda dari yang dideploy, akan muncul galat seperti di bawah ini: 

NotFoundError: Error code: 404 - {'error': {'code': 'DeploymentNotFound', 'message': 'The API deployment for this resource does not exist. If you created the deployment within the last 5 minutes, please wait a moment and try again.'}}

• messages: Parameter ini menentukan percakapan antara pengguna dan model. Terdiri dari sekumpulan objek pesan. Setiap objek pesan memiliki pasangan key-value yang ditandai dengan role (baik system, user, atau assistant) dan content(teks pesan). Objek-objek pesan ini memberikan konteks untuk interaksi dan memandu respons model. 

Di bawah ini, saya memberikan contoh pasangan key-value (role, content) untuk nilai role yang berbeda: 

• user: prompt yang dimasukkan oleh pengguna akhir. 

Contoh: {“role”: “user”, “content”: “jelaskan perbedaan antara bilangan rasional dan irasional”}

• system: deskripsi peran yang diharapkan OpenAI dalam interaksi. 

Contoh: {“role”: “system”, “content”: “Anda adalah guru yang membantu membimbing siswa matematika sekolah dasar”}

• assistant: respons yang diharapkan dari OpenAI. 

Contoh: {“role”: “assistant”, “content”: “perbedaan antara bilangan rasional dan irasional adalah … contoh penjelasan …”}

Peran assistant diperlukan hanya ketika data pelatihan disediakan untuk fine-tuning model. Saat menggunakan client untuk tugas seperti chat completion, peran user dan system sudah cukup. Untuk banyak tugas sederhana, hanya peran user yang sudah memadai. 

• max_tokens: parameter ini menentukan jumlah maksimum token yang dapat digunakan untuk memproses (baik input maupun output) panggilan API. Anda dikenai biaya langsung untuk token yang digunakan. Nilai default adalah 16. Nilai ini cukup untuk kasus penggunaan sederhana; karenanya, parameter ini dapat dihilangkan. 

simple_completion = client.chat.completions.create(
    model="gpt-35-turbo",  
    messages=[
        {
            "role": "user",
            "content": "Explain the difference between OpenAI and Azure OpenAI in 20 words",
        },
    ],
)

Cetak keluaran tugas chat completion:

print(simple_completion.to_json())

Keluaran adalah objek JSON dengan berbagai pasangan key-value. Ini mencakup keluaran model, seperti pada contoh di bawah. Perhatikan bahwa assistant adalah peran default yang ditetapkan kepada model. 

"message": {
   "content": "OpenAI is a research organization focused on advancing AI, while Azure OpenAI is a collaboration between Microsoft and OpenAI.",
   "role": "assistant"
},

Langkah 3: Menggunakan model OpenAI untuk berbagai tugas

Untuk mengakses model apa pun dengan Azure OpenAI, Anda harus terlebih dahulu menyebarkan model tersebut. Pada bagian sebelumnya, Anda telah menyebarkan model gpt-35-turbo. Untuk menggunakan model lain:

• Kembali ke Azure AI Foundry dan sebarkan model lain, seperti dijelaskan pada bagian sebelumnya. Pilih dari berbagai model seperti GPT-3.5, GPT-4o, o1 dan o1-mini, o3 dan o3-mini, dan lainnya. 
• Tulis ulang prompt di atas (dalam fungsi chat.completions.create()) menggunakan nama model baru. 

Pada rilis OpenAI yang lebih lama, menggunakan model berbeda untuk tugas yang berbeda adalah hal yang umum. Ada model khusus untuk pembuatan kode, NLP, dan lainnya. Model modern seperti GPT-3.5 dan GPT-4 dapat melakukan semua tugas generatif berbasis teks. Dengan demikian, banyak model lama yang khusus tugas (seperti model davinci untuk pembuatan kode) telah dihentikan. 

Sekarang kita memeriksa cara menggunakan API untuk berbagai tugas sederhana seperti tanya jawab dan peringkasan teks. Pada tugas contoh di bawah, kita menggunakan model yang sama—GPT-3.5. Anda juga dapat memilih salah satu model GPT-4. 

Karena keduanya adalah tugas berbasis teks, mari deklarasikan terlebih dahulu blok teks yang akan digunakan. Saya secara acak menyalin ulasan sepasang sepatu bot dari situs e-niaga. Tetapkan teks ulasan ini ke variabel text. Pastikan Anda meng-escape karakter kutip tunggal atau ganda di dalam teks. 

text = 'Comfort and Quality wise the boots are absolutely excellent. A 10 miles hike along the city Streets and the alps nearby felt like a smooth sail. The most plus it was quite well ventilated cause of the heavy duty Gore-tex material. After 12 hours when I removed it, there was just very little bit of perspiration (My foot sweats a lot) and absolutely no foul smell. Speaking of the Gore-Tex I would say, I sported this on a heavy rainy day after buying it in India, I was fearing the boot, though not very much like normal boots, would still be drenching with water, instead it was very little soaked. And some 5-6 hours later it was completely dry (Kept inside a closed room in the night). The only disadvantage I think is, that it fits my foot perfectly according to the size I chose, and there is no slight pain from 7 AM till 8 PM due to the shoe weight (of course its 1.2 KG, even though it doesn\'t feel like)' 

Peringkasan teks 

Untuk meringkas teks di atas:

• Gunakan objek client yang dibuat sebelumnya. 
• Berikan peran yang sesuai dalam parameter messages seperti pada contoh di bawah: 

summary_completion = client.chat.completions.create(
    model="gpt-35-turbo", 
    messages=[
        {
         "role": "system",
         "content": "You are a helpful assistant for summarizing text"
        },
        {
            "role": "user",
            "content": f"Summarize this text in 10 words: {text}",
        },
    ],
)

Perhatikan bagaimana kita memasukkan teks sebagai variabel di dalam prompt pada cuplikan di atas.

print(summary_completion.to_json())

Keluaran berisi ringkasan dari asisten atas teks panjang tersebut, seperti pada cuplikan berikut: 

"message": {
   "content": "Excellent comfort and quality, well-ventilated, quick-drying, lightweight boots, minimal perspiration, no foul smell.",
   "role": "assistant"
},

Tanya jawab

Untuk menjawab pertanyaan (berdasarkan teks input di atas), kita memodifikasi prompt untuk memberikan pertanyaan sebagai variabel string. Seperti sebelumnya, prompt juga menyertakan teks sebagai variabel. Model menjawab pertanyaan berdasarkan teks yang diberikan. 

question = 'Are these shoes heavy?'

qna_completion = client.chat.completions.create(
    model="gpt-35-turbo", 
    messages=[
        {"role": "system",
         "content": "You are a helpful assistant for answering questions"
        },
        {
            "role": "user",
            "content": f"Answer this question: {question} in 10 words based on this text: {text}",
        },
    ],
)

Ubah keluaran menjadi JSON dan cetak:

print(qna_completion.to_json())

Keluaran mencakup jawaban asisten atas pertanyaan tersebut:

"message": {
   "content": "Lightweight. Not heavy. Comfortable for long hikes. Well-ventilated Gore-tex material.",
   "role": "assistant"
},

Kasus Penggunaan Azure OpenAI

Sekarang, mari lihat berbagai kasus penggunaan layanan Azure OpenAI.

Pemrosesan bahasa alami (NLP)

Sebagai model bahasa pada intinya, model general purpose OpenAI seperti GPT-3 dan GPT-4 unggul pada tugas NLP, seperti:

• Peringkasan teks: Berikan potongan teks besar sebagai input ke API dan minta untuk meringkasnya sesuai kebutuhan Anda. Pada contoh sebelumnya, kita meringkas ulasan pelanggan yang panjang menjadi ringkasan 10 kata.
• Klasifikasi teks: Diberikan sebuah dokumen (atau sekumpulan dokumen) dan serangkaian label yang telah ditentukan, OpenAI dapat mengklasifikasikan dokumen tersebut ke label yang paling sesuai. 
• Analisis sentimen: API dapat menganalisis potongan teks input untuk mengukur sentimennya. Misalnya, dapat mengklasifikasikan ulasan pelanggan sebagai positif, negatif, atau netral.

Pada contoh berikut, kita melakukan analisis sentimen untuk mengklasifikasikan teks ulasan pelanggan (yang didefinisikan sebelumnya).

sentiment_classification = client.chat.completions.create(
    model="gpt-35-turbo", 
    messages=[
        {"role": "system",
         "content": "You are a helpful assistant for classifying customer reviews into one of the following categories: very positive, positive, neutral, negative, very negative"
        },
        {
            "role": "user",
            "content": f"Classify this review: {text}",
        },
    ],
    #max_tokens=16
)

print(sentiment_classification.to_json())

Keluaran berisi cuplikan yang mirip dengan contoh berikut. Ini memuat klasifikasi asisten terhadap ulasan tersebut:

"message": {
   "content": "This review can be classified as very positive.",
   "role": "assistant"
},

Pembuatan kode

Model OpenAI dapat menghasilkan kode dalam berbagai bahasa pemrograman. Rilis OpenAI sebelumnya memiliki model khusus kode, seperti Codex dan code-davinci, yang di-fine-tune untuk pembuatan kode. 

Namun, rilis OpenAI yang lebih baru, seperti GPT-3.5 dan GPT-4, menghasilkan kode tanpa fine-tuning. Model dasar telah melalui pre-training pada dataset berbasis pengkodean. Dengan demikian, Codex, code-davinci, dan banyak model lama lainnya telah dihentikan dan tidak lagi tersedia untuk deployment baru. 

Model OpenAI dapat membantu menulis kode dalam berbagai bahasa pemrograman umum. Berinteraksilah dengan model dalam bahasa alami untuk memberi instruksi pada tugas pemrograman seperti: 

• Menghasilkan kode: Diberikan prompt teks atau komentar, model dapat menghasilkan potongan kode. Programmer dapat menggabungkan berbagai potongan tersebut menjadi program yang benar-benar bekerja. Ini membantu mengotomatiskan tugas berulang seperti menulis kode boilerplate. 
• Debug: Model dapat menganalisis pesan galat dan peringatan untuk menjelaskan masalah dalam bahasa alami dan memberikan saran cara memperbaikinya. 
• Optimasi: Model OpenAI dapat membantu melakukan refactor kode menjadi struktur yang lebih bersih dan menggunakan algoritma yang lebih efisien untuk tugas umum seperti pengurutan. 
• Menjelaskan: Model OpenAI juga dapat menjelaskan potongan kode yang dihasilkannya. Penjelasan ini membantu menyesuaikan kode yang dihasilkan agar sesuai kebutuhan pengembang. Ini juga dapat membantu programmer baru memahami konsep pemrograman. 

Pertimbangkan contoh sederhana menulis fungsi Python untuk membuka dan membaca berkas. Ini adalah tugas yang cukup umum dan bisa dengan mudah diotomatisasi. Kita meminta OpenAI untuk menghasilkan dan menjelaskan kodenya. Gunakan objek client yang dibuat sebelumnya. 

code_completion = client.chat.completions.create(
    model="gpt-35-turbo", 
    messages=[
        {"role": "system",
         "content": "You are a helpful assistant for generating programming code"
        },
        {
            "role": "user",
            "content": "Write and explain a Python function to open and read a file",
        },
    ],
)

Cetak keluarannya: 

print(code_completion.to_json())

Perhatikan bahwa objek JSON keluaran berisi keluaran asisten yang mirip dengan cuplikan sampel berikut: 

"content": "Below is a Python function that opens a file, reads its contents, and returns the content as a string:\n\n```python\ndef read_file(file_path):\n    try:\n        with open(file_path, 'r') as file:\n …

Pembuatan gambar dengan DALL·E

Contoh sebelumnya semuanya berbasis teks. Model OpenAI digunakan sebagai large language model (LLM), yang biasanya dibangun menggunakan arsitektur transformer. Selain LLM, OpenAI mencakup model berbasis diffuser, seperti DALL·E, yang menghasilkan gambar dari prompt input. 

Untuk menggunakan DALL·E, berikan prompt berbasis teks dengan deskripsi detail tentang gambar yang Anda inginkan. Berdasarkan deskripsi ini, DALL·E menghasilkan gambar berkualitas tinggi. Ini berguna untuk tugas seperti membuat ilustrasi, merancang konsep produk, sketsa untuk kampanye pemasaran, dan banyak lagi. 

DALL·E saat ini tidak tersedia di semua wilayah geografis. Jika tersedia di wilayah Anda, buat deployment baru (seperti dijelaskan sebelumnya dalam tutorial ini) tetapi gunakan model DALL·E-3 alih-alih GPT-3. Akses model DALL·E menggunakan objek client yang sama seperti dijelaskan sebelumnya. Gunakan metode client.images.generate() untuk menghasilkan gambar: 

• Tetapkan nama model sebagai dalle3 menggunakan parameter model. 
• Jelaskan gambar yang diinginkan dengan parameter prompt. 
• Anda juga dapat menentukan nilai untuk n, yaitu jumlah gambar yang akan dihasilkan. 

result = client.images.generate(
    model="dalle3", 
    prompt="An owl wearing a Christmas hat",
    n=1
)

Ekstrak objek respons JSON dari respons model: 

import json
json_response = json.loads(result.model_dump_json())

Deklarasikan direktori gambar. Perhatikan bahwa direktori images harus ada di bawah direktori kerja saat ini (tempat Anda memulai shell Python). 

image_dir = os.path.join(os.curdir, 'images')

Tentukan path gambar di bawah direktori ini:

image_path = os.path.join(image_dir, 'generated_image.png')

Ekstrak URL gambar yang dihasilkan dari objek respons JSON, unduh gambar (sebagai stream), dan tulis ke berkas gambar:

image_url = json_response["data"][0]["url"]  
generated_image = requests.get(image_url).content  
with open(image_path, "wb") as image_file:
    image_file.write(generated_image)

Tampilkan gambar:

from PIL import Image

image = Image.open(image_path)
image.show()

Praktik Terbaik Menggunakan Azure OpenAI

Menggunakan layanan Azure OpenAI cukup langsung, namun seperti teknologi lainnya, ada beberapa praktik terbaik yang perlu diikuti agar mendapatkan hasil maksimal. Mari kita tinjau di bagian ini.

Memantau dan mengelola penggunaan API

Azure OpenAI adalah salah satu layanan Azure yang lebih mahal. Bahkan kredit gratis yang tersedia untuk akun baru tidak dapat digunakan untuk OpenAI API. Oleh karena itu, penting untuk melacak penggunaan, bahkan bagi pengguna baru. Penggunaan API yang tidak terkontrol dapat menyebabkan tagihan membengkak tanpa diduga.

Biaya OpenAI didasarkan pada penggunaan dan konsumsi token. Token merepresentasikan unit teks yang diproses oleh model—baik untuk input maupun output. Memproses dokumen teks besar mengonsumsi lebih banyak token daripada menghasilkan respons yang lebih panjang. Semakin banyak token yang Anda gunakan, semakin besar biayanya. Karena itu, hematlah dengan informasi yang Anda berikan ke model atau yang Anda minta untuk dihasilkan. 

Gunakan parameter max_tokens untuk membatasi jumlah token yang dikonsumsi dalam permintaan tersebut. Untuk model produksi, lakukan eksperimen untuk menentukan berapa banyak token yang biasanya dibutuhkan oleh permintaan Anda atau pengguna Anda dan batasi penggunaan sesuai. Tingkatkan batas secara kasus per kasus. 

Untuk memantau metrik dasar:

• Dari halaman utama Azure AI Services | Azure OpenAI, pilih resource yang akan dipantau. 
• Di halaman resource, pilih tab Monitor untuk melihat berbagai metrik, seperti jumlah permintaan HTTP dan jumlah token yang diproses per model dan per deployment. 

Dasbor metrik Azure OpenAI.

Anda juga dapat melihat metrik yang lebih detail:

• Dari opsi Monitoring di menu kiri, pilih Metrics. 

Metrik terperinci Azure OpenAI.

• Pada pop-up Select a scope, pilih instance OpenAI (centang kotaknya)
• Pilih Apply.

Pada halaman Metrics:

• Pilih jendela waktu di kanan atas. 
• Dari bilah menu di atas bagan (awalnya kosong), pilih metrik yang sesuai dari menu turun bawah Metric. Pilih dari berbagai metrik seperti:
• Permintaan Azure OpenAI, 
• Statistik penggunaan token (token aktif, token yang dihasilkan, dll.)
• Performa panggilan API (time to first byte, dll.), dan lainnya. 

Contoh pemantauan Azure OpenAI.

Terakhir, selalu tetapkan batas anggaran pada akun API dan konfigurasikan pengaturan untuk menerima peringatan email saat Anda melewati ambang batas anggaran. 

Fine-tuning model

Model dasar OpenAI dilatih pada dataset besar yang mencakup banyak domain berbeda. Secara umum, ada tiga cara untuk mendapatkan keluaran yang diinginkan dari model LLM: 

• Prompt engineering: Untuk sebagian besar kasus penggunaan, menambahkan instruksi spesifik pada prompt sudah cukup. Ini disebut prompt engineering. 
• Few-shot learning: Jika prompt engineering tidak memadai, tambahkan beberapa contoh pada prompt untuk membantu model memahami respons yang diinginkan pengguna. Ini disebut few-shot learning, di mana model mempelajari berdasarkan sejumlah kecil contoh. 
• Fine-tuning: Terkadang, Anda ingin berdiskusi dengan model tentang domain yang sangat spesifik, misalnya berdasarkan manual untuk memperbaiki peralatan khusus. Menghasilkan teks pada topik ini melibatkan penggunaan jargon dan pola bahasa spesifik domain, yang kecil kemungkinannya menjadi bagian dari dataset publik (yang digunakan untuk melatih model dasar). 

Anda dapat melakukan fine-tune model dasar jika few-shot learning dan prompt engineering tidak membantu mendapatkan respons yang tepat. 

Fine-tuning mengacu pada pelatihan ulang model dasar yang telah dilatih sebelumnya pada dataset khusus. Dalam praktiknya, hanya beberapa lapisan model dasar (bukan seluruh model) yang dilatih ulang pada data baru. Tutorial fine-tuning Azure menjelaskan langkah-langkah untuk melakukan fine-tune model OpenAI populer. 

Ingat bahwa untuk berhasil melakukan fine-tune model dasar, Anda memerlukan volume data yang relevan dan berkualitas tinggi dalam jumlah besar dengan ribuan contoh pelatihan. Selain itu, fine-tuning hampir selalu melibatkan biaya awal yang besar untuk melatih model. Ditambah lagi, model yang telah di-fine-tune harus di-host dengan biaya Anda sebelum dideploy. 

Mengamankan kunci API Anda

Kunci API yang terekspos secara publik dapat disalahgunakan untuk mengakses informasi sensitif, melakukan tugas yang tidak aman dan/atau ilegal, atau membuat permintaan tidak sah, yang mengakibatkan tagihan besar bagi pemilik akun. Karena itu, sangat penting untuk mengelola kunci API dengan aman alih-alih menuliskannya langsung di kode sumber. Berbagai pendekatan dapat dilakukan untuk ini: 

• Untuk layanan cloud, gunakan alat manajemen kunci seperti AWS Secrets Manager dan Azure Key Vault.
• Gunakan berkas .env untuk menyimpan kunci dalam format key-value. Tambahkan berkas ini ke daftar .gitignore agar tidak ikut dikomit ke repositori kode. 
• Untuk layanan berbasis Jupyter notebook gunakan opsi menyimpan kunci sebagai bagian dari lingkungan. Metode ini telah dijelaskan sebelumnya dalam tutorial ini. 

Saya menyarankan untuk membatasi izin terkait tugas apa saja yang dapat dilakukan dengan kunci tersebut. Akan sangat membantu juga untuk merotasi atau meregenerasi kunci secara berkala agar kunci lama tidak dapat disalahgunakan jika bocor.

Kesimpulan 

Dalam tutorial ini, kita membahas mulai dari membuat akun Azure, menyiapkan layanan OpenAI, membuat instance OpenAI baru, dan menyebarkan model. Kita kemudian melihat contoh penggunaan model OpenAI untuk tugas praktis. Kita juga membahas cara memantau penggunaan dan performa resource Azure OpenAI. 

Untuk pemahaman yang lebih mendalam tentang Microsoft Azure, ikuti jalur Azure Fundamentals DataCamp. Untuk mempelajari lebih lanjut konsep inti OpenAI, ikuti jalur OpenAI Fundamentals DataCamp.