Fine-Tuning GPT-4 dari OpenAI: Panduan Langkah demi Langkah

Model tercanggih OpenAI, Generative Pre-trained Transformer 4 (GPT-4), diluncurkan pada Maret 2023 dan menjadi lompatan besar dalam kecerdasan buatan, menghadirkan tolok ukur baru bagi kemampuan AI. Tersedia melalui ChatGPT Plus, API OpenAI, dan Microsoft Copilot, GPT-4 menonjol berkat kemampuannya yang multimodal, terutama melalui GPT-4V, yang memungkinkannya memproses gambar bersama teks, membuka jalan bagi aplikasi inovatif di berbagai bidang.

Inti kemajuan GPT-4 adalah kerangka kerja berbasis transformer yang dilatih awal secara ekstensif pada beragam data dari internet dan sumber berlisensi serta di-fine-tune melalui perpaduan umpan balik manusia dan reinforcement learning berbasis AI. Pendekatan unik ini bertujuan meningkatkan penyelarasan model dengan standar etika manusia dan kepatuhan kebijakan.

Meski GPT-4 merupakan peningkatan dari pendahulunya, GPT-3, model ini tetap mewarisi sebagian keterbatasan sebelumnya, menegaskan kompleksitas tantangan pada Large Language Models dan Generative AI. Beberapa tantangan tersebut dapat diatasi melalui proses bernama Fine-tuning, yang menjadi topik tutorial ini. Tujuan tutorial ini adalah:

• Memahami apa itu fine-tuning dan kapan menggunakannya
• Kasus penggunaan umum untuk fine-tuning
• Implementasi langkah demi langkah API fine-tuning OpenAI dalam Python.

Namun, perlu dicatat bahwa fine-tuning GPT-4 saat ini hanya tersedia dalam akses eksperimental, dan pengembang yang memenuhi syarat dapat meminta akses melalui antarmuka fine-tuning. Meski begitu, teknik fine-tuning yang dibahas berlaku untuk semua model GPT.

Apa itu Fine-tuning?

Fine-tuning adalah proses tingkat lanjut yang menyempurnakan model pra-latih (seperti GPT-4) untuk tugas atau domain tertentu, dengan memanfaatkan pengetahuan dasar yang luas yang diperoleh model selama pelatihan awal pada set data yang beragam. Proses ini melibatkan penyesuaian parameter model berdasarkan data spesifik tugas, meningkatkan performanya, dan memampukannya menangani aplikasi tertentu dengan ketelitian dan efisiensi lebih tinggi.

Salah satu contoh dampak fine-tuning adalah peningkatan respons model terhadap pertanyaan yang bersifat spesialis. Misalnya, model pra-latih mungkin memberikan penjelasan dasar saat ditanya mengapa langit berwarna biru. Melalui fine-tuning, jawaban ini dapat diperkaya dengan konteks ilmiah yang lebih rinci, menjadikannya lebih sesuai untuk aplikasi khusus seperti platform edukasi.

Metode fine-tuning mencakup instruction fine-tuning, di mana model dilatih menggunakan contoh-contoh spesifik yang menunjukkan respons yang diinginkan, hingga parameter-efficient fine-tuning (PEFT), yang hanya memperbarui sebagian parameter model untuk menghemat sumber daya komputasi dan mencegah catastrophic forgetting.

Sebaliknya, Retrieval Augmented Generation (RAG) mewakili pendekatan berbeda. RAG menggabungkan elemen model berbasis pencarian dan model generatif untuk meningkatkan kualitas konten yang dihasilkan dengan memasukkan informasi yang diambil dari sumber eksternal selama proses generasi.

Jika fine-tuning berfokus pada pengoptimalan model yang sudah ada untuk tugas tertentu, RAG mengintegrasikan pengetahuan eksternal untuk memperkaya proses pembuatan konten.

Pilihan antara fine-tuning dan RAG bergantung pada kebutuhan spesifik aplikasi, termasuk kebutuhan informasi terkini, ketersediaan sumber daya komputasi, dan tingkat spesialisasi tugas yang diinginkan. Fine-tuning menawarkan cara langsung untuk memanfaatkan basis pengetahuan luas model pra-latih bagi tugas-tugas spesifik, sementara RAG menyediakan pendekatan dinamis untuk memastikan relevansi dan akurasi informasi yang digunakan model.

Kapan Menggunakan Fine-tuning?

Fine-tuning model generasi teks OpenAI adalah metode ampuh untuk menyesuaikannya dengan kebutuhan spesifik, tetapi membutuhkan waktu dan sumber daya yang signifikan. Sebelum terjun ke fine-tuning, disarankan untuk terlebih dahulu memaksimalkan performa model melalui prompt engineering, prompt chaining (membagi tugas kompleks menjadi rangkaian prompt sederhana), dan penggunaan functions. Pendekatan ini direkomendasikan karena beberapa alasan:

• Model mungkin awalnya kesulitan dengan tugas tertentu, tetapi merancang prompt yang tepat dapat sangat memperbaiki hasil, sehingga fine-tuning tidak diperlukan dalam banyak kasus.
• Menyesuaikan prompt dan menerapkan strategi seperti prompt chaining atau function calling memberikan umpan balik instan, memungkinkan iterasi cepat. Sebaliknya, fine-tuning melibatkan pembuatan dataset dan pelatihan model, yang memakan waktu lebih lama.
• Meski pada akhirnya fine-tuning menjadi penting, pekerjaan awal dengan prompt engineering tidak sia-sia. Menggabungkan prompt yang dirancang baik ke dalam proses fine-tuning atau memadukannya dengan teknik fine-tuning sering kali menghasilkan hasil terbaik.

Kasus Penggunaan Umum untuk Fine-Tuning

Fine-tuning bisa sangat bermanfaat dalam skenario berikut:

• Menyesuaikan karakteristik keluaran. Ketika Anda memerlukan model untuk mengikuti gaya, nada, format, atau aspek kualitatif tertentu, fine-tuning dapat membantu membentuk responsnya sesuai kebutuhan.
• Meningkatkan keandalan. Untuk aplikasi yang menuntut model secara konsisten menghasilkan jenis keluaran yang diinginkan, fine-tuning dapat meningkatkan dependabilitasnya.
• Menangani prompt yang kompleks. Jika model gagal mengikuti instruksi yang rumit, fine-tuning dapat membantunya memahami dan mengeksekusi prompt tersebut dengan lebih efektif.
• Menangani kasus tepi (edge cases). Fine-tuning dapat memampukan model menangani banyak edge case dengan cara yang spesifik dan telah ditentukan, sehingga meningkatkan versatilitasnya.
• Mempelajari keterampilan atau tugas baru. Saat memperkenalkan keterampilan atau tugas baru yang sulit dituangkan hanya dalam prompt, fine-tuning dapat membekali model dengan kapabilitas yang diperlukan.

Panduan Langkah demi Langkah untuk Fine-tuning Model GPT OpenAI Menggunakan Python

Karena sifat model OpenAI yang proprietari, Anda harus menggunakan API fine-tuning dari OpenAI jika ingin melakukan fine-tuning pada model mana pun dari OpenAI. Proses ini melibatkan pengunggahan data Anda ke server OpenAI untuk melatih model.

Saat ini, hanya model berikut yang didukung untuk fine-tuning melalui API.

• gpt-3.5-turbo-0125,
• gpt-3.5-turbo-1106,
• gpt-3.5-turbo-0613,
• babbage-002,
• davinci-002

Fine-tuning GPT-4 berada dalam akses eksperimental, dan pengembang yang memenuhi syarat dapat meminta akses melalui antarmuka fine-tuning. Terlepas dari model yang digunakan, proses fine-tuning dan kode dalam tutorial ini tidak berubah.

6 Langkah untuk Fine-Tuning Model GPT OpenAI

1. Siapkan data pelatihan

Ini adalah langkah terpenting. Kualitas model hasil fine-tuning secara langsung bergantung pada data yang Anda buat untuk menyesuaikan model. Untuk API OpenAI, data harus disimpan dalam format jsonl.

Format JSONL adalah format teks di mana setiap baris merupakan objek JSON terpisah, sehingga cocok untuk memproses set data berukuran besar baris demi baris. Format ini sangat berguna untuk menangani data yang dapat dengan mudah dibagi menjadi catatan individual tanpa kehilangan struktur.

Contoh:

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Untuk tutorial ini, saya membuat data contoh dengan hanya lima contoh. Data tersebut terdiri dari pertanyaan tentang berbagai topik dalam machine learning dan jawaban bergaya Shakespeare.

Data contoh yang saya buat untuk tutorial ini:

{"messages": [{"role": "system", "content": "You are teaching assistant for Machine Learning. You should help to user to answer on his question."}, {"role": "user", "content": "What is machine learning?"}, {"role": "assistant", "content": "'Tis but the art of teaching machines to think, to learn from data most fine, and decisions to link."}]}

{"messages": [{"role": "system", "content": "You are teaching assistant for Machine Learning. You should help to user to answer on his question."}, {"role": "user", "content": "How doth neural networks work?"}, {"role": "assistant", "content": "They're like the brains of yon digital beast, with layers many, and nodes that cease."}]}

2. Menginstal pustaka openai dan menyiapkan token API

Langkah pertama membuat pekerjaan fine-tuning menggunakan OpenAI API adalah mengunggah berkas. Untuk menggunakan API ini, Anda harus memasang pustaka openai di Python.

!pip install openai

Sekarang masuk ke akun platform.openai.com Anda dan buat token API:

Anda kemudian dapat menetapkan token sebagai variabel lingkungan menggunakan pustaka os.

import os


# Set the OPENAI_API_KEY environment variable
os.environ['OPENAI_API_KEY'] = '...'

3. Unggah berkas pelatihan

Berkas pelatihan Anda harus dalam format jsonl. Setelah Anda mengunggah berkas, pemrosesan mungkin memerlukan waktu. Ukuran maksimum untuk unggahan berkas adalah 1 GB. Untuk mengunggah berkas ke server OpenAI:

from openai import OpenAI
client = OpenAI()


client.files.create(
  file=open("train.jsonl", "rb"),
  purpose="fine-tune"
)

Keluaran:

FileObject(id='file-rIua39sJX1O64gzxTYfpvJx7', bytes=11165, created_at=1709499930, filename='train.jsonl', object='file', purpose='fine-tune', status='processed', status_details=None)

4. Buat model hasil fine-tuning

Setelah memastikan berkas berhasil diunggah, langkah berikutnya adalah membuat pekerjaan fine-tuning. training_file adalah ID berkas yang dikembalikan saat berkas pelatihan diunggah ke OpenAI API. Untuk memulai pekerjaan fine-tuning:

from openai import OpenAI
client = OpenAI()


client.fine_tuning.jobs.create(
  training_file="file-rIua39sJX1O64gzxTYfpvJx7",
  model="gpt-3.5-turbo" #change to gpt-4-0613 if you have access
)

Untuk mengonfigurasi pengaturan fine-tuning tambahan, seperti validation_file atau hyperparameters, lihat dokumentasi API untuk fine-tuning.

Waktu penyelesaian pekerjaan fine-tuning bervariasi, dari menit hingga jam, bergantung pada model dan ukuran dataset. Misalnya, dengan 50 contoh saja dalam dataset train.jsonl dan menggunakan model gpt-3.5-turbo, pekerjaan selesai hanya dalam 7 menit.

Setelah pekerjaan selesai, konfirmasi juga akan dikirim melalui email.

Selain menyiapkan pekerjaan fine-tuning, Anda dapat melihat daftar pekerjaan saat ini, memeriksa status pekerjaan tertentu, atau membatalkan pekerjaan.

from openai import OpenAI
client = OpenAI()


# List 10 fine-tuning jobs
client.fine_tuning.jobs.list(limit=10)


# Retrieve the state of a fine-tune
client.fine_tuning.jobs.retrieve("...")


# Cancel a job
client.fine_tuning.jobs.cancel("...")


# List up to 10 events from a fine-tuning job
client.fine_tuning.jobs.list_events(fine_tuning_job_id="...", limit=10)


# Delete a fine-tuned model (must be an owner of the org the model was created in)
client.models.delete("ft:gpt-3.5-turbo:xxx:xxx")\

5. Menganalisis model hasil fine-tuning

OpenAI menyediakan metrik pelatihan utama seperti training loss, akurasi token untuk pelatihan, test loss, dan akurasi token pada pengujian. Metrik ini membantu memastikan pelatihan berjalan sesuai harapan, dengan loss yang menurun dan akurasi token yang meningkat. Anda dapat melihat metrik bermanfaat ini dalam objek event selama pekerjaan fine-tuning aktif.

{
    "object": "fine_tuning.job.event",
    "id": "ftjob-Na7BnF5y91wwGJ4EgxtzVyDD",
    "created_at": 1693582679,
    "level": "info",
    "message": "Step 100/100: training loss=0.00",
    "data": {
        "step": 100,
        "train_loss": 1.805623287509661e-5,
        "train_mean_token_accuracy": 1.0
    },
    "type": "metrics"
}

Informasi ini juga dapat Anda lihat di antarmuka UI.

6. Menggunakan model hasil fine-tuning

Setelah pekerjaan berhasil diselesaikan, detail pekerjaan akan menyertakan kolom fine_tuned_model yang menampilkan nama model. Anda dapat memanggil API ke model ini dan mendapatkan respons dari model yang baru saja kita sesuaikan.

from openai import OpenAI
client = OpenAI()


completion = client.chat.completions.create(
  model="ft:gpt-3.5-turbo-0613:personal::8k01tfYd",
  messages=[
    {"role": "system", "content": "You are a teaching assistant for Machine Learning. You should help to user to answer on his question."},
    {"role": "user", "content": "What is a loss function?"}
  ]
)
print(completion.choices[0].message)

Keluaran:

ChatCompletionMessage(content="To measure how far we falter, it guides our way, our hope's defaulter.", role='assistant', function_call=None, tool_calls=None)

Kesimpulan

Tutorial ini telah memandu Anda melalui proses fine-tuning model GPT dari OpenAI, sebuah langkah lanjutan untuk memanfaatkan kemampuan luas LLM bagi aplikasi domain khusus. Fine-tuning memungkinkan kita menyempurnakan respons model bahasa, sehingga lebih cakap menangani tugas, gaya, atau domain tertentu dengan ketelitian dan efisiensi yang lebih baik.

Tutorial ini menggunakan OpenAI Python API untuk melakukan fine-tuning pada model. Jika Anda lebih suka mempelajari cara melakukan hal yang sama melalui antarmuka UI tanpa menulis satu baris kode pun, Anda dapat melihat tutorial How to Fine Tune GPT 3.5 di Datacamp.

Karena GPT bukan model open-source, proses fine-tuning relatif sederhana dan hanya melibatkan pemanggilan API. Ini sangat berbeda saat melakukan fine-tuning model open-source seperti llama-2, Mistral, Stable Diffusion, dan sebagainya. Jika Anda tertarik mempelajari cara fine-tuning berbagai model open-source, Anda dapat melihat blog berikut di DataCamp:

• Fine-Tuning LLaMA 2: Panduan Langkah demi Langkah untuk Menyesuaikan Large Language Model
• Tutorial FLAN-T5: Panduan dan Fine-Tuning
• Fine-tuning Stable Diffusion XL dengan DreamBooth dan LoRA

Untuk sumber daya pemula tentang fine-tuning LLM lainnya, lihat Panduan Pengantar Fine-Tuning LLM di Datacamp.