Cara Fine-tune GPT 3.5: Membuka Potensi Penuh AI

Model bahasa terbaru OpenAI, GPT-3.5 Turbo, menandai lompatan besar dalam kapabilitas model bahasa berskala besar. Dibangun di atas keluarga model GPT-3, GPT-3.5 Turbo dapat menghasilkan teks yang sangat mirip manusia sekaligus lebih terjangkau dan mudah diakses dibanding versi sebelumnya. Namun, kekuatan sejati GPT-3.5 Turbo terletak pada kemampuannya untuk dikustomisasi melalui proses yang disebut fine-tuning.

Fine-tuning memungkinkan pengembang membawa data mereka sendiri untuk menyesuaikan model dengan kasus penggunaan spesifik dan secara signifikan meningkatkan performa pada tugas-tugas khusus. Dengan fine-tuning, GPT-3.5 Turbo bahkan dapat menyamai atau melampaui GPT-4 pada beberapa aplikasi yang sempit.

Tingkat kustomisasi baru ini membuka potensi bagi bisnis dan pengembang untuk menerapkan GPT-3.5 Turbo guna membangun aplikasi AI yang disesuaikan dan berkinerja tinggi. Seiring fine-tuning tersedia untuk GPT-3.5 Turbo dan GPT-4 yang bahkan lebih kuat pada akhir tahun ini, kita berada di ambang era baru AI terapan.

Mengapa Melakukan Fine-Tune pada Model Bahasa?

Fine-tuning telah menjadi teknik krusial untuk memaksimalkan kemampuan model bahasa besar seperti GPT-3.5 Turbo. Kami memiliki panduan terpisah tentang fine-tuning GPT-3, misalnya.

Meskipun model pralatih dapat menghasilkan teks yang sangat mirip manusia secara langsung, kemampuan sejatinya terbuka melalui fine-tuning. Proses ini memungkinkan pengembang menyesuaikan model dengan melatihnya pada data spesifik domain, mengadaptasikannya untuk kasus penggunaan khusus di luar capaian pelatihan umum. Fine-tuning meningkatkan relevansi, akurasi, dan performa model untuk aplikasi niche.

Kustomisasi untuk kasus penggunaan spesifik

Fine-tuning memungkinkan pengembang mengkustomisasi model untuk menciptakan pengalaman yang unik dan terdiferensiasi, memenuhi kebutuhan serta domain tertentu. Dengan melatih model pada data spesifik domain, model dapat menghasilkan keluaran yang lebih relevan dan akurat untuk niche tersebut. Tingkat kustomisasi ini memungkinkan bisnis membangun aplikasi AI yang benar-benar disesuaikan.

Keterarahan dan keandalan yang lebih baik

Fine-tuning meningkatkan kemampuan model untuk mengikuti instruksi dan menghasilkan format keluaran yang andal dan konsisten. Melalui pelatihan pada data berformat, model mempelajari struktur dan gaya yang diinginkan, sehingga lebih mudah diarahkan. Hasilnya adalah keluaran yang lebih dapat diprediksi dan terkendali.

Performa yang ditingkatkan

Fine-tuning dapat meningkatkan performa model secara signifikan, bahkan memungkinkan GPT-3.5 Turbo yang telah di-fine-tune menyamai atau melampaui kapabilitas GPT-4 pada tugas-tugas khusus tertentu. Dengan mengoptimalkan model untuk domain yang sempit, model mencapai hasil unggul pada ruang masalah tersebut dibanding model generalis. Peningkatan performa dari fine-tuning sangat berarti.

Lihat panduan kami tentang 12 Alternatif Open-Source GPT-4, yang mengeksplorasi beberapa alat dengan performa serupa dan membutuhkan sumber daya komputasi lebih sedikit.

Dampak Fine-Tuning GPT 3.5-Turbo

Dalam pengujian beta yang dilakukan OpenAI, mereka mengamati bahwa pelanggan yang melakukan fine-tuning pada model mengalami peningkatan performa yang nyata untuk berbagai aplikasi standar. Berikut beberapa poin penting:

1. Keterarahan yang lebih baik

Melalui fine-tuning, perusahaan dapat lebih mudah membimbing model agar mematuhi pedoman tertentu. Misalnya, jika perusahaan menginginkan jawaban yang ringkas atau membutuhkan model selalu merespons dalam bahasa tertentu, fine-tuning dapat mewujudkannya. Contoh klasiknya adalah pengembang dapat menyetel model agar secara konsisten merespons dalam bahasa Jerman saat diminta.

2. Struktur respons yang konsisten

Salah satu manfaat menonjol dari fine-tuning adalah kemampuannya untuk membuat keluaran model lebih seragam. Ini sangat bernilai untuk tugas yang memerlukan struktur respons tertentu, seperti saran kode atau pembuatan interaksi API. Misalnya, dengan fine-tuning, pengembang dapat mempercayai model untuk mengubah kueri pengguna menjadi format JSON berkualitas yang kompatibel dengan sistem mereka.

3. Nada yang dipersonalisasi

Fine-tuning dapat digunakan untuk menyelaraskan respons model dengan suara atau gaya unik perusahaan. Perusahaan dengan identitas merek yang khas dapat memanfaatkan fitur ini untuk memastikan nada model selaras dengan esensi merek mereka.

Prasyarat untuk Fine-tuning

Fine-tuning memungkinkan kustomisasi model bahasa pralatih seperti GPT-3.5 Turbo dengan melanjutkan proses pelatihan pada data Anda sendiri. Ini mengadaptasi model ke kasus penggunaan spesifik Anda dan secara signifikan meningkatkan performanya.

Untuk memulai fine-tuning, pertama-tama Anda memerlukan akses ke API OpenAI. Setelah mendaftar di situs OpenAI, Anda dapat memperoleh kunci API yang memungkinkan Anda berinteraksi dengan API dan model.

Berikutnya, Anda perlu menyiapkan dataset untuk fine-tuning. Ini melibatkan kurasi contoh prompt teks dan respons model yang diinginkan. Data harus sesuai dengan format yang akan digunakan aplikasi Anda untuk memanfaatkan model. Membersihkan dan memformat data ke dalam struktur JSONL yang diperlukan juga penting.

OpenAI CLI menyediakan alat yang berguna untuk memvalidasi dan melakukan prapemrosesan data pelatihan Anda.

Setelah divalidasi, Anda dapat mengunggah data ke server OpenAI.

Terakhir, Anda memulai pekerjaan fine-tuning melalui API, memilih model dasar GPT-3.5

Turbo dan meneruskan berkas data pelatihan Anda. Proses fine-tuning dapat memakan waktu berjam-jam atau berhari-hari, tergantung ukuran data. Anda dapat memantau kemajuan pelatihan melalui API.

Cara Fine-tune Model OpenAI GPT 3.5-Turbo: Panduan Langkah demi Langkah

OpenAI baru-baru ini merilis antarmuka UI untuk fine-tuning model bahasa. Dalam tutorial ini, saya akan menggunakan UI OpenAI untuk membuat model GPT yang di-fine-tune. Untuk mengikuti bagian ini, Anda harus memiliki akun dan kunci OpenAI.

1. Masuk ke platform.openai.com

2. Siapkan data Anda

Untuk demonstrasi, saya telah mengkurasi dataset kecil tanya jawab, dan saat ini disimpan sebagai Pandas DataFrame.

Sebagai ilustrasi, saya membuat 50 pertanyaan pembelajaran mesin dan jawabannya dalam gaya Shakespeare. Melalui pekerjaan fine-tuning ini, saya mempersonalisasi gaya dan nada model GPT3.5-turbo.

Meskipun ini bukan kasus penggunaan yang sangat praktis, karena Anda bisa saja menambahkan “Jawab dengan gaya Shakespeare” pada prompt, GPT3.5 tentu mengenal Shakespeare dan akan menghasilkan jawaban dengan nada yang diminta.

Untuk OpenAI data harus dalam format jsonl. JSONL adalah format di mana setiap baris merupakan objek JSON yang valid, dipisahkan oleh baris baru. Saya menulis kode sederhana untuk mengonversi pd.DataFrame menjadi jsonl.

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

Beginilah tampilan berkas jsonl saya:

3. Buat pekerjaan fine-tuning

Kunjungi platform.openai.com lalu masuk ke Fine-tuning pada menu atas dan klik Create New.

Pilih model dasar. Saat ini, hanya 3 model yang tersedia untuk fine-tuning (babbage-002, davinci-002, gpt-3.5-turbo-0613).

Selanjutnya, unggah saja berkas jsonl, beri nama pekerjaan, dan klik Create.

Pekerjaan tuning dapat memakan waktu beberapa jam atau bahkan hari, tergantung ukuran dataset. Pada contoh saya, dataset hanya memiliki 5.500 token, dan fine-tuning memakan waktu lebih dari 6 jam. Biaya pekerjaan ini tidak signifikan (<$1 = 5.500/1000 x $0,08).

Tutorial ini menunjukkan cara menggunakan UI untuk melakukan fine-tuning model GPT. Jika Anda ingin mempelajari cara mencapai hal yang sama menggunakan API, lihat tutorial Fine-Tuning GPT-3 Menggunakan OpenAI API dan Python oleh Zoumana Keita di DataCamp.

4. Menggunakan model yang telah di-fine-tune

Setelah pekerjaan tuning selesai, Anda dapat menggunakan model yang telah di-fine-tune melalui API atau menggunakan playground yang tersedia di platform.openai.com.

Perhatikan bahwa pada dropdown Model, kini tersedia 3.5-turbo pribadi untuk dipilih. Mari kita coba.

Perhatikan nada dan gaya responsnya.

Jika Anda ingin mempelajari cara bekerja dengan paket Python OpenAI untuk melakukan percakapan secara terprogram dengan ChatGPT, lihat blog Menggunakan GPT-3.5 dan GPT-4 melalui OpenAI API di Python di DataCamp.

Keamanan dan Privasi

OpenAI sangat memperhatikan keamanan dan memiliki proses ketat sebelum merilis model baru, termasuk pengujian, masukan ahli, teknik untuk meningkatkan perilaku model, dan sistem pemantauan. Mereka bertujuan menjadikan sistem AI yang kuat bermanfaat sekaligus meminimalkan risiko yang dapat diperkirakan.

Fine-tuning memungkinkan kustomisasi model seperti GPT-3.5 Turbo sambil tetap menjaga fitur keamanan penting. OpenAI menerapkan intervensi di berbagai tingkat - pengukuran, perubahan model, kebijakan, pemantauan - untuk memitigasi risiko dan menyelaraskan model.

OpenAI menghapus informasi pribadi dari data pelatihan jika memungkinkan dan memiliki kebijakan menentang pembuatan konten dengan info individu privat. Ini meminimalkan risiko privasi.

Untuk kasus penggunaan umum tanpa data sensitif, model OpenAI dapat dimanfaatkan dengan aman. Namun untuk data kepemilikan atau yang diatur, opsi seperti pengaburan data, prosesor AI privat, atau model in-house mungkin lebih disukai.

Biaya fine-tuning GPT 3.5-turbo

Ada tiga komponen biaya yang terkait dengan fine-tuning dan penggunaan model GPT 3.5-turbo yang telah di-fine-tune.

1. Persiapan data pelatihan. Ini melibatkan kurasi dataset berupa prompt teks dan respons yang diinginkan yang disesuaikan dengan kasus penggunaan Anda. Biaya akan bergantung pada waktu dan upaya untuk mendapatkan serta memformat data.
2. Biaya pelatihan awal. Dikenakan per token data pelatihan. Dengan $0,008 per 1.000 token, set pelatihan 100.000 token akan menelan biaya $800 untuk fine-tuning awal.
3. Biaya penggunaan berkelanjutan. Dikenakan per token untuk prompt input dan keluaran model. Dengan $0,012 per 1.000 token input dan $0,016 per 1.000 token output, biaya dapat cepat bertambah tergantung penggunaan aplikasi.

Mari lihat contoh skenario biaya penggunaan:

• Chatbot dengan prompt/respons 4.000 token, 1.000 interaksi per hari:
  (4.000/1000) token input x $0,012 x 1.000 interaksi = $48 per hari
  (4.000/1000) token output x $0,016 x 1.000 interaksi = $64 per hari
  Total = $112 per hari atau $3.360 per bulan

• API peringkasan teks dengan input 2.000 token, 500 permintaan per hari:
  (2.000/1000) token input x $0,012 x 500 permintaan = $12 per hari
  (2.000/1000) token output x $0,016 x 500 permintaan = $16 per hari
  Total = $28 per hari atau $840 per bulan

Catatan: Token dibagi 1000 karena harga OpenAI dikutip per 1K token.

Pelajari cara menggunakan ChatGPT dalam proyek data science ujung ke ujung di dunia nyata. Lihat Panduan Menggunakan ChatGPT untuk Proyek Data Science untuk mempelajari cara menggunakan ChatGPT untuk perencanaan proyek, analisis data, prapemrosesan data, pemilihan model, penyetelan hiperparameter, pengembangan aplikasi web, dan penyebarannya di Spaces.

Kesimpulan

Saat kita menyelami batas depan kapabilitas model bahasa besar, GPT-3.5 Turbo menonjol bukan hanya karena kemampuannya menghasilkan teks mirip manusia, tetapi juga karena potensi transformatif yang dibuka oleh fine-tuning. Proses kustomisasi ini memungkinkan pengembang mengasah keunggulan model untuk aplikasi niche, sehingga mencapai hasil unggul yang bahkan menyamai atau melampaui para penerusnya di domain khusus.

Peningkatan dalam keterarahan, penataan respons, dan personalisasi nada terlihat jelas pada aplikasi yang di-fine-tune agar sesuai dengan kebutuhan spesifik, memungkinkan bisnis menghadirkan pengalaman berbasis AI yang unik. Namun, bersama kekuatan besar hadir tanggung jawab besar pula. Penting untuk memahami biaya terkait serta memperhatikan pertimbangan keamanan dan privasi saat menerapkan Generative AI dan model bahasa.

Dapatkan akses ke 60+ prompt ChatGPT untuk tugas data science dengan Lembar Contekan ChatGPT untuk Data Science.