Mengestimasi Biaya GPT dengan Library tiktoken di Python

Saat bekerja dengan model OpenAI GPT di Python, memantau biaya itu penting. Di sinilah library tiktoken berguna—alat yang memudahkan Anda memperkirakan berapa banyak biaya panggilan API dengan mengonversi teks menjadi token, yaitu unit dasar yang digunakan GPT dan LLM lainnya untuk memahami dan menghasilkan teks.

Di sini, kita akan membahas apa itu tokenisasi dan mengapa hal itu penting bagi model bahasa, memperkenalkan Byte Pair Encoding (BPE), lalu menelusuri bagaimana library tiktoken dapat membantu Anda memprediksi biaya penggunaan GPT secara efektif.

Apa itu Tokenisasi

Tokenisasi adalah proses inti dalam pengoperasian GPT atau model bahasa lainnya, berperan sebagai langkah pertama untuk menerjemahkan bahasa alami ke dalam format yang dapat dipahami dan diproses oleh sistem AI canggih ini.

Intinya, tokenisasi memecah teks menjadi bagian-bagian kecil yang mudah dikelola yang disebut token. Token ini bisa berupa kata, bagian kata, atau bahkan karakter individual, bergantung pada metode tokenisasi yang digunakan.

Tokenisasi yang efektif sangat penting karena secara langsung memengaruhi kemampuan model untuk menafsirkan teks masukan, menghasilkan respons yang koheren dan sesuai konteks, serta memperkirakan biaya komputasi dengan akurat.

Byte Pair Encoding (BPE)

Byte Pair Encoding (BPE) adalah metode tokenisasi khusus yang menonjol karena digunakan pada model GPT dan aplikasi pemrosesan bahasa alami (NLP) lainnya. BPE menyeimbangkan antara kehalusan tokenisasi tingkat karakter dan cakupan yang lebih luas dari tokenisasi tingkat kata.

BPE bekerja dengan terus-menerus menggabungkan pasangan byte (atau karakter) yang paling sering muncul dalam teks menjadi satu token baru. Proses ini berlanjut untuk jumlah iterasi yang telah ditentukan atau hingga ukuran kosakata yang diinginkan tercapai.

Signifikansi BPE pada LLM tidak bisa diremehkan. BPE memungkinkan model menangani beragam kosakata secara efisien, termasuk kata umum, kata langka, dan bahkan neologisme, tanpa memerlukan kosakata tetap yang sangat besar dan sulit dikelola.

Adaptabilitas ini dicapai dengan memecah kata-kata yang kurang umum menjadi sub-kata atau karakter yang kemungkinan muncul dalam konteks lain, sehingga memungkinkan model merangkai makna istilah yang tidak dikenal dari komponen yang sudah diketahui.

Beberapa karakteristik utama BPE adalah:

• Bersifat reversibel dan memastikan tidak ada informasi yang hilang, sehingga teks asli dapat direkonstruksi sempurna dari token. Misalnya, jika kata “exciting” dikonversi menjadi [12 34 39 10 23], maka vektor ini dapat dibalik kembali menjadi kata “exciting” tanpa kehilangan apa pun.
• BPE dapat menangani teks apa pun, bahkan jika tidak termasuk dalam himpunan pelatihan awal model, sehingga sangat serbaguna.
• Metode ini secara efektif mengompresi teks, dengan versi token biasanya lebih pendek daripada teks aslinya. Rata-rata, setiap token merepresentasikan sekitar empat byte dari teks asli.
• BPE juga membantu model mengenali dan memahami bagian-bagian kata yang umum. Misalnya, "ing" sering muncul dalam kata-kata bahasa Inggris, sehingga BPE akan membagi "exciting" menjadi "excit" dan "ing." Paparan berulang terhadap subkata umum seperti "ing" di berbagai konteks meningkatkan kemampuan model memahami tata bahasa dan menggeneralisasi pola bahasa.

tiktoken

tiktoken adalah algoritma BPE yang cepat yang dikembangkan oleh OpenAI. Versi open-source dari algoritma ini tersedia di banyak library, termasuk Python. Menurut GitHub mereka, tiktoken 3–6x lebih cepat daripada tokenizer open-source sebanding.

Sumber

Library tiktoken mendukung tiga metode pengodean yang berbeda. Encoding menentukan metode mengubah teks menjadi token. Model yang berbeda menggunakan encoding yang berbeda.

Sumber

Mengestimasi Biaya GPT dengan Library tiktoken di Python

Library tiktoken dapat mengodekan string teks menjadi token, dan karena kita mengetahui nama encoding untuk model yang digunakan, kita dapat memakai library ini untuk memperkirakan biaya panggilan API sebelum melakukan panggilan.

Langkah 1. Instal tiktoken

!pip install openai tiktoken

Langkah 2. Muat sebuah encoding

Metode tiktoken.get_encoding mengembalikan encoding yang relevan

encoding = tiktoken.get_encoding("cl100k_base")
encoding

Keluaran:

>>> <Encoding 'cl100k_base'>

Sebagai alternatif, Anda juga dapat memuatnya dari nama model dengan menggunakan metode tiktoken.encoding_for_model.

encoding = tiktoken.encoding_for_model("gpt-4")

Langkah 3. Ubah teks menjadi token

Sekarang yang perlu Anda lakukan hanyalah meneruskan string ke metode encode.

encoding.encode("This blog shows how to use tiktoken for estimating cost of GPT models")

Keluaran:

>>> [2028, 5117, 5039, 1268, 311, 1005, 73842, 5963, 369, 77472, 2853, 315, 480, 2898, 4211]

Anda cukup memanggil metode length untuk mengetahui berapa banyak token dalam string ini. Harga untuk model ini dapat ditemukan di situs web OpenAI.

Dalam contoh ini, kita memiliki 15 token masukan. Harga GPT-4 sebesar $10/1M token masukan berarti biaya untuk kueri ini adalah $0,00015 ($10 / 1.000.000 * 15).

Karena algoritma BPE sepenuhnya reversibel, Anda dapat menggunakan metode decode untuk kembali dari token ke string teks.

encoding.decode([2028, 5117, 5039, 1268, 311, 1005, 73842, 5963, 369, 77472, 2853, 315, 480, 2898, 4211])

Keluaran:

>>> ‘This blog shows how to use tiktoken for estimating cost of GPT models’

Kesimpulan

Menavigasi biaya penggunaan model GPT di Python tidak perlu menjadi tebak-tebakan, berkat library tiktoken. Dengan memahami tokenisasi, khususnya metode Byte Pair Encoding (BPE), dan memanfaatkan tiktoken, Anda dapat memperkirakan biaya yang terkait dengan panggilan API GPT secara akurat. Panduan ini telah mengulas dasar-dasar tokenisasi, efisiensi BPE, dan proses sederhana menggunakan tiktoken untuk mengubah teks menjadi token—dan kembali lagi—sambil tetap cermat terhadap anggaran Anda.

Baik Anda sedang mengoptimalkan biaya, menguji ide baru, atau menskalakan aplikasi, memiliki pengetahuan dan alat ini memastikan Anda selalu terinformasi dan mengendalikan biaya penggunaan GPT. Ingat, mengelola biaya komputasi sama pentingnya dengan pekerjaan inovatif yang Anda lakukan dengan model GPT. Dengan tiktoken, Anda siap untuk membuat setiap token—dan setiap dolar—berharga.

Jika Anda tertarik mendalami embeddings dan membuka aplikasi AI tingkat lanjut seperti pencarian semantik dan mesin rekomendasi, lihat Introduction to Embeddings with the OpenAI API dari DataCamp.

Jika Anda pemula dan ingin mendapatkan panduan praktis langkah demi langkah untuk OpenAI API, lihat Working With The OpenAI API course kami dan A Beginner's Guide to The OpenAI API: Hands-On Tutorial and Best Practices di Datacamp.