Embedding teks adalah alat penting dalam bidang pemrosesan bahasa alami (NLP). Ini merupakan representasi numerik dari teks di mana setiap kata atau frasa direpresentasikan sebagai vektor padat berupa bilangan real.
Keunggulan utama embedding ini adalah kemampuannya menangkap makna semantik dan hubungan antar kata atau frasa, yang memungkinkan mesin memahami dan memproses bahasa manusia secara efisien.
Embedding teks sangat penting dalam skenario seperti klasifikasi teks, penelusuran informasi, dan deteksi kesamaan semantik.
OpenAI, yang dikenal atas kontribusinya yang luar biasa di bidang kecerdasan buatan, saat ini merekomendasikan penggunaan model Ada V2 untuk membuat embedding teks. Model ini diturunkan dari seri model GPT dan telah dilatih untuk menangkap makna kontekstual dan asosiasi dalam teks dengan lebih baik.
Jika Anda belum familiar dengan API OpenAI atau paket Python openai, disarankan untuk membaca Menggunakan GPT-3.5 dan GPT-4 melalui OpenAI API di Python sebelum melanjutkan. Panduan ini akan membantu Anda menyiapkan akun dan memahami manfaat penggunaan API.
Tutorial ini juga melibatkan penggunaan klasterisasi, sebuah teknik pembelajaran mesin untuk mengelompokkan instance yang serupa. Jika Anda belum familiar dengan klasterisasi, khususnya k-Means, pertimbangkan untuk membaca Pengenalan k-Means Clustering dengan scikit-learn di Python.
Untuk Apa Embedding Teks Dapat Digunakan?
Embedding teks dapat diterapkan pada banyak kasus penggunaan, antara lain:
- Klasifikasi teks. Embedding teks membantu membuat model yang akurat untuk analisis sentimen atau identifikasi topik.
- Penelusuran informasi. Dapat digunakan untuk mengambil informasi yang relevan dengan kueri tertentu, mirip seperti yang kita temukan di mesin telusur.
- Deteksi kesamaan semantik. Embedding dapat mengidentifikasi dan mengukur kesamaan semantik antar potongan teks.
- Sistem rekomendasi. Dapat meningkatkan kualitas rekomendasi dengan memahami preferensi pengguna berdasarkan interaksi mereka dengan data teks.
- Generasi teks. Embedding digunakan untuk menghasilkan teks yang lebih koheren dan relevan secara kontekstual.
- Penerjemahan mesin. Embedding teks dapat menangkap makna semantik lintas bahasa, yang dapat meningkatkan kualitas proses penerjemahan mesin.
Menyiapkan Lingkungan
Beberapa paket Python diperlukan untuk bekerja dengan embedding teks, seperti diuraikan di bawah ini:
- os: Pustaka bawaan Python untuk berinteraksi dengan sistem operasi.
- openai: klien Python untuk berinteraksi dengan OpenAI API.
- scipy.spatial.distance: menyediakan fungsi untuk menghitung jarak antar titik data.
- sklean.cluster.KMeans: digunakan untuk menghitung klasterisasi KMeans.
- umap.UMAP: sebuah teknik untuk mereduksi dimensi data berdimensi tinggi.
Sebelum menggunakannya, pastikan untuk memasang openai, scipy, plotly sklearn, dan umap dengan perintah berikut. Kode lengkap tersedia di buku kerja DataLab ini.
pip install -U openai, scipy, plotly-express, scikit-learn, umap-learnSetelah perintah sebelumnya dijalankan dengan sukses, semua pustaka dapat diimpor sebagai berikut:
import os
import openai
from scipy.spatial import distance
import plotly.express as px
from sklearn.cluster import KMeans
from umap import UMAPSekarang kita dapat menyiapkan kunci API OpenAI sebagai berikut:
openai.api_key = "<YOUR_API_KEY_HERE>"Catatan: Anda perlu menyiapkan API KEY Anda sendiri. Kunci pada kode sumber tidak tersedia dan hanya untuk penggunaan individu.
Pola Kode untuk Memanggil GPT melalui API
Fungsi pembantu berikut dapat digunakan untuk melakukan embedding pada satu baris teks menggunakan OpenAI API. Dalam kode, kita menggunakan ada versi 2 untuk menghasilkan embedding.
def get_embedding(text_to_embed):
# Embed a line of text
response = openai.Embedding.create(
model= "text-embedding-ada-002",
input=[text_to_embed]
)
# Extract the AI output embedding as a list of floats
embedding = response["data"][0]["embedding"]
return embeddingTentang Dataset
Pada bagian ini, kita akan menggunakan data ulasan alat musik Amazon yang tersedia gratis dari Kaggle. Data juga dapat diunduh dari akun Github saya sebagai berikut:
import pandas as pd
data_URL = "https://raw.githubusercontent.com/keitazoumana/Experimentation-Data/main/Musical_instruments_reviews.csv"
review_df = pd.read_csv(data_URL)
review_df.head()
Dari semua kolom, kita hanya tertarik pada kolom reviewText.
review_df = review_df[['reviewText']]
print("Data shape: {}".format(review_df.shape))
display(review_df.head())Data shape: (10261, 1)
Ada banyak ulasan dalam dataset. Untuk tujuan optimasi biaya, kita hanya akan menggunakan 100 baris yang dipilih secara acak.
Sekarang, kita dapat menghasilkan embedding untuk setiap baris di seluruh dataset dengan menerapkan fungsi sebelumnya menggunakan ekspresi lambda:
review_df = review_df.sample(100)
review_df["embedding"] = review_df["reviewText"].astype(str).apply(get_embedding)
# Make the index start from 0
review_df.reset_index(drop=True)
review_df.head(10)
10 baris pertama dari ulasan dan embedding
Memahami Kesamaan Teks
Untuk menunjukkan konsep kesamaan semantik, mari pertimbangkan dua ulasan yang mungkin memiliki sentimen serupa:
“Produk ini luar biasa!”
“Benar-benar melebihi ekspektasi saya!”
Menggunakan pdist() dari scipy.spatial.distance, kita dapat menghitung jarak euclidean antara embedding-nya.
Jarak Euclidean berkorelasi dengan akar kuadrat dari jumlah selisih kuadrat antara kedua embedding, dan ilustrasinya diberikan di bawah ini:
Ilustrasi jarak euclidean (sumber)
Jika ulasan-ulasan ini memang mirip, jaraknya seharusnya relatif kecil.
Selanjutnya, pertimbangkan dua ulasan yang berbeda:
“Produk ini luar biasa!"
"Saya tidak puas dengan barangnya."
Jarak antara embedding kedua ulasan ini akan jauh lebih besar dibanding jarak antara ulasan yang serupa.
Studi Kasus: Gunakan Embedding Teks untuk Analisis Klaster
Embedding teks yang telah kita hasilkan dapat digunakan untuk melakukan analisis klaster sehingga instrumen musik yang lebih mirip satu sama lain dapat dikelompokkan bersama.
Ada beberapa algoritma klasterisasi yang tersedia seperti K-Means, DBSCAN, klasterisasi hierarkis, dan Gaussian Mixture Models. Dalam kasus penggunaan ini, kita akan menggunakan klasterisasi KMeans. Namun, Pengenalan Klasterisasi Hierarkis di Python kami memberikan kerangka kerja yang baik untuk memahami seluk-beluk klasterisasi hierarkis dan penerapannya di Python.
Klasterisasi data teks
Menggunakan klasterisasi K-means memerlukan pendefinisian jumlah klaster terlebih dahulu, dan kita akan menetapkan jumlah tersebut menjadi 3 melalui parameter n_clusters sebagai berikut:
kmeans = KMeans(n_clusters=3)
kmeans.fit(review_df["embedding"].tolist())Reduksi dimensi data teks ter-embedding
Manusia umumnya hanya mampu memvisualisasikan hingga tiga dimensi. Bagian ini akan menggunakan UMAP, alat yang relatif cepat dan skalabel untuk melakukan reduksi dimensi.
Pertama, kita mendefinisikan instance kelas UMAP dan menerapkan fungsi fit_transform pada embedding, yang menghasilkan representasi dua dimensi dari embedding ulasan yang dapat dipetakan.
reducer = UMAP()
embeddings_2d = reducer.fit_transform(review_df["embedding"].tolist())Visualisasikan klaster
Terakhir, buat diagram sebar untuk embedding dua dimensi. Koordinat x dan y masing-masing diambil dari embeddings_2d[: , 0] dan embeddings_2d[: , 1]
Klaster akan tampak berbeda secara visual:
fig = px.scatter(x=embeddings_2d[:, 0], y=embeddings_2d[:, 1], color=kmeans.labels_)
fig.show()
Visualisasi klaster
Secara keseluruhan terdapat tiga klaster utama dengan warna berbeda. Warna setiap ulasan pada gambar ditentukan oleh label/nomor klaster yang ditetapkan oleh model K-Means. Selain itu, posisi tiap titik memberikan representasi visual tentang seberapa mirip suatu ulasan dengan yang lain.
Lanjut ke Tingkat Berikutnya
Untuk memperdalam pemahaman Anda tentang embedding teks dan OpenAI API, pertimbangkan materi dari DataCamp berikut: Fine-Tuning GPT-3 Menggunakan OpenAI API dan Python dan Cheat Sheet OpenAI API di Python. Materi ini membantu Anda memaksimalkan potensi GPT-3 melalui fine-tuning dan juga mengilustrasikan cara menggunakan OpenAI API dan Python untuk meningkatkan model jaringan saraf canggih ini sesuai kebutuhan spesifik Anda.
