Pemrosesan Teks dengan Snowflake Cortex AI

Data teks membentuk porsi signifikan dari tugas analisis data modern, mulai dari ulasan pelanggan hingga dokumen perusahaan. Kemampuan untuk mengekstrak, meringkas, menerjemahkan, dan menganalisis informasi tekstual sangat penting untuk membuat keputusan berbasis data. Snowflake Cortex AI menyederhanakan pemrosesan teks dengan menyediakan lingkungan low-to-no-code untuk menggunakan AI. Artikel ini akan membahas fungsi-fungsi dasar Cortex AI dan kemudian memberikan beberapa kiat praktis untuk implementasi.

Snowflake Cortex AI sendiri adalah rangkaian alat AI dan machine learning yang kuat dan tertanam dalam Snowflake Data Cloud. Ia memiliki dukungan bawaan untuk fungsi Large Language Model (LLM) seperti Meta Llama 3 dan Mistral Large.  

Snowflake Cortex AI adalah cara yang sangat baik bagi praktisi data di semua tingkat untuk mulai menggunakan AI, karena menyediakan fungsi AI siap pakai dalam SQL, tidak memerlukan API eksternal, dan dapat diskalakan dengan infrastruktur data Snowflake. 

Jika Anda baru mengenal Snowflake, saya sarankan mengikuti kursus Introduction to Snowflake SQL.

Memahami Fungsi Pemrosesan Teks Snowflake Cortex AI

Snowflake Cortex AI menyediakan rangkaian alat bawaan yang dirancang untuk membuat pemrosesan teks lebih efisien. Dari peringkasan dan penerjemahan hingga analisis sentimen dan penguraian dokumen, fungsi-fungsi ini memungkinkan pengguna mengekstrak wawasan dari volume teks besar langsung di dalam Snowflake. Mari jelajahi kemampuan ini dan cara penerapannya dalam skenario dunia nyata.

Fungsi Large Language Model (LLM)

Snowflake Cortex AI menyediakan fungsi Large Language Model (LLM) untuk menjalankan berbagai tugas terkait teks secara efisien. 

Sebagai contoh, fungsi COMPLETE memungkinkan pengguna memberikan prompt ke model tertentu (seperti Llama3 atau Mistral) dan mendapatkan respons kembali, mirip dengan cara Anda menggunakan ChatGPT di web. 

Anda juga dapat menggunakan fungsi tertentu seperti SUMMARIZE dan TRANSLATE untuk cara cepat dan mudah melakukan tugas spesifik. Fungsi-fungsi ini memudahkan untuk melakukan peringkasan, penerjemahan, dan analisis sentimen dengan cepat. Jika Anda ingin mempelajari lebih lanjut tentang LLM secara umum, lihat kursus LLMs Concepts.

Document AI

Document AI adalah fitur kecerdasan buatan milik Snowflake yang dirancang untuk mengekstrak dan menyusun informasi dari dokumen tidak terstruktur. Pada intinya, ia memanfaatkan Arctic-TILT, model AI khusus Snowflake, untuk menganalisis teks dari berbagai format dokumen dan mengubahnya menjadi data terstruktur yang siap di-query.

Dengan Document AI, pengguna dapat:

• Mengunggah dokumen (misalnya PDF, laporan hasil pindai, faktur).
• Mengajukan kueri berbasis AI untuk mengekstrak informasi yang relevan.
• Mengotomatiskan pipeline ekstraksi data untuk menyederhanakan alur kerja.

Walaupun alat ini sangat kuat, saat ini masih memiliki beberapa batasan terkait jenis file yang didukung, ukuran dokumen, dan panjang pemrosesan. Namun, bagi organisasi yang menangani volume besar teks tidak terstruktur—seperti dokumen hukum, kontrak pelanggan, atau laporan keuangan—Document AI menawarkan cara efisien untuk mengonversi teks mentah menjadi basis data Snowflake yang terstruktur, sehingga analisis lanjutan menjadi jauh lebih mudah.

Dari dokumentasi Snowflake Document AI

Fitur Pemrosesan Teks Utama di Snowflake Cortex AI

Mari lihat secara singkat fitur utama Snowflake Cortex AI dan apa yang dapat dilakukannya. Bagian berikutnya akan memberikan beberapa langkah (sederhana) untuk menggunakan fitur-fitur ini.

Peringkasan teks

Peringkasan teks dilakukan menggunakan fungsi SUMMARIZE. Singkatnya, fungsi ini mengambil sekumpulan teks dan dengan cepat memberikan ringkasan. Misalnya, jika Anda memberikan artikel atau laporan panjang, fungsi ini akan menyediakan informasi penting dari teks tersebut.

Penerjemahan teks

Fungsi TRANSLATE memungkinkan penerjemahan bahasa secara mulus. Fungsi ini dapat mengambil umpan balik pelanggan atau tiket dukungan yang diajukan dalam bahasa asing dan menerjemahkannya ke bahasa Inggris. Ia mendukung banyak bahasa target seperti Inggris, Prancis, Belanda, Jerman, Jepang, Tionghoa, dan lainnya.

Analisis sentimen

Analisis sentimen membedakan emosi atau nada keseluruhan dari sebuah teks. Ini memberikan konteks apakah sesuatu bersifat positif, negatif, atau netral. Fungsi SENTIMENT dari Snowflake mengembalikan nilai numerik antara -1 dan 1, dengan -1 berarti negatif, 1 berarti positif, dan 0 umumnya netral.

Penguraian dokumen

Penguraian dokumen mungkin merupakan fungsi yang paling kompleks di sini. Fungsi ini mengambil berkas dokumen yang disimpan di suatu tempat dan mengekstrak informasi dari dokumen tersebut. Kita dapat menggunakan fungsi PARSE_DOCUMENT untuk ini.

Menerapkan Pemrosesan Teks dengan Snowflake Cortex AI

Setelah kita mengeksplorasi kemampuan pemrosesan teks Cortex AI, mari bahas cara menerapkannya, dimulai dengan menyiapkan lingkungan Anda.

Menyiapkan lingkungan Anda

Ada beberapa langkah untuk siap menggunakan Snowflake Cortex AI. Pastikan Anda telah menyelesaikan hal-hal berikut:

1. Anda memerlukan peran pengguna basis data SNOWFLAKE.CORTEX_USER .
2. Data Anda harus disimpan dalam format yang kompatibel dengan Snowflake.
3. Anda harus mengaktifkan fungsi Cortex AI di instance Snowflake Anda.

Jika Anda tidak memiliki izin yang diperlukan, pastikan Anda berbicara dengan administrator basis data Anda (atau jika Anda administratornya, berikan peran ini kepada diri Anda) untuk mendapatkan akses. Perlu juga dicatat bahwa karena pengaturan tertentu di organisasi Anda, beberapa model mungkin tidak tersedia bagi Anda.

Contoh praktis

Mari kita bahas beberapa contoh fungsi utama peringkasan, penerjemahan, dan analisis sentimen. Kita akan menggunakan berbagai nama tabel dan kolom contoh. Anggaplah bahwa tabel yang kita ambil adalah tabel apa pun di basis data Snowflake Anda, dan kolomnya berisi informasi teks Anda. Anda akan segera melihat betapa mudahnya menjalankan fungsi-fungsi ini di Snowflake.

Meringkas data teks

Mari mulai dengan tugas yang sangat umum yaitu meringkas berbagai artikel berita.

-- Assume that the data is in the table ‘articles’
--We want to summarize all the text from all the articles we have in our database

SELECT SNOWFLAKE.CORTEX.SUMMARIZE(article_text) AS summary
FROM articles;Didukung oleh

Menerjemahkan tiket dukungan

Tugas umum lainnya adalah menerjemahkan tiket dukungan yang mungkin tidak semuanya datang dalam bahasa lokal Anda. SNOWFLAKE.CORTEX.TRANSLATE(text, ‘source language’,’target language’) adalah sintaks umum di mana ’source language’ dan ’target language’ ditulis dalam kode bahasa dua huruf. 

Jika bahasa sumber berupa string kosong ’’ maka bahasanya akan dideteksi secara otomatis.

/* We select from the table support_tickets
 The column ticket_description has all the ticket text
We are going from ‘fr’ to ‘en’ */
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, 'fr', 'en') FROM support_tickets;

--If we leave the source language as just an empty string ‘’, it will automatically detect the language
SELECT SNOWFLAKE.CORTEX.TRANSLATE(ticket_description, '', 'en') FROM support_tickets;Didukung oleh

Melakukan analisis sentimen pada komentar pelanggan

Terakhir, mari lihat sentimen pelanggan dari media sosial menggunakan SENTIMENT.

--Select from the social_media_comments table
--provide the text to the SENTIMENT function.
SELECT SNOWFLAKE.CORTEX.SENTIMENT(comment_text) FROM social_media_comments;Didukung oleh

Praktik terbaik dan pertimbangan

Seperti halnya apa pun yang terkait AI, kita harus memastikan memiliki serangkaian praktik terbaik dan pedoman. Memastikan kita mengikuti hukum privasi data dan mengoptimalkan kueri akan memberi kita pengalaman terbaik saat menggunakan Snowflake Cortex AI.

Privasi dan keamanan data

Privasi data adalah salah satu komponen paling krusial, terutama dalam konteks AI. Untungnya, Snowflake menanamkannya ke dalam lingkungan Anda. Anda dapat memanfaatkan kerangka kerja kontrol akses Snowflake untuk membantu memastikan bahwa Anda mengikuti praktik terbaik akses dan kepatuhan regulasi.

• Pastikan kepatuhan terhadap GDPR, CCPA, dan peraturan lainnya saat memproses data pengguna.
• Gunakan role-based access controls (RBAC) untuk membatasi pemrosesan teks yang sensitif.

Optimasi kinerja

Data tidak terstruktur bisa sangat besar. Bersikap cerdas tentang cara kita memproses data akan meminimalkan waktu proses dan biaya. Coba praktik terbaik berikut untuk optimasi kinerja:

• Pemrosesan batch: Proses teks secara massal alih-alih satu baris pada satu waktu.
• Penyimpanan efisien: Simpan dokumen besar dalam tabel Snowflake yang dioptimalkan.
• Pengindeksan dan caching: Gunakan pengindeksan untuk data teks yang sering diakses.

Kesimpulan

Snowflake Cortex AI menyederhanakan pemrosesan teks dengan menawarkan fungsi teks bertenaga AI bawaan langsung di dalam Snowflake SQL. Dengan kemampuan tangguh untuk peringkasan, penerjemahan, analisis sentimen, dan penguraian dokumen, praktisi data di semua tingkat dapat mengekstrak wawasan bermakna dari teks dengan mudah. 

Dengan memanfaatkan alat AI siap pakai, bisnis dapat membuka informasi berharga dan mendorong pengambilan keputusan berbasis data dengan mudah. Jika Anda tertarik mempelajari lebih lanjut tentang Snowflake dan peralatannya, coba sumber daya ini:

• Cara Belajar Snowflake pada 2025
• Introduction to Data Modeling in Snowflake
• Introduction to Snowflake for Beginners
• Snowflake Cortex AI dengan Python