Cara Membangun Chatbot dengan Snowflake Cortex AI (Panduan Langkah demi Langkah)

Cortex AI dari Snowflake menghadirkan kapabilitas AI yang andal langsung ke dalam lingkungan Snowflake Anda. Misalnya, dengan memanfaatkan akses Cortex ke Large Language Model (LLM) kelas industri, kita dapat membangun alat seperti chatbot AI yang menggunakan data internal perusahaan tanpa mengorbankan keamanan data sensitif. 

Integrasi ini telah mendorong peralihan dari obrolan dan otomasi berbasis aturan tradisional ke obrolan bertenaga AI yang lebih fleksibel, yang mampu memahami masukan pengguna dengan lebih baik untuk memberikan jawaban yang lebih menyeluruh dan lengkap.

Dalam tutorial ini, saya akan memandu Anda melalui langkah-langkah tingkat tinggi tentang cara membuat chatbot menggunakan Snowflake Cortex. Anda akan mempelajari cara menyiapkan data, mengonfigurasi Cortex Search, menggunakan Document AI untuk data tidak terstruktur, membangun antarmuka chatbot di Streamlit, dan saya akan memberikan ide cara mengintegrasikannya dengan aplikasi eksternal. Pada akhirnya, Anda akan memiliki keterampilan praktis dan pemahaman konseptual yang diperlukan untuk merancang AI percakapan di Snowflake.

Jika Anda baru mengenal Snowflake, saya sarankan mengikuti jalur keterampilan Snowflake Foundations untuk mengejar ketertinggalan. Anda juga bisa mendapatkan uji coba gratis Snowflake untuk mempraktikkan keterampilan Anda.

Apa itu Snowflake Cortex?

Intinya, Snowflake Cortex menghadirkan layanan bertenaga AI dan LLM ke dalam ekosistem Snowflake. Tutorial ini akan membahas integrasi Cortex dengan data Snowflake Anda untuk membuat aplikasi chatbot Streamlit sederhana menggunakan Search Service Cortex dan Document AI untuk mengurai berkas dokumen guna membantu memberikan konteks tambahan ke model LLM yang ada melalui model retrieval augmented generation milik Cortex.

Tutorial ini akan membahas:

• Menyiapkan keseluruhan lingkungan Snowflake sebagai persiapan membangun chatbot Cortex Search
• Memanfaatkan fungsi LLM Cortex dan Document AI untuk mengekstrak wawasan dari dokumen.
• Membangun aplikasi chatbot dan analitik di Streamlit dalam Snowflake
• Struktur biaya dan pertimbangan saat menggunakan Cortex

Keuntungan menggunakan Cortex adalah pendekatan hibrida bawaan terhadap vektor, kata kunci, dan semantic reranking serta penghasil respons berbasis RAG, yang meningkatkan akurasi dan spesifikasinya. 

Membangun chatbot dan aplikasi analitik dengan Streamlit di Snowflake memanfaatkan fleksibilitas pengembangan Python sambil menekankan keamanan data dan tata kelola dengan menyimpan data sensitif di dalam lingkungan Snowflake Anda yang aman. 

Jika Anda ingin gambaran tentang kapabilitas Snowflake Cortex AI, lihat tutorial tentang penggunaan Cortex AI untuk tugas NLP dasar seperti peringkasan dan analisis sentimen.

Prasyarat

Sebelum membangun, mari siapkan akun Snowflake Anda. Dalam akun ini, Anda memerlukan izin berikut:

• Izin untuk membuat warehouse dan izin USAGE
• Izin Database: USAGE
• Izin skema: USAGE, CREATE STREAMLIT, CREATE STAGE, CREATE CORTEX SEARCH SERVICE atau OWNERSHIP
• Kemampuan menggunakan Document AI dengan izin tingkat akun yang sesuai. Dalam banyak kasus, Anda akan menggunakan peran bawaan Snowflake (misalnya, ACCOUNTADMIN, SYSADMIN) atau peran kustom dengan:
• USAGE pada database dan skema
• CREATE CORTEX SEARCH SERVICE
• OPERATE pada objek layanan pencarian setelah dibuat
• Untuk Cortex, Anda biasanya memerlukan peran CORTEX_USER yang dikombinasikan dengan grant tingkat objek (USAGE, OPERATE) untuk berinteraksi dengan layanan.

Idealnya, Anda familier dengan SQL, Python, dan konsep AI dasar. Anda perlu memahami SQL untuk menavigasi lingkungan Snowflake dan data. Anda memerlukan pemahaman Python untuk membangun aplikasi Streamlit. Memiliki pemahaman dasar tentang konsep AI akan membantu kita memahami komponen yang masuk ke dalam Cortex Search Service.

Dari sisi alat, kita akan berfokus pada Snowsight milik Snowflake yang merupakan peramban web mereka. Jika Anda ingin membangun ini secara lokal, Anda memerlukan IDE/editor teks sendiri. 

Meskipun kami akan mencoba menyediakan beberapa sampel data, idealnya Anda memiliki korpus uji dan dataset yang ingin Anda gunakan. Jika Anda tidak punya, saya merekomendasikan risalah rapat Federal Open Market Committee untuk tutorial ini (Berasal dari Snowflake): contoh risalah FOMC.

Cara Membangun Chatbot di Snowflake Cortex

Baik, mari mulai membangun! Beberapa instruksi mungkin sedikit lebih umum agar dapat mencakup beragam opsi.

Langkah 1: Siapkan Database, Skema, dan Warehouse Snowflake

Pertama, kita akan membuat lingkungan yang diperlukan untuk proyek chatbot kita.

-- Create a dedicated warehouse
CREATE OR REPLACE WAREHOUSE cortex_wh 
  WITH WAREHOUSE_SIZE = 'XSMALL' 
  AUTO_SUSPEND = 60 
  AUTO_RESUME = TRUE;

-- Create a database and stage
CREATE OR REPLACE DATABASE cortex_chatbot_db;
CREATE OR REPLACE STAGE cortex_chatbot_db.public.chatbot_stage;

-- Switch context
USE DATABASE cortex_chatbot_db;
USE WAREHOUSE cortex_wh;Didukung oleh

Ini memastikan semua sumber daya terisolasi dan biaya terkelola.

Langkah 2: Memuat dan Menyiapkan Data

Chatbot Anda memerlukan data untuk merespons pertanyaan. Ini bisa berupa:

• Data terstruktur: info pelanggan, log transaksi, katalog produk.
• Data tidak terstruktur: PDF, FAQ, kebijakan, basis pengetahuan.

Jika Anda membutuhkan informasi lebih lanjut tentang ingestion data dan cara memasukkan data ke Snowflake, lihat panduan tentang ingestion data ini.

Contoh: staging dan memuat berkas CSV.

-- Upload data (done via Snowsight UI or SnowSQL)
-- Example: product_faq.csv

-- Load into a table
CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.product_faq (
  question STRING,
  answer STRING
);

COPY INTO product_faq
FROM @chatbot_stage/product_faq.csv
FILE_FORMAT = (TYPE = CSV FIELD_OPTIONALLY_ENCLOSED_BY='"');Didukung oleh

Untuk data tidak terstruktur (misalnya, PDF), Anda dapat memprosesnya menggunakan Cortex Document AI. Kita akan membahas cara mengekstrak data dari sumber data tidak terstruktur menggunakan Cortex Document AI pada langkah berikutnya.

Kita ingin mengambil data terstruktur dan tidak terstruktur lalu memecahnya menjadi potongan (chunk) serta memastikan menambahkan beberapa metadata sesuai kebutuhan agar lebih efisien untuk RAG.

Langkah 3: Pelatihan Document AI dan Penguraian Dokumen

Mari bahas membangun model menggunakan Document AI untuk membuat model yang disetel guna mengurai dokumen. Perlu dicatat, ini opsional dan saya mendorong Anda mencoba model bawaan Snowflake untuk penguraian, karena model ini siap produksi dan menangani OCR, ekstraksi tata letak, dan deteksi tabel. Saat ini Anda tidak “melatih” model kustom langsung di Cortex Document AI, tetapi Anda bisa mengonfigurasi mode ekstraksi (misalnya, ekstraksi entitas, ekstraksi tabel) agar sesuai dengan data Anda.

Mulailah sederhana dengan parser default, dan hanya tambahkan konfigurasi lanjut jika dokumen Anda memiliki format yang kompleks atau tidak beraturan.

Di Snowsight, buka menu navigasi dan pergi ke AI & ML. Pilih cortex_wh kita lalu klik “Build”. Dari sana pilih “Create”. 

Setelah Anda membuat build, unggah dokumen ke build tersebut. Setelah pemrosesan selesai, kita bisa mengekstrak data menggunakan entity extraction atau table extraction. Entity extraction memungkinkan Anda mengajukan pertanyaan pada dokumen untuk mendapatkan data, sedangkan table extraction mengurai data berdasarkan kolom yang didefinisikan dalam dokumen Anda. 

Setelah model dibuat, kita ingin mengevaluasi akurasinya lalu melatih model sesuai kebutuhan. Melatih model akan menyetelnya terhadap struktur dokumen Anda. Sekarang kita dapat menggunakan model ini atau model default untuk mengurai dokumen. Untuk saat ini, kita akan tetap menggunakan parser AI bawaan Snowflake.

CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.doc_data AS --create the table
SELECT
    RELATIVE_PATH,
    TO_VARCHAR (
        SNOWFLAKE.CORTEX.PARSE_DOCUMENT ( --using default cortex parser
            '@cortex_chatbot.public.chatbot_stage',
            RELATIVE_PATH,
            {'mode': 'LAYOUT'} ):content
        ) AS EXTRACTED_LAYOUT
FROM
    DIRECTORY('@cortex_chatbot.public.chatbot_stage') --pull the files from the stage
WHERE
    RELATIVE_PATH LIKE '%.pdf'; --specifically just PDFsDidukung oleh

Sekarang data kita akan berada di sebuah tabel dan siap untuk ditransformasi.

Langkah 4: Transformasi Data dan Ekstraksi Fitur

Untuk menyiapkan data bagi interaksi chatbot, dokumen perlu dipecah menjadi chunk dan diperkaya dengan metadata. Chunking membuat Cortex Search lebih akurat.

	CREATE OR REPLACE TABLE cortex_chatbot_db.public.chatbot_stage.doc_chunks AS
	SELECT
	    relative_path,
	    BUILD_SCOPED_FILE_URL(@cortex_chatbot.public.chatbot_stage, relative_path) AS file_url,
	    (
	        relative_path || ':\n'
	        || coalesce('Header 1: ' || c.value['headers']['header_1'] || '\n', '')
	        || coalesce('Header 2: ' || c.value['headers']['header_2'] || '\n', '')
	        || c.value['chunk']
	    ) AS chunk,
	    'English' AS language
	FROM
	cortex_chatbot_db.public.chatbot_stage.doc_data
	    LATERAL FLATTEN(SNOWFLAKE.CORTEX.SPLIT_TEXT_MARKDOWN_HEADER(
	        EXTRACTED_LAYOUT,
	        OBJECT_CONSTRUCT('#', 'header_1', '##', 'header_2'),
	        2000, -- chunks of 2000 characters
	        300 -- 300 character overlap
	    ))  c;Didukung oleh

SQL ini melakukan banyak hal, jadi izinkan saya merangkum. Kode ini mengambil setiap berkas dan meratakan teks menjadi potongan sepanjang 2000 karakter. 

Memecah ke porsi yang lebih kecil membantu efisiensi pencarian. Lalu menambahkan beberapa informasi header (seperti judul) ke data dalam chunk agar model memiliki konteks asal data tersebut.

Ini membuat data Anda dapat dicari dan siap untuk retrieval-augmented generation (RAG).

Langkah 5: Membuat dan Mengonfigurasi Cortex Search atau Agent

Mari bangun Cortex Search Agent kita, yaitu layanan utama yang akan menelusuri chunk dan menarik konteks untuk sebuah respons.

CREATE OR REPLACE CORTEX SEARCH SERVICE cortex_chatbot_db.public.chatbot_stage.cortex_serv
    ON chunk
    ATTRIBUTES category
    WAREHOUSE = cortex_wh
    TARGET_LAG = '1 hour'
    AS (
    SELECT
        chunk,
        relative_path,
        file_url,
        category
    FROM cortex_chatbot_db.public.chatbot_stage.doc_chunks
    );Didukung oleh

Ini akan membangun layanan awal yang juga mendefinisikan kolom attributes yang memilih kolom yang ingin Anda gunakan untuk pemfilteran hasil pencarian. Di sini, saya memilih “category” sehingga secara teoretis kita bisa memfilter kategori produk yang berbeda. Untuk ini, saya memilih kolom chunk yang harus berisi teks yang telah dipecah.

Cortex Search secara default menggunakan pencarian hibrida vektor + kata kunci, meningkatkan akurasi chatbot. Dengan ini, kita dapat menambahkan konteks lebih lanjut menggunakan model semantik. Jika Anda memperkirakan adanya frasa unik atau singkatan teknis, Anda dapat mengonfigurasi berkas YAML model semantik menggunakan generator model semantik Cortex Analyst. Ini memungkinkan Anda memberikan konteks dan sinonim ke model agar dapat memahami bahwa “CUST” mungkin juga berarti “customer”. 

Ini memungkinkan alur kerja RAG, di mana chatbot mengambil konteks yang relevan sebelum menghasilkan respons.

Langkah 6: Membangun Aplikasi Chatbot dengan Streamlit

Sekarang mari kita membangun front-end chatbot yang sangat sederhana di dalam Snowflake menggunakan Streamlit. Anda akan menggunakan Snowsight untuk menemukan aplikasi “Streamlit in Snowflake” guna membuat aplikasi chatbot Anda. Ini menggunakan Snowpark untuk terhubung ke Snowflake Anda. 

Jika Anda ingin informasi tentang membangun chatbot secara umum, saya sarankan terlebih dahulu mengikuti kursus membangun chatbot di Python ini. 

Pertama, kita memungkinkan pengguna terhubung ke Snowflake menggunakan Session.builder. Lalu, untuk masukan tertentu, kita berikan sebagai kueri ke SNOWFLAKE.CORTEX.SEARCH 

import streamlit as st
import snowflake.connector
from snowflake.snowpark import Session

# Connect to Snowflake
session = Session.builder.configs({
    "account": "<account_id>",
    "user": "<username>",
    "password": "<password>",
    "role": "SYSADMIN",
    "warehouse": "CORTEX_WH",
    "database": "CORTEX_CHATBOT",
    "schema": "PUBLIC"
}).create()

st.title("Snowflake Cortex Chatbot")

user_input = st.text_input("Ask me a question:")

if user_input:
    # Query Cortex Search
    result = session.sql(f"""
        SELECT PARSE_JSON(
SNOWFLAKE.CORTEX.SEARCH(
            chatbot_serv',
                 '{
         "query": "{user_input}",
         "columns":[
            "col1",
            "col2"
         ],
         "filter": {"@eq": {"col1": "filter value"} }
      }'
)
)[‘results’] AS results
    """).collect()

    st.write("**Chatbot:**", result[0]['RESPONSE'])Didukung oleh

Chatbot dasar ini mengambil informasi yang relevan dari indeks Cortex Search dan mengembalikan jawaban secara real-time. Ada juga kemampuan untuk membuat chatbot multi-giliran (percakapan) dengan menambahkan kemampuan menyimpan riwayat obrolan sesi di memori. Ini dapat dilakukan secara native di Streamlit menggunakan layanan pencarian yang ada.

Langkah 7: Implementasi melalui Endpoint REST API

Untuk mengintegrasikan chatbot ke aplikasi eksternal (misalnya, situs web, bot Slack), gunakan REST API Snowflake. Secara umum, URL akan terlihat seperti ini: https://<account_url>/api/v2/databases/<db_name>/schemas/<schema_name>/cortex-search-services/<service_name>:query.

API ini memang memerlukan autentikasi untuk tujuan keamanan, yang berarti terbatas pada pengguna yang memiliki akses ke lingkungan Snowflake Anda. Mengambil pendekatan API-first memungkinkan penyematan kapabilitas chatbot secara lebih fleksibel dan ke audiens yang lebih luas. 

Salah satu use case adalah membangun alat internal yang dapat dihosting di server web, yang memungkinkan pengguna mengajukan pertanyaan tentang dokumen seperti laporan keuangan triwulanan atau catatan rapat. Integrasi ini memerlukan pengembangan alat yang dapat melakukan permintaan API.

Langkah 8: Pengujian dan Validasi

Sebelum penerapan luas, uji chatbot untuk:

• Akurasi – apakah mengembalikan jawaban yang benar?
• Kecepatan – apakah latensinya dapat diterima?
• Kegunaan – apakah antarmukanya intuitif?

Anda dapat mencatat kueri dan membandingkan output dengan ground truth yang diketahui untuk tolok ukur. Umum memiliki seperangkat pertanyaan dengan jawaban yang telah ditentukan dan menggunakan model lain untuk membuat perbandingan akurasi. 

Langkah 9: Pembersihan (Opsional)

Untuk mengelola biaya dan menjaga tata kelola, hapus sumber daya yang tidak digunakan.

	DROP WAREHOUSE IF EXISTS cortex_wh;
	DROP DATABASE IF EXISTS cortex_chatbot;
	DROP STAGE IF EXISTS chatbot_stage;Didukung oleh

Konsep Tambahan & Praktik Terbaik

Mari tambahkan sedikit konteks ke fungsi chatbot kita dan beberapa praktik terbaik.

Retrieval Augmented Generation (RAG) di Snowflake Cortex

RAG adalah teknik yang digunakan banyak model bahasa besar untuk memperkaya data aslinya dengan pengetahuan eksternal. 

Snowflake Cortex menambahkan data perusahaan Anda ke konteks chatbot, sehingga mampu memberikan jawaban menggunakan konteks tambahan. Dengan campuran pencarian vektor dan kata kunci, ia mampu mengurai prompt dengan data konteks dan menggunakan semantic reranking untuk memilih dokumen paling relevan demi memberikan respons yang kontekstual. 

Ini juga berarti implementasi RAG disederhanakan melalui satu mesin Cortex Search alih-alih pengguna membuat vektor, fungsi kesamaan, dan embedding secara manual. Kekuatan RAG memungkinkan kita membangun hal-hal seperti chatbot untuk dokumentasi teknis.

Prompt Engineering untuk Chatbot Snowflake

Prompt engineering penting untuk memastikan chatbot memberikan respons yang sesuai terhadap pertanyaan pengguna. Memiliki pemahaman yang baik tentang prompt engineering sangat penting untuk memastikan layanan obrolan Anda mengembalikan respons yang baik. 

Sesuatu yang membantu memberikan respons lebih baik adalah menyediakan panduan penggunaan kepada pengguna yang membantu mereka menyusun pertanyaan yang lebih baik.

Anda juga dapat menambahkan templat prompt ke kueri pengguna sebelum mengirimkannya ke layanan Cortex. Templat prompt membantu memberikan konteks yang konsisten ke model sehingga ia menggunakan informasi yang tepat untuk memberikan jawaban. 

Contoh templat yang mungkin berguna untuk data perusahaan: "Anda adalah asisten yang membantu untuk data historis perusahaan. Jawab hanya berdasarkan basis pengetahuan perusahaan." Ini akan membuat model fokus menggunakan data perusahaan untuk jawaban.

Anda juga sesekali akan mendapatkan pertanyaan atau masukan pengguna yang ambigu. Alih-alih memaksa model menjawab, Anda dapat menambahkan ke templat sesuatu seperti: "Jika pengguna mengajukan pertanyaan yang samar, berikan jawaban: Saya tidak tahu jawabannya." Ini dapat mendorong mereka untuk mengajukan pertanyaan yang lebih spesifik.

Fleksibilitas dan Pilihan dalam Implementasi

Snowflake Cortex mendukung LLM siap pakai (cepat, siap produksi) dan model kustom (disetel untuk domain). Ini dapat didefinisikan saat membuat layanan. Selain itu, menambahkan model semantik kustom Anda sendiri memberikan konteks spesifik industri/perusahaan pada bahasa yang mungkin tidak dikenal model tanpa harus memasok korpus teks besar. Fleksibilitas ini memungkinkan integrasi model di masa depan.

Keamanan, Tata Kelola, dan Kepatuhan

Cortex mengikuti kontrol akses berbasis peran, pencatatan audit, dan enkripsi yang sama seperti yang ditawarkan Snowflake. Ini memastikan kepatuhan terhadap HIPAA, GDPR, dan regulasi lainnya. Tanggung jawab utama di pihak Anda adalah memastikan orang yang tepat memiliki peran yang tepat.

Struktur Biaya

Snowflake Cortex menggunakan model harga berbasis konsumsi. Seperti produk Snowflake lainnya, Anda dikenakan biaya untuk komputasi dan penyimpanan, tetapi ada beberapa lapisan tambahan khusus untuk Cortex Search. Anda membayar untuk:

• Komputasi Virtual Warehouse: Ini adalah penggunaan komputasi utama, yang memproses kueri terhadap data Snowflake dan mengonsumsi kredit
• EMBED_TEXT penggunaan token: Selama pemrosesan data untuk dokumen, Snowflake Cortex menangani embedding token, dan Anda dikenai biaya saat dokumen ditambahkan atau diubah
• Serving Compute: Cortex Search Service sendiri menggunakan serving compute untuk menyediakan layanan berlatensi rendah dan throughput tinggi kepada pengguna. Ini terpisah dari komputasi virtual warehouse dan menagih kapan pun layanan tersedia bukan hanya saat digunakan
• Penyimpanan untuk indeks semantik dan data yang di-stage.
• Cloud Service Compute: Ini adalah biaya tingkat Snowflake yang memungkinkan Snowflake mengidentifikasi perubahan pada objek dasar. Biaya ini hanya ditagihkan jika lebih besar dari 10% biaya harian warehouse.

Coba teknik berikut untuk mengelola biaya:

• Snowflake merekomendasikan menggunakan warehouse MEDIUM atau yang lebih kecil
• Pantau penggunaan token dan tetapkan kuota penggunaan.
• Arsipkan indeks yang tidak digunakan atau izinkan kelambatan penyegaran data yang lebih lama jika dokumen terbaru tidak diperlukan
• Suspend layanan Anda saat tidak diperlukan. Akan berguna untuk menyetel layanan pada pengatur waktu agar dapat menyala/mati saat tidak digunakan.

Kesimpulan

Membangun chatbot dengan Snowflake Cortex membuka AI percakapan spesifik perusahaan langsung di Data Cloud. Dari ingestion hingga retrieval hingga deployment, Anda dapat bekerja sepenuhnya dalam lingkungan Snowflake yang tertata kelola. Chatbot ini dapat membantu merampingkan hal-hal seperti onboarding, membantu menjawab pertanyaan analitis mendalam, dan membuat dokumentasi teknis.

Cortex memungkinkan chatbot bertenaga RAG yang menggabungkan LLM dengan data Anda sendiri. Membangun chatbot di Streamlit dalam Snowflake memudahkan penerapan antarmuka yang ramah pengguna di dalam Snowflake. Keamanan, tata kelola, dan pengelolaan biaya sudah terbangun dalam alur kerja. Dengan Cortex, organisasi dapat berevolusi dari dasbor BI tradisional menjadi asisten cerdas yang berinteraksi dengan data secara percakapan.

Untuk info lebih lanjut tentang Snowflake dan kapabilitas AI-nya, lihat sumber berikut:

• Data Modeling in Snowflake
• Snowflake Arctic: LLM milik Snowflake
• ML dengan Python dan Snowflake Cortex AI