AI Lokal dengan Docker, n8n, Qdrant, dan Ollama

Perusahaan di seluruh dunia semakin memprioritaskan perlindungan informasi sensitif sambil memanfaatkan kekuatan AI. Panduan ini menyajikan solusi komprehensif untuk membangun aplikasi AI lokal yang aman dengan mengombinasikan alat open-source yang kuat.

Kita akan menggunakan Self-hosted AI Starter Kit untuk menyiapkan lingkungan AI lokal dengan cepat. Paket ini akan otomatis menjalankan Ollama, Qdrant, n8n, dan Postgres. Selain itu, kita akan belajar membangun alur kerja AI untuk chatbot RAG (Retrieval-augmented generation) menggunakan dataset Harry Potter melalui dasbor n8n.

Baik Anda pengembang, ilmuwan data, maupun profesional non-teknis yang ingin menerapkan solusi AI yang aman, tutorial ini akan memberi fondasi untuk menciptakan alur kerja AI self-hosted yang andal sembari mempertahankan kendali penuh atas data sensitif Anda.

Apa itu AI Lokal?

AI lokal memungkinkan Anda menjalankan sistem dan alur kerja kecerdasan buatan di infrastruktur Anda sendiri alih-alih layanan cloud, sehingga meningkatkan privasi dan efisiensi biaya.

Jika Anda baru di ekosistem AI, sebaiknya mulai dari jalur keterampilan kami tentang AI Fundamentals untuk mengejar ketertinggalan. Dengan menyelesaikan rangkaian kursus ini, Anda akan memperoleh pengetahuan praktis tentang topik AI populer seperti ChatGPT, model bahasa besar, generative AI, dan lainnya.

Gambar oleh Penulis

Berikut daftar alat yang akan kita gunakan untuk membangun dan menjalankan aplikasi AI lokal:

1. Docker: Platform containerization yang mengemas semua komponen AI ke dalam lingkungan terisolasi yang mudah dikelola. Ini membantu kita menjalankan seluruh alat AI dengan satu perintah. 
2. n8n: Kerangka otomasi alur kerja yang memungkinkan Anda membangun alur kerja AI melalui antarmuka drag-and-drop. Tidak memerlukan pengetahuan coding, ideal untuk individu non-teknis.
3. Postgres: Menyimpan semua data dan log, berfungsi sebagai buffer memori untuk kerangka n8n.
4. Qdrant: Basis data vektor dan mesin pencari yang membuat konten hasil AI dapat ditelusuri dan dikelola.
5. Ollama: Pengelola model AI yang memungkinkan Anda menjalankan model bahasa besar open-source secara lokal dengan kebutuhan perangkat keras minimal.

n8n adalah kerangka utama kita untuk membangun alur kerja AI bagi RAG Chatbot. Kita akan menggunakan Qdrant sebagai penyimpanan vektor dan Ollama sebagai penyedia model AI. Kombinasi ini akan membantu kita membuat sistem RAG.

Menginstal Docker  

Kita akan mengunduh dan memasang aplikasi desktop Docker dari situs resmi Docker. Proses pemasangannya cukup mudah untuk langsung digunakan. 

Pelajari lebih lanjut tentang Docker melalui tutorial Docker for Data Science atau ikuti kursus Introduction to Docker. 

Sumber: Docker: Accelerated Container Application Development

Pengguna Windows memerlukan alat tambahan agar berhasil menjalankan kontainer Docker: Windows Subsystem for Linux (WSL). Ini memungkinkan pengembang memasang distribusi Linux dan menggunakan aplikasi Linux langsung di Windows.

Untuk memasang WSL di Windows, ketik perintah berikut di terminal atau PowerShell. Pastikan menjalankan PowerShell sebagai administrator.

$ wsl --install

Setelah WSL berhasil dipasang, mulai ulang sistem Anda. Lalu, ketik perintah berikut di PowerShell untuk memeriksa apakah Docker berfungsi dengan baik.

$ docker run hello-world

Docker berhasil menarik image hello-world dan menjalankan kontainernya.

Menginstal dan Menjalankan Aplikasi AI Lokal dengan Docker Compose

Dalam panduan ini, kita akan mempelajari cara menggunakan Docker Compose untuk menyiapkan layanan AI secara lokal. Pendekatan ini memungkinkan Anda memuat image Docker dan men-deploy kontainer dalam hitungan menit, menyediakan cara sederhana untuk menjalankan dan mengelola banyak layanan AI di infrastruktur Anda.

Pertama, kita akan meng-klon n8n-io/self-hosted-ai-starter-kit dengan mengetik perintah berikut di terminal. 

$ git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git
$ cd self-hosted-ai-starter-kit

Starter kit adalah cara termudah untuk menyiapkan server dan aplikasi yang dibutuhkan guna membangun alur kerja AI. Selanjutnya, kita akan memuat image Docker dan menjalankan kontainernya. 

$ docker compose --profile cpu up

Jika Anda memiliki GPU NVIDIA, coba ketik perintah di bawah untuk mendapatkan akselerasi saat menghasilkan respons. Selain itu, siapkan GPU NVIDIA untuk Docker dengan mengikuti panduan Ollama Docker.

$ docker compose --profile gpu-nvidia up

Proses ini akan memakan waktu beberapa menit karena mengunduh semua image Docker lalu menjalankan kontainer satu per satu.

Semua layanan Docker sudah berjalan. Kontainer Docker yang berstatus exited digunakan untuk mengunduh model Llama 3.2 dan mengimpor workflow cadangan n8n.

Kita juga dapat memeriksa status menjalankan kontainer docker dengan mengetik perintah berikut di terminal. 

$ docker compose ps

Starter kit sudah menyertakan skrip untuk mengunduh model Llama 3.2. Namun, untuk aplikasi RAG Chatbot yang tepat, kita juga memerlukan model embedding. Kita akan masuk ke kontainer Docker Ollama, klik tab “Exec”, dan ketik perintah berikut untuk mengunduh model “nomic-embed-text”.

$ ollama pull nomic-embed-text

Seperti terlihat, kita dapat berinteraksi dengan kontainer Docker layaknya mesin virtual terpisah.

Buka URL dasbor n8n http://localhost:5678/ di peramban Anda untuk membuat akun pengguna n8n dengan email dan kata sandi. Lalu, klik tombol beranda di halaman dasbor utama dan akses workflow Demo. 

Demo ini adalah workflow LLM sederhana yang mengambil masukan pengguna dan menghasilkan respons.

Untuk menjalankan workflow, klik tombol Chat dan mulai ketik pertanyaan Anda. Dalam beberapa detik, respons akan dihasilkan. 

Perlu dicatat bahwa kita menggunakan model bahasa kecil dengan akselerasi GPU, sehingga respons biasanya hanya memakan waktu sekitar 2 detik.

Membuat Alur Kerja AI dengan Dasbor n8n

Dalam proyek ini, kita akan membangun chatbot RAG (Retrieval-Augmented Generation) yang menggunakan data dari film Harry Potter untuk memberikan respons yang kontekstual dan akurat. Proyek ini merupakan solusi tanpa kode, artinya Anda hanya perlu mencari komponen alur kerja yang diperlukan dan menghubungkannya untuk membuat alur kerja AI.

n8n adalah platform no-code yang mirip dengan Langchain. Ikuti tutorial RAG dengan Llama 3.1 8B, Ollama, dan Langchain untuk mendapatkan gambaran cara membuat alur kerja AI serupa menggunakan Langchain.

1. Menambahkan pemicu chat

Klik tombol “Add the first step” di tengah dasbor, cari “Chat Trigger,” lalu tambahkan. 

Pastikan Anda mengaktifkan “Allow File Uploads”.

2. Menambahkan penyimpanan vektor Qdrant

Anda dapat menambahkan komponen lain bernama “Qdrant Vector Store” dengan mengklik tombol plus (+) pada komponen “Chat Trigger” dan mencarinya. 

Ubah mode operasi menjadi “Insert Documents,” ubah koleksi Qdrant menjadi “By ID,” dan ketik ID “Harry_Potter.”

Saat kita keluar dari opsi tersebut, kita akan melihat pemicu chat terhubung dengan penyimpanan vektor kita.  

3. Menghubungkan model embedding dengan penyimpanan vektor

Klik tombol plus di bawah Qdrant vector store bertuliskan “Embedding.” Kita akan dibawa ke menu manajemen model, pilih embeddings Ollama dan ubah model menjadi “nomic-embed-text:latest.”

4. Menghubungkan pemuat dokumen dengan penyimpanan vektor

Klik tombol plus di bawah Qdrant vector store yang bertuliskan “Document,” lalu pilih “Default Data Loader” dari menu. Ubah tipe data menjadi “Binary”.

Lalu, tambahkan token splitter dengan ukuran potongan 500 dan tumpang tindih potongan 50 ke pemuat dokumen.

Beginilah tampilan workflow kita pada akhirnya. Workflow ini akan mengambil file CSV dari pengguna, mengonversinya menjadi teks, lalu mengubah teks menjadi embedding dan menyimpannya di penyimpanan vektor.

5. Menguji penyimpanan vektor Qdrant

Klik tombol Chat di bagian bawah dasbor. Setelah jendela chat terbuka, klik tombol file seperti di bawah ini.

Dalam workflow ini, kita akan memuat semua file CSV dari dataset Harry Potter Movies. Namun, untuk menguji workflow kita, kita hanya akan memuat satu file CSV bernama 'spell' sesuai kueri pengguna.

Anda dapat membuka server Qdrant melalui URL http://localhost:6333/dashboard dan memeriksa apakah file telah dimuat ke penyimpanan vektor atau belum. 

Sekarang, tambahkan sisa file ke penyimpanan vektor. 

6. Menambahkan agen AI

Kita akan menghubungkan pemicu chat ke penyimpanan vektor, menautkannya ke agen AI, dan mengubah tipe agen menjadi “Conversation Agent.”

7. Menghubungkan model chat dengan agen AI

Klik tombol “Chat Model” di bawah agen AI dan pilih model Ollama Chat dari menu. Setelah itu, ubah nama model menjadi “Llama3.2:latest”.

8. Menghubungkan alat penyimpanan vektor dengan agen AI

Klik tombol “Tool” di bawah agen AI dan pilih alat penyimpanan vektor dari menu. Berikan nama alat dan deskripsinya. 

9. Menghubungkan retriever Qdrant dengan alat penyimpanan vektor

Kita perlu menambahkan komponen ke alat penyimpanan vektor. Pertama, kita akan mengintegrasikan Qdrant sebagai penyimpanan vektor dan menetapkan ID koleksi menjadi "Harry_Potter." Penyimpanan vektor ini akan mengakses koleksi Harry Potter saat pencarian kemiripan. Selain itu, ubah mode operasi menjadi "Retrieved Documents."

10. Menghubungkan model chat dengan alat penyimpanan vektor

Alat penyimpanan vektor juga memerlukan model LLM. Kita akan menghubungkan model chat Ollama dan mengubah model menjadi “llama3.2:latest”.

11. Menghubungkan model embedding dengan retriever Qdrant

Pada langkah terakhir, kita akan memasok model embedding ke penyimpanan vektor pengambilan. Ini memungkinkannya mengonversi kueri pengguna menjadi embedding lalu mengubah embedding kembali ke teks untuk diproses LLM. 

Pastikan Anda memberikan model embedding yang benar untuk penyimpanan vektor Anda.

Beginilah seharusnya tampilan alur kerja AI-nya. 

12. Menguji alur kerja AI

Klik tombol chat untuk mulai mengajukan pertanyaan tentang semesta Harry Potter.

Prompt: “Apa tempat paling rahasia di Hogwarts?”

Prompt: “Apa mantra yang paling kuat?”

Alur kerja AI kita cepat dan berjalan mulus. Pendekatan tanpa kode ini cukup mudah dijalankan. n8n juga memungkinkan pengguna membagikan aplikasinya sehingga siapa pun dapat mengaksesnya menggunakan tautan, layaknya ChatGPT.

Kesimpulan 

n8n adalah alat yang sempurna untuk proyek LLM/AI, terutama bagi individu non-teknis. Terkadang, kita bahkan tidak perlu membuat alur kerja dari nol. Kita hanya perlu mencari proyek serupa di situs n8n, menyalin kode JSON, lalu menempelkannya ke dasbor n8n kita. Sesederhana itu. 

Sumber: Temukan 900+ Workflow Otomasi dari Komunitas n8n

Dalam tutorial ini, kita mempelajari AI lokal dan cara menggunakan self-hosted AI starter kit untuk membangun dan men-deploy berbagai layanan AI. Kemudian, kita menyalakan dasbor n8n dan membuat alur kerja AI sendiri menggunakan Qdrant, model embedding, alat penyimpanan vektor, LLM, dan pemuat dokumen. Membuat dan mengeksekusi workflow sangat mudah dengan n8n. Jika Anda baru dalam alat AI dan ingin mempelajari solusi AI tanpa kode, lihat sumber daya kami lainnya:

• No-Code LLMs In Practice bersama Birago Jones & Karthik Dinakar, CEO & CTO Pienso
• Menjalankan LLM Secara Lokal: 7 Metode Sederhana
• Panduan Pemula LlaMA-Factory WebUI: Fine-Tuning LLM