CrewAI: Panduan dengan Contoh Sistem Multi Agen AI

Agen AI adalah asisten yang dapat melakukan tugas dan berinteraksi dengan dunia. Tidak seperti sistem tradisional yang mengikuti aturan tetap, agen dapat belajar dan beradaptasi dengan situasi baru. Anggap saja mereka sebagai program perangkat lunak yang dapat memahami lingkungannya dan mengambil tindakan.

Namun, apa yang membedakan agen AI dari entitas AI lainnya, seperti model bahasa populer yang sering kita dengar?

Dalam artikel ini, saya akan membahas pertanyaan tersebut dan memperkenalkan CrewAI, sebuah kerangka kerja Python gratis dan open-source yang dirancang untuk mempermudah pengembangan sistem AI multi-agen. Kita akan mengeksplorasi perbedaan antara agen dan model bahasa, membahas mengapa kerangka kerja agen penting untuk membangun aplikasi AI, dan menunjukkan bagaimana CrewAI memungkinkan agen berkolaborasi dan mencapai hasil yang hebat.

Agen AI vs. LLM

Mari luruskan salah kaprah umum tentang perbedaan antara agen dan model bahasa besar (LLM). Keduanya termasuk dalam keluarga kecerdasan buatan, namun memiliki kemampuan yang berbeda.

Model bahasa, seperti ChatGPT dan Gemini, sangat mahir menggunakan bahasa. Mereka telah melalui pelatihan ekstensif pada sejumlah besar teks dan kode, sehingga mampu memahami dan menghasilkan bahasa yang sangat mirip dengan komunikasi manusia.

LLM adalah perangkai kata andal di dunia kecerdasan buatan, menghasilkan beragam konten termasuk terjemahan, ringkasan, narasi kreatif, hingga puisi. Cakupannya biasanya terbatas pada tugas terkait bahasa.

Agen, sebaliknya, berfokus terutama pada tindakan. Mereka mampu menavigasi, berinteraksi dengan objek, dan membuat keputusan berdasarkan persepsinya. 

Singkatnya, model bahasa adalah otak dan agen adalah tangan. Bersama-sama, keduanya menjadi duet yang kuat.

Jadi, karena agen memegang peran penting dalam aplikasi AI, bagaimana kita mengelola kompleksitasnya ketika banyak agen harus bekerja bersama? Di sinilah kerangka kerja agen berperan.

Kebutuhan akan Kerangka Kerja Agen

Kebutuhan akan kerangka kerja agen muncul dari meningkatnya kompleksitas aplikasi AI, khususnya yang melibatkan banyak agen yang bekerja secara kolaboratif untuk mencapai tujuan bersama. Mari kita lihat mengapa kerangka kerja agen itu penting.   

Orkestrasi dan koordinasi

Seiring skala sistem AI bertambah, sering kali mereka memasukkan banyak agen dengan kemampuan beragam. Mengelola interaksi ini dan memastikan semuanya bekerja selaras menjadi semakin sulit.

Kerangka kerja agen menawarkan lingkungan terstruktur yang memungkinkan orkestrasi aktivitas agen, mendefinisikan peran dan tanggung jawabnya, serta meningkatkan komunikasi.

Dalam sistem multi-agen, aspek pentingnya adalah alokasi tugas yang efisien kepada agen yang paling sesuai dan pengelolaan sumber daya bersama secara efektif. Kerangka kerja agen menyediakan mekanisme dinamis untuk alokasi tugas, negosiasi sumber daya, dan penyelesaian konflik.

Modularitas dan keterpakaiulang

Kerangka kerja agen mendorong pendekatan modular untuk pengembangan AI, di mana agen dirancang dan diimplementasikan sebagai komponen independen. Modularitas ini memungkinkan pengorganisasian kode yang lebih baik dan memungkinkan penggunaan ulang modul agen di berbagai proyek, sehingga menyederhanakan pengembangan dan pemeliharaan sistem yang kompleks. Dengan struktur berbasis komponen ini, pengembang AI dapat fokus pada masing-masing agen tanpa mengganggu sistem yang lebih besar.

Selain itu, kerangka kerja agen sering mengadopsi arsitektur berbasis peran, memungkinkan pengembang menetapkan peran spesifik kepada agen yang menentukan kemampuan dan izinnya. Desain berbasis peran ini menghasilkan sistem yang lebih terorganisasi dan mudah dikelola, di mana agen dapat ditambahkan, dihapus, atau dimodifikasi dengan dampak minimal pada arsitektur keseluruhan. Fleksibilitas ini memastikan sistem dapat berkembang dan beradaptasi dengan kebutuhan baru tanpa rekayasa ulang yang signifikan.

Adaptabilitas dan pembelajaran

Lingkungan dunia nyata sering kali dinamis, tidak terduga, dan terus berkembang. Kerangka kerja agen membekali agen untuk merasakan perubahan di sekitarnya dan menyesuaikan perilakunya. Adaptabilitas ini memastikan agen dapat berfungsi secara efektif bahkan dalam skenario yang kompleks dan terus berubah, sehingga lebih andal menghadapi tantangan dunia nyata.

Selain itu, kerangka kerja agen kerap menggabungkan mekanisme pembelajaran yang memungkinkan agen meningkatkan kinerjanya seiring waktu. Dengan belajar dari umpan balik dan pengalaman, agen dapat terus mengoptimalkan proses pengambilan keputusan dan beradaptasi dengan tantangan baru yang muncul. Peningkatan berkelanjutan ini membuat agen semakin efektif dan bernilai, berkontribusi pada efisiensi serta keberhasilan sistem jangka panjang.

Berbicara tentang kerangka kerja agen, mari kenalkan salah satu yang sedang diperbincangkan di komunitas AI: CrewAI.

Apa itu CrewAI?

CrewAI adalah kerangka kerja Python open-source yang dibangun di atas dua blok bangunan yang saling melengkapi:

• Crew — tim agen AI yang berkolaborasi secara otonom melalui pengambilan keputusan berbasis peran — dan
• Flow — alur kerja siap produksi, berbasis peristiwa yang memberi Anda kendali atas otomatisasi.

Keduanya memungkinkan Anda membangun apa pun, mulai dari pipeline riset sederhana hingga sistem multi-agen yang sepenuhnya otonom.

Kerangka ini terdiri dari berbagai alat, termasuk mesin pencari web dan model bahasa, yang memungkinkan agen berinteraksi dengan dunia luar, mengumpulkan informasi, dan bertindak untuk memenuhi tujuan mereka.

Desain dan skalabilitas CrewAI menjadikannya ideal untuk mengembangkan aplikasi multi-agen baik yang dasar maupun kompleks, mendorong metode kolaboratif dalam menyelesaikan tantangan dan pengambilan keputusan di dalam sistem AI.

Mari kita lihat beberapa fitur utama yang membuat CrewAI menjadi alat yang kuat untuk membangun sistem multi-agen.

• Orkestrasi agen: CrewAI memastikan setiap agen tahu perannya. Ia menyediakan alat untuk mendefinisikan dan mengoordinasikan perilaku agen, sehingga semuanya berjalan selaras.
• Arsitektur berbasis peran: Seperti menugaskan instrumen berbeda kepada musisi, CrewAI memungkinkan Anda menetapkan peran spesifik kepada agen, menentukan kemampuan dan izinnya. Ini menciptakan sistem yang modular dan terstruktur dengan baik, bahkan saat kompleksitas meningkat.
• Komunikasi yang fleksibel: CrewAI mendukung berbagai saluran komunikasi, memungkinkan agen bertukar informasi dengan mulus. Anggap saja seperti memiliki obrolan privat, diskusi grup, dan pengeras suara dalam satu paket.
• Integrasi alat: CrewAI memberdayakan agen untuk berinteraksi dengan dunia melalui berbagai alat. Alat-alat ini memungkinkan agen menelusuri web, memahami bahasa, menganalisis data, dan melakukan tugas kustom.
• Skalabilitas: CrewAI dirancang untuk melakukan skala dengan mudah, memastikan sistem multi-agen Anda tetap responsif dan efisien seiring pertumbuhannya.

Lalu, apa manfaat yang dibawa CrewAI? Mari kita telusuri keunggulannya.

Flow dan Crew di CrewAI

CrewAI dibangun di atas dua blok bangunan yang saling melengkapi yang bekerja bersama untuk menangani semuanya, dari tugas agen sederhana hingga pipeline produksi yang kompleks.

Crew adalah tim agen AI yang berkolaborasi secara otonom. Setiap agen dalam sebuah Crew memiliki peran, tujuan, dan latar belakang yang jelas — dan mereka bekerja sama menyelesaikan tugas, saling mendelegasikan, serta mengambil keputusan tanpa Anda harus menulis skrip setiap langkah. Gunakan Crew ketika Anda ingin agen mencari cara untuk menyelesaikan sesuatu.

Flow adalah lapisan orkestrasi di atas Crew. Flow memungkinkan Anda merangkai beberapa Crew, menambahkan logika kondisional antar langkah, mengelola state di seluruh pipeline, dan memicu tindakan berdasarkan peristiwa. Jika Crew memberi Anda otonomi, Flow memberi Anda kendali.

Bagi kebanyakan pemula, Anda akan mulai dengan Crew. Hanya ketika Anda membutuhkan keandalan setara produksi, barulah Anda menggunakan Flow. Flow adalah cara Anda melakukan skala.

Manfaat Menggunakan CrewAI

CrewAI memungkinkan beberapa agen AI berkolaborasi, berbagi pengetahuan, dan mengoordinasikan tindakan menuju tujuan bersama.

Dengan mengotomatisasi distribusi tugas dan pengelolaan sumber daya, CrewAI memungkinkan agen berfokus pada peran spesifiknya dengan beban tambahan minimal.

Kerangka ini juga mendukung adaptabilitas, memungkinkan agen menyesuaikan perilaku berdasarkan kondisi atau tujuan yang berubah.

Selain itu, CrewAI menyederhanakan proses pengembangan dengan platform yang mudah digunakan untuk membuat dan mengelola sistem multi-agen.

Kekuatan utama lain dari CrewAI adalah integrasinya dengan beragam alat. Ini memperluas kemampuan agen, memungkinkan mereka berinteraksi dengan dunia eksternal dan mengumpulkan informasi.

CrewAI mendukung alat seperti mesin pencari web, model bahasa, alat analisis data, dan bahkan fungsionalitas kustom. Ini memungkinkan agen melakukan tugas di luar kemampuan intinya, seperti mengambil informasi dari web atau melakukan analisis data yang kompleks.

Praktik Langsung: Membangun Alat Pencarian Web dengan CrewAI

Mari kita gulung lengan baju dan membangun alur kerja menggunakan alat CrewAI untuk mengikis konten dari situs web lalu melakukan RAG terhadapnya. 

Kita perlu menulis kode yang akan membuat alat tersebut bekerja. Sebelum mulai, mari pasang paket crewai-tools dan crewai menggunakan pip:

# Install CrewAI with tools support
pip install 'crewai[tools]'

# Or using uv (recommended by CrewAI for dependency management)
uv add 'crewai[tools]'

Setelah paket terpasang, ikuti langkah-langkah di bawah ini. Dalam contoh ini, kita akan menggunakan tiga alat berbeda: ScrapeWebsiteTool untuk mengikis situs web, FileWriterTool untuk menulis berkas, dan TXTSearchTool untuk menelusuri konteks guna RAG. Mari mulai.

Langkah 1: Mengikis situs web

Pertama kita mengimpor pustaka yang diperlukan dan menginisialisasi ScrapeWebsiteTool. Alat ini digunakan untuk mengekstrak konten dari sebuah situs web. Dalam kasus ini, alat disetel untuk mengikis konten dari halaman Wikipedia "Artificial Intelligence":

from crewai_tools import ScrapeWebsiteTool, FileWriterTool, TXTSearchTool
import requests

# Initialize the tool, potentially passing the session
tool = ScrapeWebsiteTool(website_url='https://en.wikipedia.org/wiki/Artificial_intelligence')  

# Extract the text
text = tool.run()
print(text)

Langkah2: Menulis teks yang diekstrak ke berkas

Sekarang kita menggunakan FileWriterTool untuk menyimpan teks yang diekstrak ke dalam berkas bernama ai.txt. 

# Initialize the tool
file_writer_tool = FileWriterTool()

# Write content to a file in a specified directory
result = file_writer_tool._run(filename='ai.txt', content = text, directory = '', overwrite=True)
print(result)

Langkah 3: Menyiapkan alat pencarian teks

Kita menyiapkan alat lain untuk menelusuri isi berkas ai.txt yang baru saja kita simpan. Kita juga menetapkan variabel lingkungan untuk kunci API OpenAI.

import os
from crewai_tools import TXTSearchTool

os.environ['OPENAI_API_KEY'] = 'API-KEY'

# Initialize the tool with a specific text file, so the agent can search within the given text file's content
tool = TXTSearchTool(txt='ai.txt')

Langkah 4: Membuat agen untuk tugas dan mengeksekusinya

Kita membuat agen analis data dengan peran sebagai edukator. Tugas agen ini adalah menjawab pertanyaan "Apa itu Pemrosesan Bahasa Alami?" berdasarkan teks yang kita telusuri di berkas.

from crewai import Agent, Task, Crew

context = tool.run('What is natural language processing?')

data_analyst = Agent(
    role='Educator',
    goal=f'Based on the context provided, answer the question - What is Natural Language Processing? Context - {context}',
    backstory='You are a data expert',
    verbose=True,
    allow_delegation=False,
    tools=[tool]
)

test_task = Task(
    description="Using the provided context, answer the question: What is Natural Language Processing?",
    tools=[tool],
    agent=data_analyst,
    expected_output='A clear, 2-3 paragraph explanation of Natural Language Processing, covering its definition, key techniques, and common applications.'
)

crew = Crew(
    agents=[data_analyst],
    tasks=[test_task]
)

output = crew.kickoff()

Perbandingan CrewAI dengan LangGraph dan AutoGen

Alternatif utama CrewAI adalah LangGraph dan AutoGen dari Microsoft. Keunggulan terbesar CrewAI adalah paradigma agen berbasis perannya. Maksudnya, dengan mendefinisikan agen melalui peran, tujuan, dan latar belakang, Anda memperoleh perilaku yang sangat mencerminkan cara tim manusia berkolaborasi.

LangGraph menawarkan kendali lebih atas alur eksekusi melalui pendekatan berbasis graf, tetapi memerlukan pemahaman konsep graf berarah dan manajemen state. Bagi sebagian besar pengembang yang baru mengenal sistem multi-agen, CrewAI adalah jalur lebih cepat menuju prototipe yang berfungsi.

Kesimpulan

CrewAI menawarkan platform praktis untuk mengelola sistem multi-agen. Baik untuk mengikis konten maupun mendelegasikan tugas, kerangka kerja ini mendukung kolaborasi antar agen dan membantu mereka beradaptasi serta meningkat.

Dengan mengintegrasikan alat dan menyediakan struktur yang terorganisasi, CrewAI memudahkan pengembang mengelola interaksi agen, mendistribusikan tugas, dan memastikan kinerja optimal.