Model Amazon Nova: Panduan dengan Contoh

Apa Itu Model Amazon Nova?

Model Nova dari Amazon adalah model fondasi yang sangat dinantikan dan dapat diakses melalui layanan Amazon Bedrock. Model-model ini dirancang untuk beragam aplikasi, termasuk inferensi cepat berbiaya rendah, pemahaman multimedia, dan pembuatan konten kreatif. Mari kita telusuri tiap modelnya.

Amazon Nova Micro

Model tercepat dalam keluarga ini, dengan kecepatan tertinggi dan biaya komputasi rendah. Micro paling cocok untuk aplikasi yang membutuhkan generasi teks saja dengan kecepatan inferensi 200 token/detik.

Beberapa aplikasi terbaik Micro adalah analisis waktu nyata, chatbot interaktif, dan layanan generasi teks untuk lalu lintas tinggi.

Tolok ukur Nova Micro. (Sumber: Amazon)

Amazon Nova Lite

Anggota multimodal yang hemat biaya dalam keluarga Nova, Lite menawarkan keseimbangan yang baik antara kecepatan dan akurasi tinggi di berbagai tugas, khususnya untuk penalaran dan penerjemahan jika dibandingkan dengan model setara seperti GPT-4o atau Llama.

Model ini dapat menangani volume permintaan besar secara efisien sekaligus mempertahankan akurasi yang kuat. Lite bisa menjadi pilihan optimal untuk aplikasi yang mementingkan kecepatan, dan membutuhkan model yang mampu menangani berbagai modalitas.

Tolok ukur Nova Lite. (Sumber: Amazon)

Amazon Nova Pro

Model paling canggih dalam keluarga Nova untuk pemrosesan teks, Nova Pro, menawarkan akurasi mengesankan sekaligus mempertahankan biaya komputasi yang relatif rendah dibandingkan model dengan kemampuan serupa.

Menurut Amazon, Nova Pro cocok untuk aplikasi seperti peringkasan video, tanya jawab, penalaran matematis, pengembangan perangkat lunak, dan agen AI yang mampu menjalankan alur kerja multi-langkah. Seperti model Micro dan Lite, Nova Pro saat ini mendukung fine-tuning.

Tolok ukur Nova Pro. (Sumber: Amazon)

Amazon Nova Premier

Model multimodal paling andal dalam keluarga ini, yang dijadwalkan hadir pada awal 2025, diperkirakan akan menjadi peningkatan dari model Pro.

Amazon Nova Canvas

Canvas adalah solusi Nova untuk pembuatan gambar. Model ini dapat menghasilkan gambar berkualitas tinggi, memberi kontrol atas skema warna dan gaya, serta menyediakan fitur seperti inpainting, outpainting, memperluas gambar, alih gaya, dan penghapusan latar belakang. Model ini tampak efisien untuk membuat gambar pemasaran, mockup produk, dan sebagainya.

Amazon Nova Reel

Nova Reel adalah model pembuatan video yang dirancang untuk keluaran video berkualitas tinggi dan mudah disesuaikan. Nova Reel memungkinkan pengguna membuat dan mengendalikan gaya visual, tempo, dan pergerakan kamera dalam video. Reel, seperti model Nova lainnya, dilengkapi kontrol keamanan bawaan yang memungkinkan pembuatan konten yang selaras.

Cara Mengakses Model Amazon Nova melalui Amazon Bedrock Playground

Anda dapat menggunakan Playground Amazon Bedrock untuk menguji dan membandingkan banyak model melalui antarmuka pengguna siap pakai.

Saya berasumsi Anda telah mengonfigurasi Amazon CLI dan Bedrock serta siap digunakan. Jika belum, Anda dapat merujuk ke tutorial saya tentang AWS Multi-Agent Orchestrator, di mana saya menjabarkan langkah menyiapkan lingkungan untuk menggunakan model yang disediakan layanan Bedrock. Selain itu, posting blog dari Nils Durner menyediakan tangkapan layar langkah demi langkah untuk memandu Anda menyiapkan layanan Bedrock.

Amazon Bedrock Playground

Saat membandingkan Nova Micro dan Pro, saya melihat kesenjangan akurasi antara keduanya tidak terlalu terlihat. Meskipun Micro lebih dari dua kali lebih cepat daripada Pro dalam pembuatan teks, model ini memberikan jawaban yang memadai untuk sebagian besar kasus penggunaan umum. Di sisi lain, Pro cenderung menghasilkan respons yang sedikit lebih detail dan lebih panjang.

Cara Mengakses Model Amazon Nova melalui Amazon Bedrock API

Untuk menggunakan model Nova melalui API dan mengintegrasikannya ke dalam kode Anda, pastikan terlebih dahulu akun AWS, AWS CLI, dan akses ke model telah disiapkan dengan benar (dokumentasi menyediakan panduannya).

Selanjutnya, instal pustaka boto3, SDK AWS untuk Python, yang memungkinkan Anda bekerja dengan model mereka.

pip install boto3Didukung oleh

Anda dapat berinteraksi dengan model secara terprogram menggunakan skrip seperti di bawah ini:

import boto3
import json 

client = boto3.client(service_name="bedrock-runtime")

messages = [
    {"role": "user", "content": [{"text": "Write a short poem"}]},
]

model_response = client.converse(
    modelId="us.amazon.nova-lite-v1:0", 
    messages=messages
)

print("\\n[Full Response]")
print(json.dumps(model_response, indent=2))

print("\\n[Response Content Text]")
print(model_response["output"]["message"]["content"][0]["text"])Didukung oleh

Proyek Demo dengan Nova Micro dan AWS Multi-Agent Orchestrator

Sekarang kita mengimplementasikan proyek demo untuk menguji kapabilitas agen dari Nova Micro. Kita akan menggunakan kerangka kerja AWS Multi-Agent Orchestrator untuk menyiapkan aplikasi Python sederhana yang terdiri dari dua agen: Agen Pengembang Python dan Agen Ahli ML. Jika Anda ingin menyiapkan orchestrator, Anda dapat menggunakan panduan AWS Multi-Agent Orchestrator ini.

Kita juga akan menggunakan Chainlit, paket Python open-source, untuk mengimplementasikan UI sederhana bagi aplikasi. Pertama, instal pustaka yang diperlukan:

chainlit==1.2.0
multi_agent_orchestrator==0.0.18Didukung oleh

Kita mulai dengan mengimpor pustaka yang diperlukan:

import uuid
import chainlit as cl
from multi_agent_orchestrator.orchestrator import MultiAgentOrchestrator, OrchestratorConfig
from multi_agent_orchestrator.classifiers import BedrockClassifier, BedrockClassifierOptions
from multi_agent_orchestrator.agents import AgentResponse
from multi_agent_orchestrator.agents import BedrockLLMAgent, BedrockLLMAgentOptions, AgentCallbacks
from multi_agent_orchestrator.orchestrator import MultiAgentOrchestrator
from multi_agent_orchestrator.types import ConversationMessage
import asyncio
import chainlit as clDidukung oleh

Kerangka kerja ini menggunakan Classifier untuk memilih agen terbaik bagi permintaan pengguna yang masuk. Kita menggunakan model “anthropic.claude-3-haiku-20240307-v1:0” untuk Classifier kita.

class ChainlitAgentCallbacks(AgentCallbacks):
    def on_llm_new_token(self, token: str) -> None:
        asyncio.run(cl.user_session.get("current_msg").stream_token(token))

# Initialize the orchestrator
custom_bedrock_classifier = BedrockClassifier(BedrockClassifierOptions(
    model_id='anthropic.claude-3-haiku-20240307-v1:0',
    inference_config={
        'maxTokens': 500,
        'temperature': 0.7,
        'topP': 0.9
    }
))

orchestrator = MultiAgentOrchestrator(options=OrchestratorConfig(
        LOG_AGENT_CHAT=True,
        LOG_CLASSIFIER_CHAT=True,
        LOG_CLASSIFIER_RAW_OUTPUT=True,
        LOG_CLASSIFIER_OUTPUT=True,
        LOG_EXECUTION_TIMES=True,
        MAX_RETRIES=3,
        USE_DEFAULT_AGENT_IF_NONE_IDENTIFIED=False,
        MAX_MESSAGE_PAIRS_PER_AGENT=10,
    ),
    classifier=custom_bedrock_classifier
)Didukung oleh

Selanjutnya, kita mendefinisikan dua agen yang didukung Nova Micro, satu berperan sebagai pengembang Python ahli dan yang lain sebagai ahli machine learning.

def create_python_dev():
    return BedrockLLMAgent(BedrockLLMAgentOptions(
        name="Python Developer Agent",
        streaming=True,
        description="Experienced Python developer specialized in writing, debugging, and evaluating only Python code.",
        model_id="amazon.nova-micro-v1:0",
        callbacks=ChainlitAgentCallbacks()
    ))

def create_ml_expert():
    return BedrockLLMAgent(BedrockLLMAgentOptions(
        name="Machine Learning Expert",
        streaming=True,
        description="Expert in areas related to machine learning including deep learning, pytorch, tensorflow, scikit-learn, and large language models.",
        model_id="amazon.nova-micro-v1:0",
        callbacks=ChainlitAgentCallbacks()
    ))
    

# Add agents to the orchestrator
orchestrator.add_agent(create_python_dev())
orchestrator.add_agent(create_ml_expert())Didukung oleh

Terakhir, kita menyiapkan bagian utama skrip untuk UI Chainlit guna menangani permintaan pengguna dan respons agen.

@cl.on_chat_start
async def start():
    cl.user_session.set("user_id", str(uuid.uuid4()))
    cl.user_session.set("session_id", str(uuid.uuid4()))
    cl.user_session.set("chat_history", [])

@cl.on_message
async def main(message: cl.Message):
    user_id = cl.user_session.get("user_id")
    session_id = cl.user_session.get("session_id")
    msg = cl.Message(content="")
    await msg.send()  # Send the message immediately to start streaming
    cl.user_session.set("current_msg", msg)
    response:AgentResponse = await orchestrator.route_request(message.content, user_id, session_id, {})
    # Handle non-streaming responses
    if isinstance(response, AgentResponse) and response.streaming is False:
        # Handle regular response
        if isinstance(response.output, str):
            await msg.stream_token(response.output)
        elif isinstance(response.output, ConversationMessage):
                await msg.stream_token(response.output.content[0].get('text'))
    await msg.update()

if __name__ == "__main__":
    cl.run()Didukung oleh

Hasilnya adalah UI Chainlit, yang memungkinkan Anda mengobrol dengan model Nova secara langsung sesuai kebutuhan.

Menjalankan aplikasi kita di Chainlit

Model pembuatan gambar dan video juga tersedia melalui API. Anda dapat merujuk ke dokumentasi untuk skrip yang menunjukkan cara menggunakannya.

Kesimpulan

Model Amazon Nova menghadirkan lompatan dalam ekosistem model fondasi, yang menggabungkan akurasi mutakhir, kecepatan, efisiensi biaya, dan kapabilitas multimodal. Seiring rangkaian LLM Amazon tumbuh dengan produk baru, ini menjadi pilihan kuat untuk membangun aplikasi yang terjangkau dan dapat diskalakan di atas AWS.

Baik Anda mengembangkan aplikasi AI beragen, membuat chatbot untuk layanan pelanggan, maupun bereksplorasi sebagai pengembang, bereksperimen dengan model Nova adalah pengalaman yang berharga. Akan bermanfaat juga untuk memperdalam pengetahuan tentang AWS, Bedrock, dan perangkat LLM Amazon.

Dalam artikel ini, kita membahas aspek-aspek kunci dari model-model tersebut, cara bereksperimen dengannya, dan cara membangun aplikasi AI beragen dasar menggunakan model Nova.