Hướng dẫn Cohere API: Bắt đầu với các mô hình Cohere

Trong bối cảnh AI thay đổi nhanh chóng, sự xuất hiện của các mô hình ngôn ngữ lớn đã cách mạng hóa cách chúng ta tương tác và tạo nội dung văn bản. Kể từ khi OpenAI ra mắt ChatGPT vào tháng 11 năm 2022, chúng ta đã chứng kiến một làn sóng mô hình ngôn ngữ lớn mới được phát hành hàng ngày.

Trong số các mô hình này, Cohere Command đã trở thành lựa chọn hàng đầu của nhiều chuyên gia. Cohere cung cấp những công cụ tiên tiến để giúp nhà phát triển và doanh nghiệp khai thác sức mạnh của các mô hình nền tảng trong ứng dụng và trường hợp sử dụng của họ.

Hướng dẫn cho người mới bắt đầu này nhằm mô tả các dịch vụ API của Cohere, cung cấp cái nhìn sâu về khả năng, lợi ích và các chiến lược triển khai thực tế.

Chúng ta sẽ bắt đầu với phần tổng quan nhanh về các mô hình ngôn ngữ lớn. Nếu bạn muốn cách tiếp cận toàn diện hơn, hãy xem khóa học về Các mô hình ngôn ngữ lớn (LLMs).

Cohere và LLM

Các mô hình ngôn ngữ lớn (LLMs) là những hệ thống AI tiên tiến có khả năng hiểu và tạo văn bản giống con người. Chúng được huấn luyện trên lượng dữ liệu khổng lồ để nắm bắt các mẫu phức tạp, hiểu sắc thái ngôn ngữ và tạo phản hồi mạch lạc.

LLM có thể thực hiện nhiều tác vụ liên quan đến ngôn ngữ như dịch thuật, hoàn thành văn bản, tóm tắt và hội thoại.

Cohere là một nhân tố chủ chốt trong lĩnh vực này, cung cấp API thân thiện với người dùng, giúp nhà khoa học dữ liệu truy cập các khả năng của LLM và tối ưu hóa quy trình làm việc.

Cohere là gì

Được thành lập năm 2019, Cohere là một doanh nghiệp Canada tập trung vào tạo ra các giải pháp trí tuệ nhân tạo cho doanh nghiệp. Họ đã nhanh chóng trở thành một cái tên đáng chú ý trong ngành mô hình ngôn ngữ lớn (LLM), thường được nhắc đến cùng các đối thủ như OpenAI GPT và Anthropic Claude.

Nguồn: Cobus Greyling, Large Language Model Landscape, Medium

Về cốt lõi, Cohere phát triển và cung cấp các mô hình nền tảng cho sinh ngôn ngữ, được nhà phát triển và doanh nghiệp truy cập chủ yếu qua dịch vụ API.

Cohere chủ yếu cung cấp ba loại mô hình khác nhau:

• Cohere Command: Cohere Command R là một họ mô hình ngôn ngữ có khả năng mở rộng cao, cân bằng giữa hiệu năng và độ chính xác mạnh mẽ. Phiên bản mới nhất, Command R+, nằm trong số các mô hình hàng đầu trên bảng xếp hạng LMSYS Chatbot Arena.
• Cohere Embed: Embed là mô hình biểu diễn văn bản hàng đầu của Cohere. Nó cải thiện độ chính xác của kết quả tìm kiếm, sinh tăng cường truy xuất (RAG), phân loại và phân cụm.
• Cohere Rerank: Rerank của Cohere cung cấp cú hích ngữ nghĩa mạnh mẽ cho chất lượng tìm kiếm của bất kỳ hệ thống tìm kiếm theo từ khóa hoặc vector nào mà không cần đại tu hay thay thế.

Chúng ta có thể truy cập các mô hình Cohere theo hai cách:

1. Thông qua Playground.
2. Truy cập lập trình qua API bằng Python hoặc các ngôn ngữ lập trình khác.

Cohere cũng cung cấp một giao diện chat riêng tương tự ChatGPT—được vận hành bởi Command R+ phía sau.

Cohere Playground

Cohere Playground cung cấp giao diện thân thiện để tương tác với các mô hình Cohere, mang lại trải nghiệm trực quan tương tự như làm việc với GPT.

Người dùng có thể khám phá và thử nghiệm các khả năng khác nhau của mô hình, tạo văn bản và tìm hiểu cách mô hình phản hồi. Với thiết kế gọn gàng, dễ tiếp cận, Cohere Playground cho phép người dùng nhanh chóng tạo thử nghiệm và kiểm tra các mô hình của Cohere.

Cohere Playground miễn phí để người dùng khám phá và thử nghiệm mô hình (miễn phí cho đến khi bạn đưa vào sản xuất).

Để sử dụng Cohere Playground, trước tiên chúng ta cần đăng ký trên trang web của Cohere.

Sau đó, đăng nhập và bạn sẽ đến trang như hình bên dưới—khá giống playground trên nền tảng OpenAI. Sử dụng menu thả xuống ở bên phải, chúng ta có thể chọn các mô hình Cohere khác nhau.

Playground có giao diện hơi khác nhau cho từng tác vụ. Ở gần đầu trang, bạn có bốn lựa chọn: Chat, Classify, Embed và Generate.

Bảng điều khiển của Cohere Playground

Cohere Playground rất phù hợp để nhanh chóng kiểm thử khả năng của các mô hình Cohere, nhưng nếu bạn đang xây dựng ứng dụng hoặc quy trình, bạn cần cách truy cập các mô hình này bằng lập trình. Đó là lúc API của Cohere phát huy tác dụng!

Cohere API

Truy cập API của Cohere khá đơn giản. Tóm lại, chúng ta sẽ cần:

1. Cài đặt thư viện Cohere.
2. Tạo khóa API.
3. Thực hiện một lời gọi API.

Hãy thảo luận từng bước một.

Cài đặt thư viện Cohere

Chúng ta có thể cài đặt client cohere bằng pip.

!pip install cohere

Tạo khóa API

Bây giờ, chúng ta cần một khóa API.

Như có thể thấy trong hình dưới đây, có hai loại khóa API: sản xuất và dùng thử. Cho mục đích của hướng dẫn này, chúng ta chỉ cần khóa dùng thử. Có thể sao chép khóa bằng cách nhấp biểu tượng sao chép bên cạnh.

Thực hiện một lời gọi API

Giờ đây khi đã cài đặt thư viện cohere và có khóa API, chúng ta có thể thực hiện một lời gọi API. Trong đoạn mã dưới đây, chúng ta:

• Import thư viện cohere để tương tác với API của họ.
• Tạo đối tượng Client bằng khóa API của chúng ta.
• Định nghĩa một prompt để gửi tới LLM.
• Gọi mô hình bằng co.chat().
• Trích xuất đối tượng phản hồi và in ra.

import cohere

co = cohere.Client('your_token_here')
message = "What is Machine Learning?"
response = co.chat(
  message=message,
  model="command",
  temperature=0.3
)


answer = response.text
print(answer)

Machine learning is a branch of computer science that focuses on developing algorithms and models that enable computers to learn and make predictions or decisions without being explicitly programmed. It is a key component of artificial intelligence (AI).

Machine Learning allows systems to identify patterns in data, uncover insights, and improve processes through iterative learning. Instead of writing explicit programs, ML enables the creation of models that can analyze data, identify patterns, and predict outcomes. These models are refined and optimized through a process known as training, which involves feeding the models annotated examples or real-world data.

(...)

Cấu trúc phản hồi

Trước đó, chúng ta truy cập câu trả lời bằng response.text. Nhưng đối tượng phản hồi chứa nhiều thông tin hơn, và chúng ta có thể truy cập bằng response.dict()—điều này sẽ trả về một tệp JSON chứa tất cả siêu dữ liệu, bao gồm cả thông điệp phản hồi:

response.dict()

{
   "text":"Machine Learning (ML) is a ....",
   "generation_id":"cebf4874-1e3d-429a-8699-8b9639b943dd",
   "finish_reason":"COMPLETE",
   "chat_history":[
      {
         "message":"What is Machine Learning?",
         "role":"USER"
      },
      {
         "message":"Machine Learning (ML) is a ....",
         "role":"CHATBOT"
      }
   ],
   "meta":{
      "api_version":{
         "version":"1"
      },
      "billed_units":{
         "input_tokens":56,
         "output_tokens":252
      },
      "tokens":{
         "input_tokens":67,
         "output_tokens":252
      }
   },
   "response_id":"df34a5f8-f1cd-407f-b1b5-5971aa12ae2a"
}

Hãy phân tích từng trường của đối tượng response:

• text: Chứa thông điệp do mô hình tạo ra.
• generation_id: Chứa ID gắn với câu trả lời được tạo, có thể dùng với endpoint Feedback API để đánh dấu phản hồi tốt hoặc báo cáo phản hồi kém.
• finish_reason: Cho biết lý do kết thúc quá trình sinh, có thể là một trong các giá trị sau:
• COMPLETE: Mô hình đã tạo xong thông điệp thành công.
• MAX_TOKENS: Giới hạn ngữ cảnh của mô hình đã đạt trước khi có thể hoàn tất quá trình sinh.
• chat_history: Chứa cuộc hội thoại theo định dạng nhật ký chat.
• meta: Chứa thông tin về số lượng token, tính phí, v.v.
• response_id: Trong khi generation_id tập trung vào một lần sinh văn bản cụ thể, response_id xác định toàn bộ đối tượng phản hồi chứa văn bản đã sinh và các dữ liệu liên quan khác.

Hội thoại nhiều lượt trong API của Cohere

Hãy tưởng tượng bạn đang phát triển một chatbot để trả lời câu hỏi của người dùng. Việc có ngữ cảnh từ các cuộc trò chuyện trước đó có thể giúp mô hình ngôn ngữ đưa ra câu trả lời phù hợp hơn.

Trong các cuộc hội thoại nhiều lượt, việc giữ lại ngữ cảnh của các tương tác trước là điều thiết yếu để tạo ra câu trả lời mạch lạc và phù hợp. API của Cohere hỗ trợ điều này bằng cách cho phép chúng ta đưa lịch sử chat vào thông qua tham số chat_history.

Điều này giúp mô hình hiểu dòng chảy hội thoại và phản hồi phù hợp dựa trên các trao đổi trước đó. Hãy xem một ví dụ.

message = "How is this related to Artificial Intelligence?"


response = co.chat(
  model="command-r-plus",
  chat_history=[
    {"role": "USER", "text": "What is Large Language Model?"},
    {"role": "CHATBOT", "text": "Large Language Model is a type ..."},
  ],
  message="How is this related to Artificial Intelligence?"
)


print(response.text)

Large language models (LLMs) are a key component of artificial intelligence (AI), and their development has played a significant role in advancing the field of AI. Here's how they are related:

1. Language Understanding and Generation: AI aims to create intelligent systems that can understand and respond to human language. LLMs are designed to process and generate human-like language, which is a fundamental aspect of human intelligence. By training on vast amounts of text data, LLMs learn to recognize patterns, syntax, semantics, and context, enabling them to interpret and generate language in a way that is similar to how humans do.

2. Machine Learning and Neural Networks: LLMs are typically built using machine learning techniques, particularly deep learning and neural networks. These are core areas of AI research. Neural networks, inspired by the structure of the human brain, enable LLMs to learn and make connections between different pieces of information. By training on large datasets, LLMs can identify patterns, relationships, and meanings in the data, which is a fundamental aspect of AI.

3. (...)

Khi người dùng hỏi "How is this related to Artificial Intelligence?", mô hình đã hiểu "this" ám chỉ các mô hình ngôn ngữ lớn (LLMs). Điều này là nhờ tham số chat_history, cung cấp ngữ cảnh cần thiết từ các tương tác trước đó. Duy trì ngữ cảnh trong hội thoại nhiều lượt là rất quan trọng để tạo ra phản hồi phù hợp và mạch lạc.

Cách này hoạt động tốt nhưng không thực tế nếu phải truyền thủ công chat_history vào API như ở ví dụ trên. Thay vì hardcode chat_history, chúng ta có thể xây dựng nó động khi cuộc trò chuyện diễn ra.

Có nhiều cách để đạt được điều này. Cách đơn giản nhất là dùng conversation_id trong API. Hãy xem ví dụ:

# First message
response = co.chat(
  model="command-r-plus",
  message="What is Large Language Models?",
  conversation_id='newuser1',
)

print(response.text)

Large Language Models (LLMs) are a type of artificial intelligence model specifically designed to process and generate human language. These models are typically based on deep learning and neural network architectures and are trained on vast amounts of text data. Here's an overview of LLMs and their key characteristics:

1. Definition:

- Large Language Models are machine learning models that are trained on large-scale textual data to understand, generate, and manipulate human language. They aim to capture the complexities of language, including syntax, semantics, and context.

2. Training Data:

- LLMs are trained on massive amounts of text data, often consisting of billions or even trillions of words. This training data can come from various sources such as books, articles, websites, social media, and other text-based documents.

3. (...)

Và bây giờ hãy gửi cho mô hình một thông điệp khác—lưu ý cách conversation_id được giữ nhất quán với thông điệp đầu tiên. Chỉ cần conversation_id được giữ nhất quán, API sẽ tự động sử dụng các thông điệp trước làm ngữ cảnh.

# Second message
response = co.chat(
  model="command-r-plus",
  message="How is it related to Artificial Intelligence?",
  conversation_id='newuser1',
)
print(response.text)

Large Language Models (LLMs) are a crucial component and a powerful manifestation of Artificial Intelligence (AI). Here's how LLMs are closely related to AI:

1. AI Foundation:

- Artificial Intelligence is a broad field that encompasses the development of computer systems capable of performing tasks typically associated with human intelligence. This includes areas like machine learning, natural language processing, computer vision, robotics, and decision-making.

- LLMs fall under the umbrella of AI as they are designed to understand, generate, and respond to human language, which is a fundamental aspect of human intelligence.

2. Machine Learning:

- Machine learning is a subset of AI that focuses on the development of algorithms and models that enable computers to learn and improve over time, based on data and experience, without being explicitly programmed.

- LLMs are built using machine learning techniques, particularly deep learning and neural networks. They are trained on large datasets to identify patterns, understand context, and generate responses, demonstrating their ability to learn and improve from data.

3. (...)

Nếu bạn muốn tiếp tục cuộc trò chuyện, chúng ta cần giữ nguyên conversation_id và hệ thống sẽ tự động ghi nhớ toàn bộ các đoạn trao đổi trước. conversation_id không nên dùng cùng với chat_history. Chúng loại trừ lẫn nhau.

Nếu bạn muốn tìm hiểu thêm, hãy xem tài liệu của Cohere.

Giá của Cohere

Hãy xem xét mức giá của mô hình tiên tiến nhất của Cohere và so sánh với các mô hình ngôn ngữ độc quyền hàng đầu từ OpenAI và Anthropic (chúng ta sẽ tập trung vào mô hình mạnh nhất của mỗi công ty). Tính đến tháng 5 năm 2024, mức giá như sau:

Mặc dù Cohere Command R+ có lợi thế về chi phí hấp dẫn, điều quan trọng là cần cân nhắc bức tranh hiệu năng rộng hơn của các mô hình này. Anthropic Claude Opus và GPT-4 Turbo liên tục thể hiện hiệu năng mạnh hơn trong các bài benchmark.

Kết luận

Dù bạn là nhà phát triển muốn nâng cấp ứng dụng hay doanh nghiệp muốn tích hợp AI tiên tiến, Cohere cung cấp các mô hình lớn có sức cạnh tranh với các mô hình nền tảng khác như GPT và Claude—nhưng với mức giá thấp hơn đáng kể.

Trong bài viết này, chúng ta đã tìm hiểu Cohere là gì và cách truy cập thông qua Playground hoặc API.

Nếu bạn muốn khám phá sâu hơn, tôi gợi ý buổi code-along về Sử dụng các mô hình ngôn ngữ lớn với Cohere API.

Nếu bạn muốn đi sâu hơn nữa và học cách phát triển ứng dụng AI end-to-end, hãy xem Phát triển ứng dụng LLM với LangChain.