Hướng dẫn GPTCache: Nâng cao hiệu quả trong ứng dụng LLM

GPTCache là một framework mã nguồn mở dành cho các ứng dụng mô hình ngôn ngữ lớn (LLM) như ChatGPT. Nó lưu trữ các phản hồi LLM đã tạo trước đó cho những truy vấn tương tự. Thay vì phụ thuộc vào LLM, ứng dụng sẽ kiểm tra bộ nhớ đệm để tìm phản hồi phù hợp nhằm tiết kiệm thời gian cho bạn.

Hướng dẫn này sẽ giải thích cách GPTCache hoạt động và cách bạn có thể sử dụng hiệu quả trong dự án của mình.

GPTCache là gì?

GPTCache là một hệ thống bộ nhớ đệm được thiết kế để cải thiện hiệu năng và hiệu quả của mô hình ngôn ngữ lớn (LLM) như GPT-3. Nó giúp LLM lưu trữ các truy vấn đã tạo trước đó để tiết kiệm thời gian và công sức.

Khi một truy vấn tương tự xuất hiện, LLM có thể lấy phản hồi đã được lưu đệm thay vì tạo mới từ đầu.

Không giống các công cụ khác, GPTCache hoạt động dựa trên bộ nhớ đệm ngữ nghĩa. Bộ nhớ đệm ngữ nghĩa giữ mục đích của một truy vấn/yêu cầu. Nhờ đó, khi các truy vấn đã lưu trước đó được gọi lại, kết quả của chúng sẽ giảm tải cho máy chủ và cải thiện tỷ lệ truy cập bộ nhớ đệm.

Lợi ích khi sử dụng GPTCache

Ý tưởng chính của GPTCache là lưu trữ và tái sử dụng các phép tính trung gian được tạo trong quá trình suy luận của LLM. Việc này mang lại một số lợi ích:

Tiết kiệm chi phí cho các lần gọi API của LLM

Hầu hết LLM tính phí cho mỗi yêu cầu dựa trên số lượng token được xử lý. Lúc này GPTCache phát huy tác dụng. Nó giảm thiểu số lần gọi API LLM bằng cách phục vụ các phản hồi đã được tạo cho những truy vấn tương tự. Kết quả là giúp tiết kiệm chi phí bằng cách giảm các khoản gọi LLM không cần thiết.

Cải thiện thời gian phản hồi và hiệu suất

Truy xuất phản hồi từ bộ nhớ đệm nhanh hơn đáng kể so với việc tạo mới từ đầu bằng cách truy vấn LLM. Điều này tăng tốc độ và cải thiện thời gian phản hồi. Các phản hồi hiệu quả giúp giảm gánh nặng cho chính LLM và giải phóng tài nguyên để phân bổ cho các tác vụ khác.

Nâng cao trải nghiệm người dùng nhờ hiệu năng ứng dụng nhanh hơn

Giả sử bạn đang tìm câu hỏi cho nội dung của mình. Mỗi câu hỏi bạn đặt ra đều mất rất lâu để AI trả lời. Tại sao? Vì hầu hết dịch vụ LLM áp dụng giới hạn số yêu cầu trong các khoảng thời gian nhất định. Vượt quá giới hạn này sẽ chặn các yêu cầu tiếp theo cho đến khi đặt lại, gây gián đoạn dịch vụ.

ChatGPT có thể đạt đến giới hạn tạo phản hồi

Để tránh những vấn đề này, GPTchache lưu đệm các câu trả lời trước đó cho các câu hỏi tương tự. Khi bạn hỏi điều gì đó, nó nhanh chóng kiểm tra bộ nhớ và cung cấp thông tin ngay lập tức. Kết quả là bạn nhận được phản hồi nhanh hơn bình thường.

Nói đơn giản, bằng cách tận dụng các phản hồi đã lưu, GPTCache giúp các ứng dụng dựa trên LLM trở nên linh hoạt và hiệu quả—đúng như kỳ vọng của bạn ở bất kỳ công cụ hiện đại nào.

Thiết lập GPTCache

Bạn có thể cài đặt trực tiếp GPTCache như sau:

Cài đặt và cấu hình

Cài đặt gói GPTCache bằng đoạn mã này.

! pip install -q gptcacheĐược hỗ trợ bởi

Tiếp theo, nhập GPTCache vào ứng dụng của bạn.

from gptcache import GPTCache
cache = GPTCache()  
# keep the mode default 
Được hỗ trợ bởi

Vậy là xong!

Tích hợp với LLM

Bạn có thể tích hợp GPTCache với LLM thông qua LLM Adapter. Hiện tại, nó tương thích với hai adapter mô hình ngôn ngữ lớn sau:

• OpenAI
• Langchain

Dưới đây là cách tích hợp với cả hai adapter:

GPTCache với OpenAI ChatGPT API

Để tích hợp GPTCache với OpenAI, khởi tạo bộ nhớ đệm và nhập openai từ gptcache.adapter.

from gptcache import cache
from gptcache.adapter import openai

cache.init()
cache.set_openai_key()
Được hỗ trợ bởi

Trước khi chạy mã ví dụ, hãy thiết lập biến môi trường OPENAI_API_KEY bằng cách thực thi echo $OPENAI_API_KEY.

Nếu chưa được thiết lập, bạn có thể đặt bằng lệnh export OPENAI_API_KEY=YOUR_API_KEY trên hệ thống Unix/Linux/MacOS hoặc set OPENAI_API_KEY=YOUR_API_KEY trên Windows.

Sau đó, nếu bạn hỏi ChatGPT hai câu hỏi y hệt, câu trả lời cho câu hỏi thứ hai sẽ được truy xuất từ bộ nhớ đệm thay vì hỏi lại ChatGPT.

Dưới đây là ví dụ mã cho bộ nhớ đệm tìm kiếm tương tự:

import time


def response_text(openai_resp):
    return openai_resp['choices'][0]['message']['content']

print("Cache loading.....")

# To use GPTCache, that's all you need
# -------------------------------------------------
from gptcache import cache
from gptcache.adapter import openai

cache.init()
cache.set_openai_key()
# -------------------------------------------------

question = "what's github"
for _ in range(2):
    start_time = time.time()
    response = openai.ChatCompletion.create(
      model='gpt-3.5-turbo',
      messages=[
        {
            'role': 'user',
            'content': question
        }
      ],
    )
    print(f'Question: {question}')
    print("Time consuming: {:.2f}s".format(time.time() - start_time))
    print(f'Answer: {response_text(response)}\n')Được hỗ trợ bởi

Đây là những gì bạn sẽ thấy ở phần đầu ra:

Lần thứ hai, GPT mất gần 0 giây để trả lời cùng một câu hỏi

GPTCache với LangChain

Nếu bạn muốn dùng một LLM khác, hãy thử adapter LangChain. Dưới đây là cách tích hợp GPTCahe với LangChain:

from langchain.globals import set_llm_cache
from langchain_openai import OpenAI

# To make the caching really obvious, lets use a slower model.
llm = OpenAI(model_name="gpt-3.5-turbo-instruct", n=2, best_of=2)Được hỗ trợ bởi

Tìm hiểu cách xây dựng ứng dụng LLM với Langchain.

Sử dụng GPTCache trong dự án của bạn

Hãy xem GPTCache có thể hỗ trợ dự án của bạn như thế nào.

Các thao tác cơ bản

LLM có thể trở nên kém hiệu quả do độ phức tạp và tính biến thiên vốn có của truy vấn LLM, dẫn đến tỷ lệ trúng bộ nhớ đệm thấp.

Để khắc phục hạn chế này, GPTCache áp dụng các chiến lược bộ nhớ đệm ngữ nghĩa. Bộ nhớ đệm ngữ nghĩa lưu trữ các truy vấn tương tự hoặc có liên quan—tăng xác suất trúng bộ nhớ đệm và nâng cao hiệu quả lưu đệm tổng thể.

GPTCache tận dụng các thuật toán embedding để chuyển đổi truy vấn thành các biểu diễn số gọi là embedding. Những embedding này được lưu trong một kho vector, cho phép tìm kiếm tương đồng hiệu quả. Quy trình này cho phép GPTCache xác định và truy xuất các truy vấn tương tự hoặc liên quan từ bộ nhớ đệm.

Với thiết kế dạng mô-đun, bạn có thể tùy chỉnh việc triển khai bộ nhớ đệm ngữ nghĩa theo nhu cầu.

Tuy nhiên—đôi khi có thể xảy ra trúng đệm sai và trượt đệm trong bộ nhớ đệm ngữ nghĩa. Để theo dõi hiệu năng này, GPTCache cung cấp ba chỉ số:

• Tỷ lệ trúng (hit ratio) đo lường mức độ thành công của bộ nhớ đệm trong việc đáp ứng yêu cầu. Giá trị cao hơn cho thấy hiệu năng tốt hơn.
• Độ trễ (latency) cho biết thời gian truy xuất dữ liệu từ bộ nhớ đệm, càng thấp càng tốt.
• Recall thể hiện tỷ lệ truy vấn bộ nhớ đệm được phục vụ chính xác. Phần trăm càng cao phản ánh độ chính xác càng tốt.

Tính năng nâng cao

Tất cả phần tử dữ liệu cơ bản như truy vấn ban đầu, prompt, phản hồi và dấu thời gian truy cập được lưu trong một "trình quản lý dữ liệu" (data manager). GPTCache hiện hỗ trợ các tùy chọn lưu trữ bộ nhớ đệm sau:

• SQLite
• MySQL
• Cơ sở dữ liệu PostgreSQL.

Hiện chưa hỗ trợ cơ sở dữ liệu ‘NoSQL’, nhưng dự kiến sẽ sớm được bổ sung.

Sử dụng chính sách loại bỏ (eviction)

Ngoài ra, GPTCache có thể xóa dữ liệu khỏi bộ nhớ đệm dựa trên một giới hạn hoặc số lượng xác định. Để quản lý kích thước bộ nhớ đệm, bạn có thể áp dụng chính sách loại bỏ Ít được sử dụng gần đây nhất (LRU) hoặc Vào trước, ra trước (FIFO).

• Chính sách LRU loại bỏ các mục được truy cập gần đây ít nhất.
• Trong khi đó, chính sách FIFO loại bỏ các mục đã được lưu trong bộ nhớ đệm lâu nhất.

Đánh giá hiệu năng phản hồi

GPTCache sử dụng hàm ‘đánh giá’ để xác định liệu một phản hồi đã lưu đệm có giải quyết đúng truy vấn của người dùng hay không. Để làm vậy, nó nhận ba đầu vào:

• yêu cầu dữ liệu của người dùng
• dữ liệu đã lưu đệm được đánh giá
• các tham số do người dùng xác định (nếu có)

Bạn cũng có thể dùng hai hàm khác:

• ‘log_time_func’ cho phép bạn ghi lại và báo cáo thời lượng của các tác vụ nặng như tạo ‘embedding’ hoặc thực hiện ‘tìm kiếm’ bộ nhớ đệm. Điều này giúp theo dõi đặc tính hiệu năng.
• Với ‘similarity_threshold’, bạn có thể xác định ngưỡng để quyết định khi nào hai vector embedding (biểu diễn văn bản trong không gian nhiều chiều) đủ tương đồng để ghép nối.

Thực hành tốt và khắc phục sự cố GPTCache

Giờ bạn đã hiểu cách GPTCache hoạt động, dưới đây là một số thực hành và mẹo để đảm bảo bạn tận dụng tốt lợi ích của nó.

Tối ưu hiệu năng GPTCache

Có một số bước bạn có thể thực hiện để tối ưu hiệu năng của GPTCache, như trình bày dưới đây.

1. Rõ ràng trong câu lệnh nhắc (prompt)

Cách bạn đưa prompt cho LLM ảnh hưởng đến mức độ hiệu quả của GPTCache. Vì vậy, hãy giữ cách diễn đạt nhất quán để tăng khả năng trúng bộ nhớ đệm.

Ví dụ, sử dụng cách diễn đạt nhất quán như "Tôi không thể đăng nhập vào tài khoản của mình." Bằng cách này, GPTCache sẽ nhận diện hiệu quả hơn các vấn đề tương tự như "Quên mật khẩu" hoặc "Vấn đề đăng nhập tài khoản".

2. Sử dụng các chỉ số theo dõi tích hợp

Theo dõi các chỉ số tích hợp như tỷ lệ trúng, recall và độ trễ để phân tích hiệu suất bộ nhớ đệm của bạn. Tỷ lệ trúng cao hơn cho thấy bộ nhớ đệm phục vụ nội dung được yêu cầu từ dữ liệu đã lưu hiệu quả hơn, giúp bạn hiểu rõ mức độ hiệu quả.

3. Mở rộng GPTCache cho ứng dụng LLM có lượng người dùng lớn

Để mở rộng GPTCache cho các ứng dụng LLM lớn, hãy triển khai phương pháp bộ nhớ đệm dùng chung, sử dụng cùng một bộ nhớ đệm cho các nhóm người dùng có hồ sơ tương tự. Tạo hồ sơ người dùng và phân loại để xác định các nhóm người dùng tương đồng.

Tận dụng bộ nhớ đệm dùng chung cho người dùng trong cùng nhóm hồ sơ mang lại hiệu quả tốt về hiệu suất bộ nhớ đệm và khả năng mở rộng.

Lý do là người dùng trong cùng nhóm hồ sơ có xu hướng có các truy vấn liên quan, có thể hưởng lợi từ phản hồi đã lưu đệm. Tuy nhiên, bạn cần áp dụng kỹ thuật lập hồ sơ và phân loại người dùng phù hợp để nhóm người dùng chính xác và tối đa hóa lợi ích của bộ nhớ đệm dùng chung.

Khắc phục sự cố thường gặp với GPTCache

Nếu bạn gặp khó khăn với GPTCache, có một số bước có thể thực hiện để xử lý sự cố.

1. Vô hiệu hóa bộ nhớ đệm (cache invalidation)

GPTCache dựa vào các phản hồi bộ nhớ đệm được cập nhật. Nếu phản hồi của LLM nền tảng hoặc ý định của người dùng thay đổi theo thời gian, các phản hồi đã lưu đệm có thể trở nên không chính xác hoặc không phù hợp.

Để tránh điều này, hãy đặt thời gian hết hạn cho các mục trong bộ nhớ đệm dựa trên tần suất cập nhật dự kiến của LLM và thường xuyên làm mới bộ nhớ đệm.

2. Phụ thuộc quá mức vào phản hồi đã lưu đệm

Mặc dù GPTCache có thể cải thiện hiệu quả, việc phụ thuộc quá nhiều vào phản hồi đã lưu đệm có thể dẫn đến thông tin không chính xác nếu bộ nhớ đệm không được vô hiệu hóa đúng cách.

Vì mục đích này, hãy đảm bảo ứng dụng của bạn thỉnh thoảng truy xuất phản hồi mới từ LLM, ngay cả với các truy vấn tương tự. Điều này duy trì độ chính xác và chất lượng phản hồi khi xử lý thông tin quan trọng hoặc nhạy thời gian.

3. Bỏ qua chất lượng bộ nhớ đệm

Chất lượng và mức độ liên quan của phản hồi đã lưu đệm ảnh hưởng đến trải nghiệm người dùng. Vì vậy, bạn nên sử dụng các chỉ số đánh giá để kiểm định chất lượng phản hồi đã lưu đệm trước khi phục vụ cho người dùng.

Bằng cách hiểu các rủi ro tiềm ẩn và giải pháp của chúng, bạn có thể đảm bảo GPTCache nâng cao hiệu năng và hiệu quả chi phí cho các ứng dụng vận hành bằng LLM—mà không làm ảnh hưởng đến độ chính xác hay trải nghiệm người dùng.

Tổng kết

GPTCache là một công cụ mạnh mẽ để tối ưu hiệu năng và hiệu quả chi phí của các ứng dụng LLM. Cần có cấu hình phù hợp, theo dõi và chiến lược đánh giá bộ nhớ đệm để đảm bảo bạn nhận được các phản hồi chính xác và phù hợp.

Nếu bạn mới làm quen với LLM, các tài nguyên sau có thể hữu ích:

• Phát triển mô hình ngôn ngữ lớn
• Xây dựng ứng dụng LLM với LangChain và GPT
• Huấn luyện LLM với PyTorch
• Sử dụng LLM với cohere API
• Phát triển ứng dụng LLM với LangChain