Nhắc lệnh Zero-Shot: Ví dụ, Lý thuyết, Trường hợp sử dụng

Zero-Shot Prompting là gì?

Zero-shot prompting là kỹ thuật tận dụng khả năng khái quát hóa của LLM để thử các nhiệm vụ mới mà không cần huấn luyện hoặc ví dụ cụ thể trước đó.

Kỹ thuật này dựa trên quá trình tiền huấn luyện mở rộng của LLM trên các tập dữ liệu lớn và đa dạng, cho phép chúng áp dụng kiến thức rộng của mình vào nhiệm vụ mới chỉ dựa trên hướng dẫn rõ ràng và súc tích. Dù có thể rất hiệu quả, mức độ thành công phụ thuộc vào độ phức tạp của nhiệm vụ và chất lượng của prompt.

Tóm lại, bạn mô tả nhiệm vụ muốn mô hình thực hiện mà không đưa ví dụ. Mô hình sau đó sử dụng kiến thức tiền huấn luyện phong phú để tạo phản hồi phù hợp. 

Cách tiếp cận này trái ngược với one-shot hoặc few-shot prompting, nơi bạn cung cấp một hoặc vài ví dụ để định hướng đầu ra.

Zero-shot prompting cho thấy khả năng ấn tượng của LLM trong việc khái quát hóa hiểu biết trên nhiều lĩnh vực. Chỉ với một hướng dẫn rõ ràng, bạn có thể khai thác kho tri thức của mô hình để tạo nội dung sáng tạo, giàu thông tin, hoặc theo nhiệm vụ mà không cần huấn luyện bổ sung.

Hãy cùng xem một ví dụ nhanh:

Prompt: Phân loại loài vật dựa trên các đặc điểm của nó. Động vật: Sinh vật này có tám chân, giăng tơ và thường ăn côn trùng.

Output: Nhện.

Trong ví dụ này, prompt không đưa bất kỳ ví dụ nào về cách phân loại động vật hay các phân loại cần dùng. Đồng thời, prompt xác định rõ nhiệm vụ (phân loại động vật) dựa trên các đặc điểm đã cho.

Mô hình ngôn ngữ lớn sử dụng kiến thức rộng về các loài và đặc trưng của chúng để phân loại và xác định đúng rằng sinh vật được mô tả là con nhện dựa trên các đặc điểm then chốt đã nêu. Mô hình chỉ đưa ra phân loại như yêu cầu, thể hiện khả năng tuân thủ hướng dẫn một cách chính xác.

Zero-shot prompting loại bỏ nhu cầu tinh chỉnh theo từng nhiệm vụ, mở rộng đáng kể phạm vi nhiệm vụ mà mô hình có thể thực hiện và giúp người dùng không chuyên tiếp cận các khả năng nâng cao.

Zero-Shot Prompting hoạt động như thế nào

Để hiểu zero-shot prompting vận hành ra sao, cần rõ hai khía cạnh quan trọng: tiền huấn luyện của LLM và khái niệm thiết kế prompt.

Tiền huấn luyện mô hình ngôn ngữ

LLM trải qua quá trình tiền huấn luyện chuyên sâu trên các tập dữ liệu khổng lồ, tạo nền tảng cho khả năng zero-shot. Quy trình tiền huấn luyện như sau:

1. Thu thập dữ liệu: LLM được huấn luyện trên dữ liệu văn bản đa dạng từ nhiều nguồn. Khối lượng này có thể lên tới hàng trăm tỷ từ.
2. Tokenization: Văn bản được chia thành các đơn vị nhỏ hơn gọi là token, có thể là từ, phân từ hoặc ký tự.
3. Kiến trúc mạng nơ-ron: Mô hình, thường dựa trên kiến trúc transformer, xử lý các token này qua nhiều lớp mạng nơ-ron.
4. Huấn luyện dự đoán: Mô hình được huấn luyện để dự đoán token tiếp theo trong chuỗi dựa trên các token trước đó.
5. Nhận dạng mẫu: Thông qua quá trình này, mô hình học cách nhận ra các mẫu trong ngôn ngữ, bao gồm ngữ pháp, cú pháp và quan hệ ngữ nghĩa.
6. Tiếp thu tri thức: Mô hình xây dựng một nền tảng tri thức rộng bao phủ nhiều chủ đề và lĩnh vực.
7. Hiểu ngữ cảnh: Mô hình học cách hiểu bối cảnh và tạo phản hồi phù hợp với ngữ cảnh.

Điều này mang lại cho LLM kiến thức, sự hiểu biết và khả năng thích ứng cần thiết cho zero-shot prompting. Quá trình tiền huấn luyện sâu rộng cho phép các mô hình này thực hiện các nhiệm vụ mà chúng không được huấn luyện tường minh chỉ bằng cách hiểu và phản hồi các prompt ngôn ngữ tự nhiên.

Thiết kế prompt

Thiết kế prompt hiệu quả là yếu tố then chốt để zero-shot prompting thành công. Nó là cầu nối giữa ý định của người dùng và khả năng của mô hình. Vậy làm thế nào để đảm bảo prompt hiệu quả? Hãy xem các chiến lược sau:

Hướng dẫn rõ ràng

Prompt cần đưa ra hướng dẫn rõ ràng, không mơ hồ để truyền đạt nhiệm vụ mong muốn cho LLM.

Ví dụ: "Dịch câu tiếng Anh sau sang tiếng Pháp:" Prompt này nêu rõ nhiệm vụ (dịch) và chỉ định cả ngôn ngữ nguồn (tiếng Anh) lẫn ngôn ngữ đích (tiếng Pháp), không để chỗ cho hiểu sai.

Định khung nhiệm vụ

Định khung nhiệm vụ theo cách tận dụng kiến thức và năng lực sẵn có của mô hình.

Ví dụ: "Phân loại cảm xúc của bài đánh giá phim này là tích cực, tiêu cực hoặc trung lập:" Prompt này định khung nhiệm vụ là một bài toán phân loại với các hạng mục cụ thể, phù hợp với việc mô hình được huấn luyện về phân loại văn bản.

Cung cấp ngữ cảnh

Bao gồm ngữ cảnh hoặc thông tin nền liên quan để giúp mô hình hiểu yêu cầu và ràng buộc của nhiệm vụ.

Ví dụ: "Biết rằng 'Python' trong ngữ cảnh này là một ngôn ngữ lập trình, hãy giải thích Python là gì:" Prompt này cung cấp ngữ cảnh quan trọng (Python là ngôn ngữ lập trình, không phải con rắn) để đảm bảo mô hình tập trung vào thông tin phù hợp.

Chỉ định định dạng đầu ra

Xác định rõ định dạng mong đợi của phản hồi.

Ví dụ: "Liệt kê ba nguyên nhân chính của biến đổi khí hậu, mỗi nguyên nhân ở một gạch đầu dòng riêng." Prompt này chỉ rõ cả số lượng mục (ba) và định dạng (gạch đầu dòng) cho phản hồi, đảm bảo đầu ra có cấu trúc.

Tránh mơ hồ

Dùng ngôn ngữ chính xác và tránh hướng dẫn mơ hồ hoặc quá mở có thể dẫn đến mô hình hiểu sai.

Ví dụ: "Mô tả các bước cụ thể trong vòng tuần hoàn nước, bắt đầu từ bay hơi." Prompt này dùng ngôn ngữ chính xác ("các bước cụ thể", "vòng tuần hoàn nước") và cung cấp điểm bắt đầu, giảm khả năng hiểu sai.

Dùng ngôn ngữ tự nhiên

Diễn đạt prompt theo cách tự nhiên và mang tính hội thoại.

Ví dụ: "Hãy tưởng tượng bạn là một chuyên viên tư vấn nghề nghiệp. Bạn sẽ đưa ra lời khuyên gì cho một sinh viên mới tốt nghiệp đang tìm công việc đầu tiên?" Prompt này dùng giọng điệu hội thoại và thiết lập một tình huống gần gũi, khuyến khích mô hình đưa ra phản hồi tự nhiên và cuốn hút hơn.

Tinh chỉnh lặp

Nếu kết quả ban đầu chưa đạt, hãy tinh chỉnh prompt bằng cách bổ sung chi tiết hoặc điều chỉnh ngôn ngữ.

Ví dụ: Prompt ban đầu: "Hãy nói cho tôi về năng lượng tái tạo." Prompt đã tinh chỉnh: "Giải thích ba loại nguồn năng lượng tái tạo phổ biến nhất, lợi ích của chúng và các thách thức hiện tại trong triển khai." Điều này cho thấy cách một prompt rộng có thể được tinh chỉnh để tạo ra phản hồi tập trung và toàn diện hơn.

Ưu điểm của Zero-Shot Prompting

Zero-shot prompting có nhiều ưu thế đáng kể so với các kỹ thuật khác. 

Một trong số đó là tính linh hoạt cao. Điều này cho phép LLM thích ứng với nhiều nhiệm vụ mà không cần dữ liệu huấn luyện riêng. Tính linh hoạt rất quan trọng vì một mô hình duy nhất có thể thực hiện nhiều nhiệm vụ trên nhiều lĩnh vực, từ dịch ngôn ngữ đến phân tích cảm xúc đến tạo nội dung. Nó cho phép thích ứng nhanh với nhiệm vụ mới ngay lập tức, không cần các quy trình huấn luyện lại hay tinh chỉnh tốn thời gian.

Ngoài ra, mô hình zero-shot có thể xử lý các tình huống hoặc nhiệm vụ mới chưa từng được xem xét trước đó. Bạn cũng có thể tùy biến hành vi của mô hình theo nhu cầu cụ thể chỉ bằng cách điều chỉnh prompt, mà không cần sửa đổi mô hình nền.

Khi kiến thức tổng quát của mô hình tăng lên, khả năng xử lý các nhiệm vụ đa dạng cũng tự nhiên được cải thiện, không cần can thiệp theo từng nhiệm vụ.

Zero-shot prompting cũng mang lại lợi ích lớn về hiệu quả, đặc biệt về thời gian và tiết kiệm tài nguyên. Nó loại bỏ nhu cầu có các tập dữ liệu riêng cho từng nhiệm vụ, vốn tốn thời gian và chi phí để thu thập.

Nó cũng loại bỏ yêu cầu dữ liệu gán nhãn, giảm chi phí và các thiên lệch tiềm ẩn do người gán nhãn. Không cần tinh chỉnh theo nhiệm vụ, nhu cầu tính toán giảm đáng kể. Điều này cho phép triển khai ứng dụng mới nhanh hơn vì không phải chờ thu thập dữ liệu và huấn luyện mô hình. Một mô hình có thể xử lý nhiều nhiệm vụ, giảm nhu cầu có nhiều mô hình chuyên biệt. Kỹ thuật nhắc lệnh cho phép lặp nhanh và cải tiến mà không cần huấn luyện lại.

Hãy xét quy trình truyền thống so với zero-shot prompting khi phát triển một công cụ phân tích cảm xúc:

Sự so sánh này cho thấy tiết kiệm đáng kể về thời gian và tài nguyên đạt được với zero-shot prompting, cho phép phát triển và triển khai AI nhanh hơn trên nhiều lĩnh vực.

Ứng dụng của Zero-Shot Prompting

Zero-shot prompting đã dẫn đến nhiều cách sử dụng mới trong các lĩnh vực khác nhau. Hãy xem một số mảng quan trọng nơi kỹ thuật này tạo khác biệt.

Tạo văn bản

Zero-shot prompting hoạt động rất tốt trong nhiều nhiệm vụ tạo văn bản, cho phép mô hình tạo ra các loại nội dung đa dạng mà không cần huấn luyện cụ thể. Một số gồm tóm tắt, sáng tác và dịch thuật. Dưới đây là vài ví dụ:

Phân loại và phân tích cảm xúc

Zero-shot prompting có thể dùng cho nhiều nhiệm vụ phân loại, bao gồm phân loại chủ đề, phân tích cảm xúc và phân loại ý định, mà không cần dữ liệu huấn luyện gán nhãn.

Hỏi đáp

Zero-shot prompting mang lại cho mô hình khả năng trả lời nhiều loại câu hỏi khác nhau, như câu hỏi sự thật, giải thích và so sánh, dựa trên kiến thức tổng quát và hiểu biết ngôn ngữ của chúng.

Hạn chế của Zero-Shot Prompting

Dù zero-shot prompting có khả năng mạnh mẽ, điều quan trọng là hiểu các hạn chế và thách thức của nó. 

Độ chính xác

Zero-shot prompting, dù mạnh, có thể không luôn chính xác bằng các mô hình được huấn luyện chuyên biệt cho từng nhiệm vụ. Hạn chế này xuất phát từ một số yếu tố:

• Thiếu tối ưu theo nhiệm vụ: Mô hình tinh chỉnh được hưởng lợi từ huấn luyện nhắm mục tiêu trên dữ liệu đặc thù nhiệm vụ, có thể dẫn đến độ chính xác cao hơn cho nhiệm vụ đó.
• Biến thiên khi diễn giải: Cách mô hình diễn giải prompt có thể không luôn trùng khớp hoàn toàn với ý định của người dùng, dẫn tới sai lệch.
• Xử lý nhiệm vụ phức tạp: Các nhiệm vụ chuyên sâu hoặc phức tạp có thể đòi hỏi mức hiểu tinh tế hơn khả năng zero-shot đơn thuần.

Độ nhạy với prompt

Hiệu quả của zero-shot prompting có thể rất nhạy với cách diễn đạt prompt. 

• Khác biệt từ ngữ: Thay đổi nhỏ trong vốn từ hoặc cấu trúc câu có thể làm thay đổi cách mô hình hiểu nhiệm vụ.
• Độ rõ của hướng dẫn: Hướng dẫn mơ hồ hoặc thiếu chính xác có thể dẫn đến kết quả bất ngờ hoặc không nhất quán.
• Phụ thuộc ngữ cảnh: Hiệu quả của một prompt có thể thay đổi tùy theo đầu vào hoặc ngữ cảnh cụ thể áp dụng.

Hãy xem một ví dụ cụ thể với một đoạn văn mẫu và giải thích đầu ra cho mỗi prompt. Điều này minh họa cách thay đổi nhỏ trong prompt có thể dẫn đến phản hồi khác nhau từ mô hình.

Chúng ta sẽ dùng đoạn văn sau:

Văn bản mẫu: "Cuộc Cách mạng Công nghiệp, diễn ra từ thế kỷ 18 đến 19, là giai đoạn trong đó các xã hội chủ yếu nông nghiệp, nông thôn ở châu Âu và Mỹ trở nên công nghiệp hóa và đô thị hóa. Trước Cách mạng Công nghiệp, bắt đầu ở Anh vào cuối những năm 1700, sản xuất thường được thực hiện tại nhà bằng công cụ thủ công hoặc máy móc cơ bản. Công nghiệp hóa đánh dấu sự chuyển dịch sang máy móc chạy bằng năng lượng, chuyên dụng, nhà máy và sản xuất hàng loạt. Ngành sắt và dệt, cùng với sự phát triển của động cơ hơi nước, đóng vai trò trung tâm trong Cách mạng Công nghiệp, vốn cũng chứng kiến sự cải thiện của các hệ thống giao thông, liên lạc và ngân hàng."

Giờ hãy áp dụng ba prompt của chúng ta:

Prompt 1: "Tóm tắt đoạn văn này trong một câu:"

Kết quả 1: Cách mạng Công nghiệp là giai đoạn mang tính bước ngoặt trong thế kỷ 18 và 19, chuyển các xã hội châu Âu và Mỹ từ nông nghiệp sang công nghiệp, đặc trưng bởi sự ra đời của nhà máy, sản xuất hàng loạt và các tiến bộ công nghệ trong sản xuất, giao thông và liên lạc.

Phản hồi này cung cấp một bản tóm tắt ngắn gọn, một câu, nêu bật bản chất của Cách mạng Công nghiệp, khung thời gian, địa điểm và các đặc trưng chính.

Prompt 2: "Cung cấp một bản tóm tắt ngắn gọn về nội dung sau:"

Kết quả 2: Cách mạng Công nghiệp là một giai đoạn thay đổi quan trọng từ thế kỷ 18 đến 19, chủ yếu ảnh hưởng đến châu Âu và Mỹ. Nó đánh dấu sự chuyển đổi từ xã hội nông nghiệp, nông thôn sang công nghiệp và đô thị. Trước thời kỳ này, sản xuất thường được thực hiện tại nhà bằng công cụ đơn giản. Cuộc cách mạng mang đến máy móc chạy bằng năng lượng, nhà máy và phương thức sản xuất hàng loạt. Các ngành chủ chốt như sắt và dệt đóng vai trò thiết yếu, cũng như phát minh động cơ hơi nước. Giai đoạn này cũng chứng kiến những tiến bộ trong hệ thống giao thông, liên lạc và ngân hàng, làm thay đổi căn bản bức tranh kinh tế - xã hội.

Phản hồi này dài và chi tiết hơn câu đầu. Nó bao quát nhiều khía cạnh của Cách mạng Công nghiệp, bao gồm tác động đến các ngành cụ thể và thay đổi xã hội rộng hơn. Mô hình diễn giải "tóm tắt ngắn gọn" là cho phép nhiều câu và phạm vi bao quát toàn diện hơn.

Prompt 3: "Ý chính của đoạn này là gì?"

Kết quả 3: Ý chính của đoạn văn là sự chuyển đổi căn bản từ xã hội nông nghiệp sang công nghiệp trong Cách mạng Công nghiệp, nhấn mạnh những thay đổi lớn trong phương thức sản xuất, công nghệ và phát triển đô thị diễn ra ở châu Âu và Mỹ từ thế kỷ 18 đến 19.

Phản hồi này tập trung vào chủ đề trung tâm thay vì cố gắng tóm tắt mọi chi tiết. Nó xác định chuyển đổi then chốt (từ nông nghiệp sang công nghiệp) và đề cập các lĩnh vực thay đổi rộng mà không đi sâu vào chi tiết như ngành sắt, dệt hay động cơ hơi nước.

Thiên lệch

Các mô hình tiền huấn luyện dùng cho zero-shot prompting có thể thể hiện thiên lệch có trong dữ liệu huấn luyện, dẫn đến đầu ra gây vấn đề:

• Thiên lệch nhân khẩu: Mô hình có thể tạo kết quả thiên lệch liên quan đến chủng tộc, giới tính, độ tuổi hoặc các yếu tố nhân khẩu khác.
• Thiên lệch văn hóa: Phản hồi của mô hình có thể thiên về một số góc nhìn văn hóa so với những góc nhìn khác.
• Thiên lệch tính thời sự: Thông tin phổ biến hơn trong dữ liệu huấn luyện (thường là gần đây) có thể bị đại diện quá mức trong tri thức của mô hình.
• Rập khuôn: Mô hình có thể củng cố các khuôn mẫu tiêu cực tồn tại trong dữ liệu huấn luyện.

Hiểu các hạn chế và thách thức này là chìa khóa để sử dụng zero-shot prompting hiệu quả. Điều quan trọng là bạn nhận thức được các sai lệch tiềm ẩn, tầm quan trọng của việc thiết kế prompt cẩn thận, và cần đánh giá phản hồi một cách phê phán để phát hiện thiên lệch.

Nếu bạn quan tâm đến chủ đề này, hãy xem khóa học về Đạo đức AI.

Kết luận

Trong hướng dẫn này, chúng ta đã học rằng Zero-shot prompting là một kỹ thuật mang lại cách tiếp cận mạnh mẽ và linh hoạt để xử lý nhiều nhiệm vụ ngôn ngữ mà không cần dữ liệu huấn luyện chuyên biệt hoặc tinh chỉnh mô hình.

Zero-shot prompting cho phép LLM thực hiện nhiều nhiệm vụ như tạo văn bản, phân loại và hỏi đáp thông qua các prompt được thiết kế cẩn thận.

Kỹ thuật này loại bỏ nhu cầu thu thập dữ liệu và huấn luyện mô hình riêng cho từng nhiệm vụ, giúp giảm đáng kể thời gian và tài nguyên cần thiết để triển khai giải pháp AI.

Phương pháp này giúp năng lực AI tiên tiến trở nên dễ tiếp cận hơn với người không chuyên, vì các nhiệm vụ phức tạp có thể được thực hiện chỉ bằng cách mô tả chúng bằng ngôn ngữ tự nhiên.

Tuy nhiên, zero-shot prompting có những hạn chế về độ chính xác, độ nhạy với prompt và thiên lệch tiềm ẩn. Hiểu các thách thức này là rất quan trọng để sử dụng có trách nhiệm và hiệu quả.

Và giờ là lúc đưa kiến thức này vào thực tiễn! Tôi khuyến khích bạn khám phá zero-shot prompting trong các dự án của mình và thử nghiệm với những prompt và nhiệm vụ khác nhau. Hãy tận hưởng và khám phá tiềm năng của kỹ thuật này trong công việc của bạn – chúc bạn vui!