Xử lý ngôn ngữ tự nhiên (NLP) là một phân ngành của ngôn ngữ học, khoa học máy tính, trí tuệ nhân tạo và kỹ thuật thông tin, quan tâm đến tương tác giữa máy tính và ngôn ngữ tự nhiên của con người, đặc biệt là cách lập trình máy tính để xử lý và phân tích lượng lớn dữ liệu ngôn ngữ tự nhiên.
Nghe thú vị chứ? Bạn sẽ nói gì nếu chúng tôi bảo rằng chúng tôi đã nhờ một thuật toán tên là GPT-3 viết toàn bộ đoạn văn này và nó làm được ngay từ lần đầu tiên? Chúng tôi không đùa đâu! Xem thử nhé…
GPT-3 đang hoạt động
Thật ấn tượng, đúng không?! Quay lại với NLP. NLP cho phép máy tính xử lý ngôn ngữ của con người dưới dạng văn bản hoặc giọng nói và “hiểu” đầy đủ ý nghĩa, bao gồm cả ý định và cảm xúc của người nói hoặc người viết. NLP là lĩnh vực chứng kiến một số khám phá và ứng dụng AI thú vị nhất trong thập kỷ qua. Trong vài năm gần đây, xu hướng sôi động và dồi dào nhất ở lĩnh vực này là các mô hình ngôn ngữ lớn, mà GPT-3 là một đại diện.
Một số người coi GPT-3 là bước đầu tiên trong hành trình hướng tới Trí tuệ Nhân tạo Tổng quát. Nó đã thu hút nhiều sự chú ý hơn bất kỳ mô hình AI nào khác. Khả năng linh hoạt phi thường khi thực hiện một loạt tác vụ tổng quát với hiệu quả và độ chính xác gần như con người khiến nó trở nên vô cùng hấp dẫn. GPT-3 được phát hành dưới dạng API với mục tiêu mang đến cho nhà khoa học dữ liệu, nhà phát triển và mọi đối tượng nghề nghiệp trên toàn thế giới quyền truy cập chưa từng có vào một trong những mô hình ngôn ngữ mạnh mẽ nhất thế giới.
Mô hình này do OpenAI tạo ra, một công ty tiên phong trong R&D về trí tuệ nhân tạo. Kể từ khi ra mắt vào tháng 7/2020, các nhà phát triển trên khắp thế giới đã tìm ra hàng trăm ứng dụng thú vị của GPT-3, có tiềm năng nâng tầm cách chúng ta giao tiếp, học tập và giải trí. Nó có thể giải quyết các tác vụ dựa trên ngôn ngữ nói chung một cách dễ dàng và có thể di chuyển linh hoạt giữa các phong cách và mục đích văn bản khác nhau.
Trước GPT-3, các mô hình ngôn ngữ thường được thiết kế cho một tác vụ NLP cụ thể, như tạo văn bản, tóm tắt hoặc phân loại. GPT-3 là mô hình ngôn ngữ tổng quát đầu tiên trong lịch sử xử lý ngôn ngữ tự nhiên có thể thực hiện tốt đồng đều trên một loạt tác vụ NLP. GPT-3 là viết tắt của “Generative Pre-trained Transformer” (Bộ biến đổi sinh ngôn tiền huấn luyện), và đây là lần lặp thứ ba của OpenAI cho mô hình này. Hãy cùng bóc tách ba thuật ngữ này:
- Generative (Sinh ngôn): Mô hình sinh là một loại mô hình thống kê được dùng để tạo ra các điểm dữ liệu mới. Những mô hình này học mối quan hệ cơ bản giữa các biến trong một tập dữ liệu để tạo ra dữ liệu mới tương tự với dữ liệu trong tập đó.
- Pre-trained (Tiền huấn luyện): Mô hình tiền huấn luyện là mô hình đã được huấn luyện trên một tập dữ liệu lớn. Nhờ đó, chúng có thể được dùng cho các tác vụ mà việc huấn luyện từ đầu là khó khăn. Một mô hình tiền huấn luyện có thể không chính xác 100%, nhưng giúp bạn không phải “tái phát minh bánh xe”, tiết kiệm thời gian và cải thiện hiệu năng.
- Transformer (Bộ biến đổi): Mô hình transformer là một mạng nơ-ron nhân tạo nổi tiếng được phát minh năm 2017. Đây là mô hình học sâu được thiết kế để xử lý dữ liệu tuần tự như văn bản. Transformer thường được dùng cho các tác vụ như dịch máy và phân loại văn bản.
Ở phần tiếp theo, chúng ta sẽ xem xét bối cảnh rộng hơn của các mô hình ngôn ngữ—chúng là gì, hoạt động ra sao và được dùng để làm gì. Bạn có thể tìm hiểu thêm về những gì chúng ta biết về GPT-4 trong một bài viết riêng, tìm hiểu thêm về AI tại đây hoặc cập nhật tin mới nhất về OpenAI, Google AI và ý nghĩa đối với khoa học dữ liệu.
Các mô hình ngôn ngữ lớn là gì?
Những năm gần đây, lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) ghi nhận sự quan tâm lớn vào việc xây dựng các mô hình ngôn ngữ lớn, hay LLM. LLM được huấn luyện trên lượng văn bản khổng lồ và có thể dùng cho nhiều tác vụ dựa trên ngôn ngữ, bao gồm tạo văn bản, dịch máy và hỏi đáp.
Mô hình hóa ngôn ngữ là bài toán sử dụng xác suất để hiểu cách các câu được ghép lại trong một ngôn ngữ nhất định. Các mô hình đơn giản có thể nhìn một từ và dự đoán từ (hoặc các từ) có khả năng theo sau nhất, dựa trên phân tích thống kê các chuỗi văn bản có sẵn. Ví dụ, câu "I love walking my ..." có khả năng kết thúc bằng từ "dog" hơn là từ "refrigerator". Cần huấn luyện mô hình ngôn ngữ với thật nhiều dữ liệu để dự đoán chuỗi từ chính xác.
LLM có thể được xem như những cỗ máy dự đoán thống kê: đầu vào là văn bản và đầu ra là các dự đoán. Bạn có lẽ quen thuộc với điều này qua tính năng tự động gợi ý trên điện thoại. Chẳng hạn, nếu bạn gõ “good”, gợi ý có thể là “morning” hoặc “luck.” Các ứng dụng NLP như tự động hoàn thành dựa nhiều vào mô hình ngôn ngữ.
Dù mô hình ngôn ngữ đã xuất hiện từ lâu, chỉ gần đây chúng mới thành công vang dội. Nguyên nhân đến từ nhiều yếu tố, gồm sự sẵn có của lượng dữ liệu huấn luyện lớn, sự phát triển của thuật toán huấn luyện tốt hơn, và việc dùng GPU để tăng tốc huấn luyện. Với nhiều dữ liệu hơn, mô hình có thể học được nhiều hơn về mối quan hệ giữa các từ và bối cảnh sử dụng. Điều này giúp mô hình hiểu nghĩa văn bản tốt hơn và tạo ra dự đoán chính xác hơn.
Thành công của LLM đến từ khả năng nắm bắt các phụ thuộc giữa các từ trong văn bản. Ví dụ, trong câu "The cat sat on the mat," từ "cat" phụ thuộc vào từ "the," và từ "mat" phụ thuộc vào từ "on." Trong một mô hình ngôn ngữ lớn, các phụ thuộc này được lưu trong các tham số của mô hình. Khi mô hình ngôn ngữ lớn ngày càng tiên tiến, số lượng tham số của chúng đã tăng vọt, như bạn thấy trong biểu đồ sau do Microsoft Research công bố.
Xu hướng kích thước các mô hình NLP tối tân theo thời gian trên thang logarit
Nguồn: bài viết trên blog Microsoft Research ngày 11/10/2021
Tiền huấn luyện các mô hình ngôn ngữ lớn đòi hỏi lượng tính toán khổng lồ, tiêu tốn nhiều năng lượng. Nhu cầu ngày càng tăng đối với các mô hình này đòi hỏi nhiều tài nguyên tính toán hơn nữa. Điều này gây ra chi phí môi trường đáng kể, như sử dụng năng lượng không bền vững và phát thải carbon.
Một nghiên cứu năm 2019 của các nhà nghiên cứu tại Đại học Massachusetts ước tính huấn luyện một mô hình học sâu lớn tạo ra 626.000 pound khí CO2 gây nóng lên toàn cầu, tương đương lượng phát thải trọn đời của năm chiếc ô tô. Khi mô hình lớn hơn, nhu cầu tính toán của chúng vượt xa mức cải thiện hiệu suất phần cứng. Một nghiên cứu năm 2021 ước tính việc huấn luyện GPT-3 tạo ra khoảng 552 tấn CO2. Đây là lượng phát thải tương đương 120 chiếc ô tô chạy trong một năm.
Tuy nhiên, bài báo Green AI năm 2019 ghi nhận “xu hướng công bố công khai các mô hình tiền huấn luyện là một thành công xanh,” và khuyến khích các tổ chức “tiếp tục phát hành mô hình của họ để giúp người khác không phải tốn chi phí huấn luyện lại.” Các công ty như OpenAI, đơn vị phát hành các mô hình ngôn ngữ lớn tiền huấn luyện, đang liên tục nghiên cứu và phát triển kỹ thuật nhằm giảm dấu chân carbon của quá trình huấn luyện.
GPT-3 đạt độ chính xác cao khi thực hiện nhiều tác vụ NLP nhờ kích thước dữ liệu huấn luyện khổng lồ và kiến trúc lớn gồm 175 tỷ tham số, giúp nó hiểu các mối quan hệ logic trong dữ liệu. GPT-3 được tiền huấn luyện trên một tập hợp văn bản từ năm bộ dữ liệu lớn gồm Common Crawl, WebText2, Books1, Books2 và Wikipedia. Tổng cộng, tập này gần một nghìn tỷ từ, cho phép GPT-3 thực hiện thành công một số lượng đáng ngạc nhiên các tác vụ NLP trong thiết lập zero-shot, tức là không cần cung cấp dữ liệu ví dụ.
Ở phần tiếp theo, chúng ta sẽ khám phá transformer, kiến trúc nổi tiếng đã khuấy đảo lĩnh vực mô hình hóa ngôn ngữ và thay đổi định nghĩa về những gì khả thi trong không gian NLP.
Mô hình Transformer là gì?
Transformer là một loại kiến trúc mạng nơ-ron đặc biệt phù hợp cho các tác vụ mô hình hóa ngôn ngữ. Nó được giới thiệu lần đầu trong bài báo "Attention is All You Need" năm 2017. Bài báo mô tả transformer là một kiến trúc mạng nơ-ron được thiết kế để thực hiện hiệu quả các tác vụ chuỗi-đến-chuỗi đồng thời xử lý phụ thuộc tầm xa một cách dễ dàng. Các mô hình transformer nhanh chóng trở thành kiến trúc ưa chuộng cho các tác vụ NLP, hiện đang thống trị lĩnh vực này.
Chuỗi-đến-Chuỗi (Sequence-to-Sequence) là cơ chế xương sống của mô hình transformer. Còn gọi là Seq2Seq, kiến trúc này biến một chuỗi phần tử đầu vào, như các từ trong một câu, thành một chuỗi khác, như một câu ở ngôn ngữ khác, khiến nó đặc biệt phù hợp cho các tác vụ dịch. Google Dịch đã bắt đầu dùng một kiến trúc tương tự trong sản phẩm từ cuối năm 2016.
Nguồn: bài viết “The Illustrated Transformer” trên blog của Jay Alammar
Các mô hình Seq2Seq gồm hai phần: bộ mã hóa (encoder) và bộ giải mã (decoder). Có thể hình dung encoder và decoder như hai phiên dịch viên chỉ nói được hai ngôn ngữ. Mỗi người có tiếng mẹ đẻ khác nhau; ví dụ, encoder là người bản ngữ tiếng Trung và decoder là người bản ngữ tiếng Anh. Cả hai có một ngôn ngữ thứ hai chung; giả sử là tiếng Nhật. Để dịch từ tiếng Trung sang tiếng Anh, encoder chuyển câu tiếng Trung sang tiếng Nhật. Câu tiếng Nhật đó, gọi là ngữ cảnh (context), được chuyển cho decoder. Vì decoder hiểu tiếng Nhật và đọc được ngôn ngữ này, nó có thể dịch từ tiếng Nhật sang tiếng Anh.
Một thành phần quan trọng khác của kiến trúc transformer là cơ chế “attention” (tập trung). Đây là kỹ thuật mô phỏng sự chú ý nhận thức. Sự chú ý nhận thức phản ánh cách não bộ chúng ta tập trung vào những phần quan trọng của câu, giúp hiểu ý nghĩa tổng thể. Ví dụ, khi bạn đang đọc câu này, bạn tập trung vào từ hiện tại, đồng thời trí nhớ giữ lại những từ khóa quan trọng để cung cấp bối cảnh.
Cơ chế attention xem xét chuỗi đầu vào theo từng phần và tại mỗi bước quyết định những phần nào khác của chuỗi là quan trọng. Điều này giúp transformer loại bỏ nhiễu và tập trung vào phần liên quan bằng cách kết nối các từ có liên hệ mà bản thân chúng không có dấu hiệu rõ ràng trỏ tới nhau.
Các mô hình transformer hưởng lợi khi có kiến trúc lớn hơn và được cung cấp nhiều dữ liệu hơn. Điều này giúp chúng hiểu bối cảnh của từ trong câu tốt hơn bất kỳ loại mạng nơ-ron nào khác, giải thích tác động lớn của chúng đối với lĩnh vực học máy. Khi tiếp tục phát triển, chúng có khả năng tạo ra ảnh hưởng còn lớn hơn trong những năm tới, và bạn có thể bắt đầu thử nghiệm với LLM chỉ với vài bước đơn giản.
Bắt đầu với GPT-3
Khám phá API của OpenAI
Dù GPT-3 có lẽ là một trong những mô hình ngôn ngữ tinh vi và phức tạp nhất thế giới, khả năng của nó lại có thể truy cập qua một giao diện “văn bản-vào-văn bản-ra” đơn giản. Việc đầu tiên bạn cần để bắt đầu với GPT-3 là có quyền truy cập API của OpenAI. Bạn có thể đăng ký tại đây và chỉ trong vài phút, tài khoản của bạn sẽ được thiết lập.
Khi đã có tài khoản nhà phát triển OpenAI, chúng ta sẽ xem Playground, một môi trường sandbox riêng trên web cho phép bạn thử nghiệm với API và tìm hiểu cách các thành phần khác nhau hoạt động cùng nhau.
Các thành phần của API OpenAI
Dưới đây là tổng quan về các thành phần API khác nhau và chức năng của chúng:
- Execution Engine: Xác định mô hình ngôn ngữ dùng để thực thi. Chọn đúng engine là chìa khóa để xác định khả năng của mô hình và từ đó nhận được đầu ra phù hợp.
- Response Length: Giới hạn lượng văn bản mà API đưa vào phần hoàn thành. Vì OpenAI tính phí theo độ dài văn bản tạo ra mỗi lần gọi API, độ dài phản hồi là tham số quan trọng với ai có ngân sách hạn chế. Độ dài phản hồi càng cao chi phí càng lớn.
- Temperature: Điều khiển mức ngẫu nhiên của phản hồi, trong khoảng từ 0 đến 1. Nhiệt độ thấp nghĩa là API sẽ phản hồi với phương án đầu tiên mô hình thấy; nhiệt độ cao nghĩa là mô hình đánh giá các phản hồi có thể phù hợp với ngữ cảnh trước khi đưa ra kết quả.
- Top P: Kiểm soát số lượng kết quả ngẫu nhiên mà mô hình nên xem xét để hoàn thành, theo gợi ý của nút nhiệt độ, qua đó xác định phạm vi ngẫu nhiên. Phạm vi của Top P là từ 0 đến 1. Giá trị thấp hạn chế tính sáng tạo, giá trị cao mở rộng biên độ.
- Frequency and Presence Penalty: Hình phạt tần suất làm giảm khả năng mô hình lặp lại nguyên văn cùng một dòng bằng cách “phạt” nó. Hình phạt hiện diện làm tăng khả năng mô hình nói về các chủ đề mới.
- Best of: Tham số này cho phép bạn chỉ định số lượng phần hoàn thành (n) sinh ra ở phía máy chủ và trả về phương án tốt nhất trong số “n” phương án.
- Stop Sequence: Một chuỗi dừng là tập ký tự báo hiệu API dừng việc tạo phần hoàn thành.
- Inject Start & Restart Text: Các tham số chèn văn bản đầu và chèn văn bản khởi động lại cho phép bạn chèn văn bản ở đầu hoặc cuối phần hoàn thành tương ứng.
- Show Probabilities: Tùy chọn này cho phép gỡ lỗi prompt văn bản bằng cách hiển thị xác suất của các token mà mô hình có thể tạo cho một đầu vào nhất định.
API OpenAI cung cấp bốn engine thực thi khác nhau, khác nhau về số tham số, khả năng hiệu năng và giá. Các engine chính theo thứ tự tăng dần về khả năng và kích thước là Ada (đặt theo Ada Lovelace), Babbage (Charles Babbage), Curie (Madame Marie Curie) và Davinci (Leonardo da Vinci).
Dựa trên bốn mô hình chính nói trên, OpenAI đã ra mắt loạt mô hình cải tiến gọi là InstructGPT, tốt hơn trong việc hiểu và làm theo hướng dẫn để tạo ra đầu ra cụ thể theo nhu cầu của bạn. Tất cả những gì bạn cần làm là nói cho mô hình biết bạn muốn nó làm gì và nó sẽ cố gắng hết sức để thực hiện. Quá trình cung cấp hướng dẫn cho mô hình GPT-3 được gọi là kỹ thuật prompt.
Kỹ thuật Prompt
GPT-3 được thiết kế để không phụ thuộc vào tác vụ. Điều này có nghĩa là, với prompt huấn luyện phù hợp, nó có thể thực hiện bất kỳ số lượng tác vụ nào. Việc tạo giải pháp AI vốn không hề dễ, nhưng với GPT-3, tất cả những gì bạn cần là một prompt huấn luyện hợp lý bằng tiếng Anh thông thường.
Nguồn: Tweet của Andrej Karpathy ngày 18/06/2020
Điều đầu tiên và quan trọng nhất khi tạo một ứng dụng GPT-3 là thiết kế và nội dung của prompt huấn luyện. Thiết kế prompt là quy trình quan trọng nhất để “mồi” mô hình GPT-3 đưa ra phản hồi thuận lợi và phù hợp ngữ cảnh.
Prompt là văn bản đầu vào bạn cung cấp cho mô hình để nó tạo ra đầu ra mong muốn. Thiết kế một prompt tốt là cung cấp đủ ngữ cảnh về tác vụ ngay trong đầu vào văn bản. GPT-3 xem xét đầu vào và cố gắng phản hồi bằng đoạn văn bản mà nó cho là hoàn thành tốt nhất phần đầu vào đó.
Theo một cách nào đó, thiết kế prompt giống như chơi trò đố chữ!
Bí quyết viết prompt hay là hiểu GPT-3 biết gì về thế giới và cách khiến mô hình sử dụng thông tin đó để tạo kết quả hữu ích. Trong trò đố chữ, mục tiêu của chúng ta là đưa ra vừa đủ thông tin để người chơi đoán đúng từ bằng trí thông minh của họ. Tương tự, chúng ta phải cung cấp cho GPT-3 vừa đủ ngữ cảnh dưới dạng prompt huấn luyện để mô hình nhận ra mẫu và thực hiện tác vụ. Chúng ta không muốn ngắt dòng chảy thông minh tự nhiên của mô hình bằng cách nhồi nhét quá nhiều thông tin, nhưng cho quá ít lại có thể dẫn đến kết quả thiếu chính xác.
Nguyên tắc chung khi thiết kế prompt huấn luyện là bạn nên hướng tới việc nhận phản hồi zero-shot từ mô hình. Nếu điều đó không khả thi, hãy dùng một vài ví dụ thay vì cung cấp cả một corpus. Quy trình tiêu chuẩn cho thiết kế prompt nên như sau:
Zero-Shot → Few Shots → Mồi dựa trên Corpus
Nếu trong đầu vào văn bản, mô hình thấy chữ “Q” và một câu hỏi, nó sẽ cố gắng viết phản hồi, nhưng không nhất thiết là phản hồi bạn mong đợi. Nếu thiếu ngữ cảnh, nó có thể giả định chẳng hạn rằng bạn đang viết danh sách câu hỏi và câu trả lời sai. Nếu muốn có câu trả lời tốt nhất, bạn cần cho GPT-3 biết kiểu câu trả lời mong muốn.
Thay vì yêu cầu GPT-3 hoàn thành đầu vào này:
Q:
A:Mà với chúng tôi, phần hoàn thành đầu tiên là:
Q:
A:
Q:
A:
Bạn sẽ cải thiện đáng kể đầu ra cho các câu hỏi bằng cách dùng một prompt như sau (hoặc biến thể tùy thuộc loại câu hỏi bạn muốn mô hình tạo):
Write a few trivia questions.
Q:
A:
Với đó, chúng tôi nhận được phần hoàn thành sau ngay từ lần thử đầu tiên:
What is the name of the longest river in Africa?
The Nile
What are the top 5 most spoken languages in the world?
Mandarin, Spanish, English, Hindi, ArabicNhững chỉ dẫn đơn giản như trên là đủ để GPT-3 hiểu rằng nó cần đưa ra các câu trả lời phù hợp hơn với yêu cầu của bạn; trong trường hợp này là một số câu hỏi đố vui. Bạn cũng có thể dùng cụm “Factual answer:” thay cho “A:” để cải thiện kết quả.
Write a few trivia questions.
Question:
Factual answer:Với đầu vào này, chúng tôi nhận được phần hoàn thành sau:
1. What is the world’s largest desert?
The Sahara desert.
2. What is the world’s deepest Ocean?
The Pacific Ocean.
GPT-3 Sandbox—Dùng OpenAI API với Python
Trong phần này, chúng tôi sẽ hướng dẫn bạn GPT-3 Sandbox, một công cụ mã nguồn mở để biến ý tưởng thành hiện thực chỉ với vài dòng mã Python. Chúng tôi sẽ chỉ cách sử dụng và tùy biến cho ứng dụng cụ thể của bạn. Mục tiêu của sandbox này là giúp bạn tạo ứng dụng web hay ho, bất kể nền tảng kỹ thuật.
Hãy theo dõi chuỗi video tương tác này để có hướng dẫn từng bước về tạo và triển khai ứng dụng GPT-3. Bạn sẽ cần ngăn xếp kỹ thuật sau để dùng GPT-3 sandbox:
- Python 3.7+
- Một IDE như VS Code
Clone mã từ kho này bằng cách mở terminal mới trong IDE và dùng lệnh sau:
git clone https://github.com/Shubhamsaboo/kairos_gpt3Mọi thứ bạn cần để tạo và triển khai một ứng dụng web đã có sẵn trong mã. Bạn chỉ cần tinh chỉnh một vài tệp để tùy biến sandbox cho trường hợp sử dụng của mình. Bây giờ, hãy tạo môi trường ảo Python để bắt đầu. Sau khi tạo môi trường ảo, bạn có thể cài đặt các phụ thuộc cần thiết bằng lệnh sau:
pip install -r requirements.txtBây giờ bạn có thể bắt đầu tùy biến mã sandbox. Tệp đầu tiên cần xem là training_data.py. Mở tệp đó và thay prompt mặc định bằng prompt huấn luyện bạn muốn dùng. Bạn có thể dùng Playground của GPT-3 để thử nghiệm các prompt huấn luyện khác nhau (xem chương 2 của cuốn sách và video sau để biết thêm về tùy biến sandbox).
Bạn đã sẵn sàng tinh chỉnh các tham số API (Maximum tokens, Execution Engine, Temperature, Top-p, Frequency Penalty, Stop Sequence). Chúng tôi khuyến nghị thử nghiệm các giá trị tham số API khác nhau cho một prompt huấn luyện nhất định trong Playground để xác định giá trị phù hợp nhất cho trường hợp sử dụng của bạn. Khi đạt kết quả hài lòng, bạn có thể thay đổi các giá trị trong tệp training_service.py.
Vậy là xong! Ứng dụng web dựa trên GPT-3 của bạn đã sẵn sàng. Bạn có thể chạy cục bộ với lệnh sau:
streamlit run gpt_app.pyBạn có thể dùng Streamlit sharing để triển khai ứng dụng và chia sẻ đến nhiều người hơn. Xem video này để xem toàn bộ quy trình triển khai ứng dụng.
Bạn có thể xây dựng gì với GPT-3?
Trước khi GPT-3 ra mắt, hầu hết tương tác của mọi người với AI chỉ giới hạn ở một số tác vụ cụ thể, như nhờ Alexa phát bài hát yêu thích hoặc dùng Google Dịch để trò chuyện bằng ngôn ngữ khác. Với sự phát triển của LLM, chúng ta đang chứng kiến một sự thay đổi mô hình đáng kể. LLM cho thấy rằng bằng cách tăng kích thước mô hình, các ứng dụng AI có thể thực hiện những tác vụ sáng tạo và phức tạp tương tự con người.
GPT-3 đang tiếp sức cho làn sóng startup tiếp theo bằng cách kích hoạt trí tưởng tượng của các doanh nhân sáng tạo với công nghệ phù hợp. Ngay sau khi OpenAI phát hành API, bức tranh startup đã tràn ngập các công ty dùng nó để giải quyết vấn đề. Hãy khám phá hệ sinh thái năng động này bằng cách nhìn vào một số startup hoạt động hiệu quả nhất dùng GPT-3 làm lõi sản phẩm trong các lĩnh vực như nghệ thuật sáng tạo, phân tích dữ liệu, chatbot, viết nội dung marketing và công cụ cho nhà phát triển.
1. Ứng dụng sáng tạo của GPT-3: Fable Studio
Một trong những khả năng thú vị nhất của GPT-3 là kể chuyện. Bạn có thể đưa cho mô hình một chủ đề và yêu cầu nó viết một câu chuyện trong thiết lập zero-shot. Những khả năng này giúp các nhà văn mở rộng trí tưởng tượng và tạo ra tác phẩm phi thường. Chẳng hạn, vở kịch AI, do Jennifer Tang đạo diễn và phát triển cùng Chinonyerem Odimba và Nina Segal, mô tả sự hợp tác độc đáo giữa trí óc con người và máy tính với sự trợ giúp của GPT-3.
Fable Studio là một công ty tận dụng khả năng kể chuyện sáng tạo của mô hình. Họ đã chuyển thể cuốn sách thiếu nhi Wolves in the Walls của Neil Gaiman và Dave McKean thành một trải nghiệm phim VR đoạt giải Emmy. Lucy, nhân vật chính của phim, có thể trò chuyện tự nhiên với mọi người nhờ đối thoại do GPT-3 tạo ra. Công ty tin rằng trong tương lai, với các phiên bản tiếp theo của mô hình, có thể phát triển một AI kể chuyện khéo léo và sáng tạo như những nhà văn giỏi nhất.
2. Ứng dụng phân tích dữ liệu của GPT-3: Viable
Viable là công cụ tổng hợp phản hồi, xác định chủ đề, cảm xúc và sắc thái trong khảo sát, phiếu hỗ trợ, nhật ký trò chuyện trực tiếp và đánh giá của khách hàng. Sau đó, nó cung cấp bản tóm tắt kết quả chỉ trong vài giây. Ví dụ, nếu được hỏi, “Điều gì khiến khách hàng của chúng ta bực bội về trải nghiệm thanh toán?” Viable có thể trả lời: “Khách hàng bực bội với luồng thanh toán vì tải quá lâu. Họ cũng muốn có cách chỉnh sửa địa chỉ trong lúc thanh toán và lưu nhiều phương thức thanh toán.”
Đúng như kỳ vọng ở một đơn vị chuyên về phản hồi khách hàng, Viable có nút thích (thumbs up) và không thích (thumbs down) bên cạnh mỗi câu trả lời mà phần mềm tạo ra. Họ dùng phản hồi này để huấn luyện lại. Con người cũng tham gia quy trình: Viable có một đội ngũ gán nhãn chịu trách nhiệm xây dựng tập dữ liệu huấn luyện cho cả mô hình nội bộ và tinh chỉnh GPT-3. Họ sử dụng phiên bản hiện tại của mô hình đã tinh chỉnh để tạo đầu ra, sau đó con người đánh giá chất lượng. Nếu đầu ra vô lý hoặc không chính xác, họ viết lại. Khi đã có danh sách đầu ra hài lòng, họ đưa danh sách đó vào vòng lặp tiếp theo của tập dữ liệu huấn luyện.
3. Ứng dụng chatbot của GPT-3: Quickchat
Emerson AI là nhân vật chatbot của công ty Quickchat, nổi tiếng với kiến thức thế giới tổng quát, hỗ trợ đa ngôn ngữ và khả năng duy trì hội thoại. Emerson AI được dùng để trình diễn khả năng của các chatbot dùng GPT-3 và khuyến khích người dùng hợp tác với Quickchat để triển khai một nhân vật tương tự cho công ty của họ. Sản phẩm của Quickchat là AI hội thoại đa dụng có thể nói về bất kỳ chủ đề nào. Khách hàng có thể tùy biến chatbot bằng cách bổ sung thông tin riêng cho sản phẩm của họ. Quickchat đã chứng kiến các ứng dụng đa dạng, như tự động hóa hỗ trợ khách hàng và triển khai một nhân vật AI giúp người dùng tìm kiếm cơ sở tri thức nội bộ của công ty.
Khác với các nhà cung cấp dịch vụ chatbot điển hình, Quickchat không xây dựng cây hội thoại hay kịch bản cứng nhắc, cũng không cần dạy chatbot trả lời theo một cách định sẵn. Thay vào đó, khách hàng làm theo quy trình đơn giản: bạn sao chép-dán văn bản chứa toàn bộ thông tin muốn AI sử dụng và nhấp nút huấn luyện lại; chỉ mất vài giây để hấp thụ kiến thức, và xong. Được huấn luyện trên dữ liệu của bạn, chatbot sẵn sàng cho một cuộc trò chuyện thử nghiệm.
4. Ứng dụng marketing của GPT-3: Copysmith
Một trong những ứng dụng phổ biến nhất của GPT-3 là tạo nội dung sáng tạo tức thì. Copysmith là một ví dụ về nền tảng tạo nội dung. Nó dùng GPT-3 để tạo các prompt sau đó chuyển thành nội dung cho doanh nghiệp thương mại điện tử. GPT-3 tỏ ra xuất sắc trong lĩnh vực marketing, nơi nó giúp tạo, cộng tác và tung ra nội dung chất lượng với tốc độ chóng mặt. Nhờ mô hình này, các doanh nghiệp nhỏ và vừa trực tuyến có thể viết lời kêu gọi hành động và mô tả sản phẩm tốt hơn, nâng tầm hoạt động marketing để cất cánh.
5. Ứng dụng viết mã của GPT-3: Stenography
Bram Adams, Đại sứ Cộng đồng OpenAI, đã tạo ra Stenography, một chương trình dùng GPT-3 và Codex để tự động hóa việc viết tài liệu cho mã nguồn.
Stenography đã thành công tức thì, ra mắt với vị trí #1 trên ProductHunt. Adams xem tài liệu như một cách để mọi người kết nối với đồng đội, với phiên bản tương lai của chính mình, hoặc với những người quan tâm tình cờ thấy dự án dev trên GitHub. Mục tiêu của Stenography là giúp dự án trở nên dễ hiểu với người khác.
Để tìm hiểu thêm về hệ sinh thái GPT-3 đang lên, hãy xem Chương 4 (GPT-3 như bàn đạp cho các startup thế hệ mới) và Chương 5 (GPT-3 cho doanh nghiệp) trong cuốn sách O’Reilly sắp ra mắt của chúng tôi.
Kết luận
- GPT-3 đánh dấu một cột mốc quan trọng trong lịch sử AI. Nó cũng là một phần của xu hướng LLM lớn hơn sẽ tiếp tục phát triển trong tương lai. Bước tiến cách mạng khi cung cấp quyền truy cập API đã tạo ra mô hình kinh doanh mới: model-as-a-service.
- Khả năng ngôn ngữ tổng quát của GPT-3 mở ra cánh cửa xây dựng các sản phẩm đổi mới. Nó đặc biệt giỏi ở các tác vụ như tạo văn bản, tóm tắt, phân loại và hội thoại.
- Có nhiều công ty thành công được xây dựng phần lớn hoặc hoàn toàn dựa trên GPT-3. Các trường hợp sử dụng chúng tôi yêu thích là kể chuyện sáng tạo, phân tích dữ liệu, chatbot, viết nội dung marketing và công cụ cho nhà phát triển.
