Trong vài tháng gần đây, giới khoa học dữ liệu và AI sôi động với sự xuất hiện của GPT-3, mô hình ngôn ngữ mới nhất của OpenAI. Với nhiều người, mô hình này đánh dấu một bước nhảy vọt trong khả năng của một thuật toán có thể suy luận với ngôn ngữ tự nhiên trên nhiều tác vụ khác nhau.
Các nhà phát triển thử nghiệm GPT-3 đã đưa ra nhiều trường hợp sử dụng đầy hứng thú. Những ví dụ như tự động sinh mã từ lời nhắc bằng tiếng Anh thuần túy, trả lời câu hỏi y khoa, hay dịch ngôn ngữ pháp lý đã khơi gợi trí tưởng tượng của nhiều nhà khoa học dữ liệu về thế hệ phần mềm vận hành bằng AI tiếp theo.
Mặc dù phần lớn giá trị của học máy ở cấp độ tổ chức nằm ở những “trái thấp” như dự đoán churn, dự báo doanh số đơn giản và phân khúc khách hàng — việc cân nhắc thương mại hóa GPT-3 có ý nghĩa gì cho tương lai là hữu ích. Nó có tiềm năng thay đổi cách chúng ta tư duy và vận hành trí tuệ nhân tạo.
Định nghĩa trí tuệ nhân tạo, học máy và học sâu
Giới kinh doanh và truyền thông tràn ngập các thuật ngữ như trí tuệ nhân tạo (AI), học máy (ML) và học sâu (DL). Hãy nhanh chóng định nghĩa chúng trước khi đi sâu vào cách GPT-3 hoạt động.
Andrew Ng, đồng sáng lập Google Brain và cựu Giám đốc Khoa học tại Baidu, mô tả trí tuệ nhân tạo là “một bộ công cụ khổng lồ để khiến máy tính hành xử một cách thông minh.” Điều này bao gồm phần mềm được lập trình tường minh như máy tính cầm tay, cũng như các ứng dụng ML như hệ thống gợi ý và xe tự lái.
Theo Arthur Samuel, người tiên phong trong trí tuệ nhân tạo và trò chơi điện tử, học máy là “lĩnh vực nghiên cứu giúp máy tính có khả năng học mà không cần được lập trình tường minh.” Nhìn chung có hai loại thuật toán học máy. Thứ nhất là học có giám sát, nơi thuật toán học các mẫu giữa dữ liệu hiện có (đầu vào) và nhãn (đầu ra) rồi dự đoán đầu ra trên dữ liệu chưa thấy, như dự đoán khách hàng mới có churn hay không dựa trên dữ liệu churn lịch sử. Thứ hai là học không giám sát, nơi thuật toán khám phá các mẫu tổng quát trong dữ liệu và gom cụm những điểm dữ liệu tương đồng, ví dụ phân khúc khách hàng dựa trên các hành vi chung.
Học sâu là một dạng học máy dựa trên mạng nơ-ron nhân tạo nhiều lớp, được lấy cảm hứng một cách lỏng lẻo từ mạng nơ-ron sinh học trong não. Chúng có thể vừa có giám sát vừa không giám sát và phần lớn chịu trách nhiệm cho các trường hợp sử dụng ML nổi bật trong thập kỷ qua, như nhận dạng ảnh và phân tích cảm xúc. Các mô hình học sâu đa dạng về kiến trúc, từ đơn giản đến phức tạp dựa trên số lớp và nút trong kiến trúc mạng nơ-ron. Mô hình càng phức tạp thì càng có nhiều tham số. Nếu bạn muốn tìm hiểu thêm về cách xây dựng mô hình học sâu, hãy xem lộ trình kỹ năng học sâu của DataCamp.
Để khám phá sâu hơn các chủ đề này, hãy đọc e-book của chúng tôi, Cẩm nang toàn diện về Học máy dành cho Lãnh đạo Doanh nghiệp.
GPT-3 hoạt động như thế nào
Vậy GPT-3 giao thoa với trí tuệ nhân tạo, học máy và học sâu ở đâu? Từ viết tắt GPT là “generative pre-trained transformer” — một thuật toán học sâu không giám sát thường được tiền huấn luyện trên lượng lớn văn bản không gắn nhãn. Nó được tinh chỉnh và huấn luyện trên bộ dữ liệu có nhãn theo tác vụ cụ thể (ví dụ, dịch từ tiếng Anh sang tiếng Pháp), rồi được giao nhiệm vụ suy luận tập đầu ra có khả năng cao nhất (bản dịch tiếng Pháp) với một tập đầu vào cụ thể (từ tiếng Anh). Bạn có thể hình dung đây là một dạng tự động hoàn tất cực kỳ tinh vi cho nhiều tác vụ ngôn ngữ khác nhau.
GPT-3 là thế hệ thứ ba của mô hình này, và dù không đổi mới về kiến trúc so với các phiên bản tiền nhiệm, nó được tiền huấn luyện trên các bộ dữ liệu cực lớn bao phủ phần lớn internet, bao gồm bộ dữ liệu Common Crawl, và có nhiều lớp hơn trong kiến trúc mạng. Điều này khiến GPT-3 trở thành mô hình ngôn ngữ phức tạp nhất từng được thiết kế, với 175 tỷ tham số trong kiến trúc mạng của nó. Con số này gấp mười lần mô hình phức tạp nhất trước khi GPT-3 ra mắt, Turing-NLG của Microsoft, và phức tạp hơn GPT-2 tới 117 lần.
Quan trọng hơn cả, GPT-3 hưởng lợi từ khả năng học vài ví dụ (few-shot learning), nơi mô hình tiền huấn luyện không cần tinh chỉnh bằng lượng lớn dữ liệu gắn nhãn cho một tác vụ ngôn ngữ cụ thể. Thay vào đó, nó chỉ được cung cấp mô tả tác vụ — dịch từ tiếng Anh sang tiếng Pháp — và một vài ví dụ đầu vào khớp với đầu ra. Kết hợp với giao diện cắm-là-chạy dễ dùng, GPT-3 phần lớn loại bỏ rào cản gia nhập và cho phép người không chuyên tạo ra kết quả có ý nghĩa trên các tác vụ ngôn ngữ khác nhau.
Vì sao GPT-3 quan trọng
Chỉ với vài ví dụ và mô tả tác vụ, GPT-3 có thể sánh ngang các mô hình ngôn ngữ đã được tinh chỉnh và huấn luyện trên dữ liệu theo tác vụ cho nhiều nhiệm vụ ngôn ngữ. GPT-3 cũng thể hiện một số thành công ở các tác vụ đòi hỏi suy luận như số học, vốn không hẳn là tác vụ ngôn ngữ. Chẳng hạn, GPT-3 đạt độ chính xác 100% ở phép cộng và trừ hai chữ số sau khi được đưa một vài ví dụ về cộng và trừ. Các mô hình kém phức tạp hơn với ít tham số hơn chưa thể vượt trần 60% độ chính xác ở những tác vụ này. Dù GPT-3 hụt hơi ở các dạng số học phức tạp hơn, điều này ngụ ý các mô hình phức tạp hơn có thể có khả năng khái quát hóa vượt ra ngoài miền mà chúng được huấn luyện.
Thú vị là điều này gợi ý có thể đạt thêm lợi ích chỉ bằng cách tăng kích thước dữ liệu và mô hình. Hiện tại, dường như hiệu năng tổng thể của mô hình trên các tác vụ khác nhau chưa hề chững lại ở mức 175 tỷ tham số. Giả sử mức tăng tham số từ GPT-2 lên GPT-3 được lặp lại, người ta chỉ có thể tự hỏi hiệu năng sẽ mở rộng ra sao nếu GPT-4 có số tham số gấp 117 lần GPT-3.
Hiện đang được hiệu chỉnh trong giai đoạn beta kín, việc đóng gói GPT-3 thành một API cắm-là-chạy đồng nghĩa nó có thể được sử dụng ở quy mô lớn ngay khi ra khỏi beta kín. Như nhà nghiên cứu AI Shreya Shankar đã chỉ ra, một thách thức quan trọng sẽ là cung cấp API này một cách hiệu quả và dễ dàng để các tổ chức sử dụng.
Điều này có ý nghĩa gì cho tương lai
Các công nghệ mới thường đi theo chu kỳ thổi phồng của Gartner — thực tế, CEO OpenAI Sam Altman đã gióng hồi chuông cảnh báo về cơn sốt GPT-3.
Tuy vậy, các trường hợp sử dụng do cộng đồng phát triển GPT-3 đưa ra cho thấy loại ứng dụng vận hành bằng AI mà chúng ta có thể kỳ vọng trong trung và dài hạn. Ứng dụng tiềm năng bao gồm các công cụ giúp nhà thiết kế tạo nguyên mẫu dễ dàng, tối ưu phân tích dữ liệu, hỗ trợ nghiên cứu vững vàng hơn, tự động hóa tạo nội dung cho marketer nội dung, và hơn thế nữa.
Thêm vào đó, đóng gói mô hình trong một giao diện cắm-là-chạy dễ dùng có thể thay đổi động lực về cách AI được công cụ hóa trong toàn tổ chức. Ví dụ, điều này có thể làm giảm động lực tự phát triển mô hình nội bộ, và cho phép các chuyên gia ít kỹ thuật hơn cũng có thể xây dựng giải pháp sử dụng GPT-3.
Cuối cùng, khi nghĩ về việc triển khai hệ thống AI ở quy mô lớn, bạn phải nhận thức về khả năng gây hại do thiên lệch. Như nhiều nhà nghiên cứu đã lưu ý khi thử nghiệm GPT-3, khá dễ để tạo ra các đầu ra gây hại củng cố định kiến và thiên vị từ những đầu vào trung tính.
Giống như bất kỳ thuật toán học máy nào được triển khai ở quy mô lớn, GPT-3 cần được xem xét nghiêm túc và giám sát về các nguy cơ gây hại tiềm ẩn.
