Lộ trình
Cơ bản về Học máy trong Python
16 giờ
Cả Google AI và OpenAI đều có lịch sử ra mắt những công nghệ AI tiên tiến. Tuy nhiên, bối cảnh đã thay đổi với sự xuất hiện của ChatGPT, thổi bùng một cuộc đua mới khi các ông lớn công nghệ như Google đang gấp rút tung ra các mô hình AI tương tự.
Trong bài viết này, chúng ta sẽ tìm hiểu về các phát triển gần đây của OpenAI và Google AI cũng như những gì có thể kỳ vọng trong tương lai. Bên cạnh đó, chúng ta cũng sẽ xem xét cách những tiến bộ trong AI đang thay đổi lĩnh vực khoa học dữ liệu và cách tận dụng chúng để tăng năng suất.
OpenAI
OpenAI API là một nền tảng cho phép chúng ta truy cập các mô hình sinh sinh tiên tiến qua API. Chúng ta có thể tạo ảnh chất lượng cao bằng DALLE-2, sinh văn bản và mã bằng GPT-3, và dùng embedding cho các tác vụ liên quan đến ngôn ngữ khác. Ngoài ra, nền tảng cho phép bạn kiểm duyệt kết quả, đặt giới hạn tốc độ, và tinh chỉnh mô hình trên một bộ dữ liệu cụ thể. Tìm hiểu về GPT-3 qua bài blog Hướng dẫn cơ bản về GPT-3 của chúng tôi.
Ảnh: Tác giả | Nguồn OpenAI
Tất cả đều là sản phẩm thương mại và áp dụng mô hình trả phí theo mức sử dụng, nhưng theo thời gian, OpenAI cũng đã phát hành các công cụ và mô hình mã nguồn mở, chẳng hạn như:
- Whisper: Mô hình nhận dạng giọng nói dùng giám sát yếu trên quy mô lớn.
- OpenAI Baselines: Triển khai các thuật toán học tăng cường.
- Gym: Bộ công cụ phát triển và đánh giá các thuật toán học tăng cường.
- GPT2: Mã và triển khai mô hình từ bài báo “Language Models are Unsupervised Multitask Learners“
- DALL-E: Gói PyTorch cho VAE rời rạc dùng trong DALL·E
Các API, bộ công cụ và mô hình ngôn ngữ lớn đều rất ấn tượng, nhưng vẫn chưa thể sánh với thành công của ChatGPT.
ChatGPT được huấn luyện bằng phương pháp Tăng cường học từ phản hồi của con người (RLHF), tương tự InstructGPT (phiên bản tốt hơn của GPT-3), nhưng giai đoạn thu thập dữ liệu có đôi chút khác biệt.
Vậy nó khác gì so với các thế hệ mô hình trước? AI đàm thoại này có thể đặt câu hỏi tiếp theo, phản biện những giả định sai, thừa nhận sai sót và thể hiện các biện pháp giảm thiểu rủi ro an toàn.
Gần đây, đối tác Microsoft của OpenAI đã giới thiệu một phiên bản ChatGPT cải tiến. Với triển khai lặp của OpenAI, chúng ta có thể chứng kiến làn sóng công nghệ AI mới hiểu rõ nhu cầu và hỗ trợ chúng ta tốt hơn.
Nếu bạn hoàn toàn mới với Trí tuệ nhân tạo, hãy học khóa Nền tảng AI không cần mã. Khóa học bao quát các kiến thức cơ bản về học máy như học có giám sát và không giám sát, học sâu, và hơn thế nữa.
GPT-4
Bên cạnh ChatGPT, chúng ta kỳ vọng GPT-4 sẽ là mô hình ngôn ngữ lớn tiên tiến nhất. Trong podcast Greylock, CEO OpenAI Sam Altman đã tiết lộ một vài thông tin về GPT-4. Ông nói những tin đồn về GPT-4 trên Twitter là sai, nó sẽ không có 100 nghìn tỷ tham số, và mọi người nên chuẩn bị tinh thần để... thất vọng. Ông cũng cho biết "chúng tôi sẽ phát hành GPT-4 khi cho rằng nó an toàn và hoạt động tốt".
Ảnh: Tác giả
Bạn có thể kỳ vọng gì ở GPT-4?
- Kích thước mô hình sẽ không lớn hơn GPT-3 quá nhiều.
- Tối ưu hóa mô hình lớn bằng tham số hóa mới (μP).
- Huấn luyện mô hình sẽ dùng mức tính toán tối ưu, bằng cách tăng số lượng token huấn luyện để đạt tổn thất tối thiểu.
- Sẽ là mô hình chỉ văn bản. GPT-4 sẽ không đa phương thức như DALL-E 2.
- Có thể dùng độ thưa (sparsity) để giảm chi phí tính toán.
- Tương tự ChatGPT, nó sẽ phù hợp với ý định của chúng ta hơn và tuân thủ các giá trị của chúng ta.
Tìm hiểu đầy đủ về GPT-1, GPT-2, GPT-3 và GPT-4 qua bài Những điều chúng ta biết về GPT-4 cho đến nay.
Xây dựng AGI an toàn
Trong buổi phỏng vấn với StrictlyVC, Altman đã chia sẻ vài điểm về mức độ tiến triển của AGI (Trí tuệ Nhân tạo Tổng quát).
Ông nói: “Càng đến gần, càng khó trả lời. Bởi tôi nghĩ quá trình chuyển đổi sẽ mờ dần và dần dần hơn mọi người tưởng.”
Ông cũng bác bỏ các tin đồn về AGI. Trong cuộc phỏng vấn, ông cho biết OpenAI không có AGI có thể học như con người.
Ảnh: Tác giả
OpenAI đang đi đúng hướng để phát triển AGI an toàn, nhưng còn xa mới hoàn hảo. AGI mà mọi người đang nói đến là một mô hình đa phương thức có thể hiểu lời nói, văn bản, hình ảnh và video. Nó sẽ là sự kết hợp của ChatGPT, DALLE-2, Whisper, một mô hình sinh video và các thuật toán học tăng cường khác.
Các mô hình đa phương thức
Để phát triển AGI, OpenAI cần làm việc trên các mô hình đa phương thức, không chỉ văn bản‑sang‑hình ảnh, mà còn văn bản‑sang‑video và âm thanh‑sang‑video và âm thanh. Điều đó nghĩa là bạn sẽ có thể trò chuyện với một bot có giọng nói và diện mạo tự nhiên. Điều này đã được một số nhà phát triển thực hiện, như nhân vật streamer Twitch tạo bằng AI. Chưa hoàn hảo, nhưng là một khởi đầu.
Trong chương trình StrictlyVC, Sam Altman tiết lộ họ đang làm việc trên mô hình video, và chúng ta có thể an tâm giả định đó sẽ là sinh video từ văn bản kèm mô hình âm thanh, bổ sung thêm một lớp phức tạp. Công nghệ sinh video đã có, nơi các nhà phát triển chồng ghép các khung hình tạo bằng mô hình khuếch tán ổn định.
Google AI
Google AI là xương sống hệ sinh thái của Google. Nó được dùng trong Google Maps, Photos, các ứng dụng và Cloud. Google luôn đi đầu trong phát triển các công cụ và mô hình AI. Hầu hết sản phẩm đều có trên Google Cloud, từ AutoML đến các mô hình ngôn ngữ và thị giác tiên tiến.
Họ cũng đã phát hành nhiều công cụ và mô hình dẫn đầu thay đổi trong xử lý ngôn ngữ tự nhiên, xử lý giọng nói và thị giác máy tính. Từ TensorFlow đến BERT (Bidirectional Encoder Representations from Transformers), Google đã mở ra con đường mới cho nghiên cứu và phát triển AI và học máy.
Gif từ LaMDA
Năm 2020, nhóm nghiên cứu của Google giới thiệu Meena, một mô hình đàm thoại thần kinh hiểu ngữ cảnh và học cách phản hồi hợp lý. Sau đó, Google ra mắt mô hình LaMDA, tương tự ChatGPT. Đây là công nghệ đàm thoại đột phá xây dựng dựa trên transformers nhưng được huấn luyện trên đối thoại.
Mỗi năm, chúng ta lại thấy công nghệ mới từ Google, và trong tương lai có thể kỳ vọng một công cụ tìm kiếm Google tiên tiến được hỗ trợ bởi Bard, mô hình ngôn ngữ, thị giác, sinh nội dung và các mô hình đa phương thức, khiến AI trở nên đa dụng.
Google AI Bard
Sau khi ChatGPT ra mắt, nhiều người đồn đoán đó là ‘kẻ tiêu diệt Google’. Quan hệ hợp tác mở rộng giữa Microsoft và OpenAI càng khiến điều đó có vẻ khả dĩ. Microsoft sẵn sàng thách thức Google trong lĩnh vực công cụ tìm kiếm với Bing tích hợp OpenAI.
Để đối phó, Google đã tung ra phiên bản ChatGPT của riêng mình mang tên Google AI Bard. Xem so sánh giữa ChatGPT và Google Bard trong một bài viết riêng.
Gif từ Bard và các tính năng AI mới
Trong các cập nhật Google AI gần đây, Sundar Pichai, CEO của Google và Alphabet, giới thiệu dịch vụ AI đàm thoại thử nghiệm mới mang tên Bard, được vận hành bởi LaMDA. Google thông báo đã cấp quyền truy cập cho những người thử nghiệm đáng tin cậy và trong vài tuần tới sẽ mở cho công chúng.
Bard sử dụng thông tin từ web để cung cấp phản hồi chất lượng cao. Khác với mô hình ChatGPT, Bard là một dịch vụ kết hợp tri thức thế giới với sức mạnh, trí tuệ và tính sáng tạo. Ban đầu, Google phát hành với phiên bản mô hình LaMDA gọn nhẹ và theo thời gian sẽ giới thiệu các mô hình ngôn ngữ mạnh hơn.
Các mô hình ngôn ngữ, thị giác và sinh nội dung
Theo các báo cáo gần đây từ Google Research, họ đã đạt tiến bộ trong công nghệ ngôn ngữ, thị giác máy tính và mô hình sinh.
Ảnh từ Google AI
- Mô hình ngôn ngữ lớn: Pathways Language Model (PaLM) và LaMDA cho thấy kết quả đầy hứa hẹn, và trong tương lai bạn có thể kỳ vọng các mô hình ngôn ngữ còn tốt hơn dùng cho AI đàm thoại và các tác vụ Xử lý Ngôn ngữ Tự nhiên khác.
- Thị giác máy tính: MaxViT (Multi-Axis Vision Transformer), Pix2Seq (Khung Mô hình Hóa Ngôn ngữ cho Phát hiện Đối tượng), và các phát triển trong chuyển đổi ảnh 2D sang 3D bằng nội suy khung chuyển động lớn.
- Sinh ảnh: Các mô hình tạo ảnh chân thực tiên tiến: Imagen (mô hình khuếch tán) và Parti (kiến trúc transformer tự hồi quy). Cả hai dùng đầu vào văn bản để sinh điểm ảnh hình ảnh.
- Sinh video: Năm ngoái, Google AI làm việc trên Imagen Video và Phenaki. Imagen Video dùng các mô hình khuếch tán tầng để tạo video độ phân giải cao, trong khi Phenaki dùng mô tả văn bản miền mở để sinh video có độ dài biến thiên.
Bắt đầu sự nghiệp Học sâu (AI) bằng cách tham gia lộ trình kỹ năng Deep Learning bằng Python. Lộ trình gồm bốn khóa học sẽ nâng kỹ năng học máy của bạn lên tầm cao mới.
Các mô hình đa phương thức
Phần lớn mô hình ML tập trung vào một phương thức dữ liệu duy nhất (phân loại văn bản, phân đoạn ảnh hoặc nhận dạng giọng nói). Nhưng nhờ DALL-E 2 và Stable Diffusion, các công ty nay tập trung vào mô hình đa phương thức để đạt kết quả tối tân.
Google AI đạt được tính đa phương thức bằng cách đưa dữ liệu qua các lớp xử lý đặc thù theo phương thức và trộn các đặc trưng từ những phương thức khác nhau qua lớp cổ chai. Kết hợp các phương thức cũng có thể cải thiện hiệu năng của tác vụ đơn phương thức.
Gif từ Google AI
Dưới đây là một số phát triển nghiên cứu mới nhất từ Google AI về mô hình đa phương thức:
- Locked-image Tuning (LiT) bổ sung khả năng hiểu ngôn ngữ cho các mô hình ảnh đã được huấn luyện sẵn.
- PaLI có thể thực hiện nhiều tác vụ bằng hơn 100 ngôn ngữ, như hỏi đáp thị giác, chú thích ảnh, phát hiện đối tượng và dịch sang ngôn ngữ khác, phân loại ảnh, và hơn thế nữa.
- VDTTS là mô hình Văn bản‑Sang‑Giọng nói dẫn dắt bằng hình ảnh, nhận văn bản và các khung hình video gốc của diễn viên, rồi tạo đầu ra giọng nói khớp với video gốc đồng thời giữ đúng nhịp và cảm xúc.
- Look and Talk là công nghệ đa phương thức dùng cả video và âm thanh làm đầu vào để cuộc trò chuyện với Trợ lý Google trở nên tự nhiên. Mô hình học nhiều dấu hiệu thị giác và âm thanh để xác định chính xác hơn liệu người đó có đang nói chuyện với Trợ lý Google hay không.
- 4D-Net kết hợp dữ liệu đám mây điểm 3D từ xe tự hành với các dữ liệu cảm biến khác để hiểu rõ môi trường và đối tượng, từ đó đưa ra quyết định tốt hơn.
Chúng ta có thể giả định rằng trong tương lai, bạn sẽ thấy các mô hình này được áp dụng trong hệ sinh thái Google nhằm tăng tương tác người dùng và phát triển sản phẩm mới.
AI và Khoa học Dữ liệu
AI hiện đại được thúc đẩy bởi khoa học dữ liệu, thuật toán và kỹ thuật dữ liệu. Để tạo ra công nghệ tiên tiến như ChatGPT và LaMDA, chúng ta phải bắt đầu từ những điều cơ bản, hiểu cách xử lý dữ liệu và áp dụng nhiều kỹ thuật xử lý ngôn ngữ tự nhiên cùng học tăng cường, tìm hiểu về các thuật toán học sâu, transformers và tối ưu hóa mô hình.
Bắt đầu sự nghiệp khoa học dữ liệu của bạn bằng cách hoàn thành lộ trình nghề nghiệp Data Scientist with Python. Lộ trình sẽ trang bị các kỹ năng thiết yếu để trở thành nhà khoa học dữ liệu chuyên nghiệp.
Ảnh: Tác giả
Vậy hãy trả lời câu hỏi lớn nhất. Liệu AI có thay thế nhà khoa học dữ liệu, nhà phân tích hay kỹ sư không? Câu trả lời đơn giản là “KHÔNG.” Có thể ở tương lai rất xa, nhưng ngay cả khi đó, chúng ta sẽ có những công việc khác, sáng tạo hơn và mang tính quyết định hơn. Cùng với sự phát triển của AI, chúng ta cũng sẽ phát triển.
GitHub Copilot, DALL-E 2, ChatGPT và các công nghệ tiên phong khác ở đây để hỗ trợ chúng ta. Chúng giúp chúng ta làm việc năng suất và hiệu quả hơn.
Andrej Karpathy, từng là Giám đốc AI tại Tesla và OpenAI, nói:
“Copilot đã tăng tốc độ viết mã của tôi một cách ngoạn mục, thật khó tưởng tượng quay lại "viết mã thủ công." Tôi vẫn đang học cách dùng nó nhưng nó đã viết ~80% mã của tôi, ~80% độ chính xác. Tôi thậm chí không thực sự viết mã nữa, tôi đưa gợi ý. & chỉnh sửa.” - Twitter
Điều đó cho thấy nhiều người am hiểu công nghệ sẽ dùng nó để lập trình, tư duy logic, phân tích dữ liệu và ra quyết định tốt hơn.
Các nhà khoa học dữ liệu có thể dùng AI như thế nào?
- Tạo dữ liệu đời thực trong khi vẫn bảo vệ quyền riêng tư người dùng.
- Viết mã tinh gọn và hiệu quả.
- Làm nguyên mẫu sản phẩm.
- Thực hiện phân tích dữ liệu tốt hơn bằng cách sử dụng lời nhắc.
- Sinh truy vấn SQL phức tạp bằng ngôn ngữ tự nhiên.
- Tạo báo cáo dễ hiểu hơn cho các bên liên quan không chuyên môn.
- Thực hiện phân tích thống kê phức tạp kèm giải thích.
- Học ngôn ngữ lập trình, kỹ năng, framework và khái niệm mới.
- Dùng AutoML và các công cụ tối ưu mô hình dựa trên AI để xây dựng giải pháp ML tiên tiến.
- Xây dựng các script tự động hóa để tiết kiệm thời gian và tránh sai sót.
Kỷ nguyên mới của những tiến bộ trong AI
Microsoft, trong hợp tác với OpenAI, đã tích hợp ChatGPT vào công cụ tìm kiếm Bing mới, được gọi là copilot cho web. Với thông báo này, một cuộc đua mới giành ưu thế công nghệ đã bắt đầu.
Microsoft dự định tích hợp ChatGPT và các mô hình GPT khác vào hệ sinh thái của mình. Điều này sẽ thay đổi mọi thứ vì người dùng thậm chí không cần rời ứng dụng. Họ có thể tìm kiếm, thêm nội dung, chỉnh sửa nội dung và nảy ý tưởng chỉ bằng cách trò chuyện với bot.
Bản demo Copilot của Bing
Tại sự kiện Paris, Google ra mắt phiên bản ChatGPT của mình mang tên Bard. Nó được vận hành bởi LaMDA gọn nhẹ. Bard khá giống với copilot cho web của Microsoft; nó cũng được tích hợp vào công cụ tìm kiếm của Google và cung cấp các tính năng tương tự.
Mặt trái của các tiến bộ AI
- Các mô hình ngôn ngữ lớn như GPT có thể được dùng cho các chiến dịch tung tin sai lệch trong tương lai -openai.com. Chúng có khả năng gây hại cả về thể chất lẫn tinh thần.
- Nội dung tạo bởi AI được tối ưu SEO và khó phát hiện hơn. Học sinh và người đi làm đang dùng nó để tạo ra tác phẩm “nguyên gốc” mà không học hay hiểu khái niệm. Đọc thêm về rủi ro và cơ hội trong giáo dục trên tài liệu OpenAI API.
- Vấn đề bản quyền là có thật. Những mô hình này được huấn luyện trên văn bản trực tuyến, và một số là tài sản được bảo hộ. Bạn không thể đánh cắp tác phẩm của người khác để biện minh cho tiến bộ AI.
- Đôi khi AI đưa ra câu trả lời sai sự thật. Điều này có thể gây ra vấn đề lớn trong tương lai nếu các mô hình này được triển khai trong cơ quan thực thi pháp luật.
Những vấn đề này sẽ được giải quyết, và chúng ta sẽ thấy luật pháp mới điều chỉnh việc sử dụng AI. Trường học và các “ông lớn” nội dung đã bắt đầu áp dụng chính sách về nội dung do AI tạo ra.
Vậy chúng ta có thể làm gì? Chúng ta có thể bắt đầu học về những công nghệ mới này và sử dụng chúng một cách có đạo đức. Bạn có thể bắt đầu học AI bằng cách đăng ký lộ trình nghề nghiệp Machine Learning Scientist with Python. Lộ trình sẽ dạy bạn các kỹ năng học máy thiết yếu để ứng tuyển vị trí kỹ sư AI.
