Khóa học
Các khái niệm về Generative AI
2 giờ
121.1K
Tháng 11 năm 2022, OpenAI ra mắt ChatGPT. Chỉ mất vài ngày để công cụ này gây bão toàn cầu nhờ những khả năng chưa từng có. Cuộc cách mạng AI tạo sinh đã bắt đầu, và mọi người đều đặt cùng một câu hỏi: tiếp theo là gì?
Vào thời điểm đó, ChatGPT và nhiều công cụ AI tạo sinh khác do các Mô hình Ngôn ngữ Lớn (LLM) cung cấp được thiết kế để xử lý đầu vào văn bản từ người dùng và tạo đầu ra dạng văn bản. Nói cách khác, chúng được xem là các công cụ AI đơn phương thức (unimodal).
Tuy nhiên, đó mới chỉ là khởi đầu. Chúng ta mới chỉ chạm đến bề nổi những gì LLM có thể làm. Chỉ một năm sau khi ChatGPT ra mắt, tốc độ phát triển của ngành thật sự đáng kinh ngạc, khiến việc xác định ranh giới của cái có thể trở nên vô cùng khó khăn, như chúng tôi đã phân tích trong bài viết riêng về tác động dài hạn của ChatGPT và AI tạo sinh đối với việc làm.
Ngày nay, nếu phải trả lời câu hỏi “tiếp theo là gì?”, câu trả lời hợp lý nhất có lẽ là học đa phương thức. Đây là một trong những xu hướng hứa hẹn nhất trong cuộc cách mạng AI đang diễn ra. Các mô hình AI tạo sinh đa phương thức có khả năng kết hợp nhiều loại đầu vào khác nhau và tạo ra đầu ra cũng có thể bao gồm nhiều loại định dạng.
Trong hướng dẫn này, chúng tôi sẽ cùng bạn tìm hiểu khái niệm AI đa phương thức. Chúng ta sẽ xem xét định nghĩa, các khái niệm cốt lõi, công nghệ nền tảng và ứng dụng của AI đa phương thức, cũng như cách triển khai trong các kịch bản thực tế. Sẵn sàng cho đa phương thức chưa? Bắt đầu thôi!
Tìm hiểu về AI đa phương thức
Dù hầu hết các công cụ AI tạo sinh tiên tiến vẫn chưa có khả năng suy nghĩ như con người, chúng đang mang lại những kết quả đột phá, đưa chúng ta tiến gần hơn một chút tới ngưỡng Trí tuệ Nhân tạo Tổng quát (AGI). Thuật ngữ này đề cập đến một hệ thống AI giả định có thể hiểu, học hỏi và áp dụng kiến thức trên nhiều loại nhiệm vụ, tương tự con người.
Trong cuộc tranh luận về cách đạt được AGI, câu hỏi trọng tâm cần giải đáp là con người học như thế nào. Và điều này dẫn chúng ta đến cách bộ não vận hành. Nói ngắn gọn, não bộ dựa vào năm giác quan để thu thập mọi loại thông tin từ môi trường xung quanh. Thông tin đó được lưu vào trí nhớ, xử lý để rút ra hiểu biết mới và tận dụng để đưa ra quyết định.
Những mô hình AI tạo sinh hiện đại đầu tiên như ChatGPT được xem là đơn phương thức; tức là chúng chỉ có thể nhận một loại dữ liệu làm đầu vào và tạo ra cùng loại dữ liệu đó làm đầu ra. Cụ thể, đa số các mô hình này được thiết kế để xử lý lời nhắc dạng văn bản và tạo phản hồi bằng văn bản.
Điều này là hợp lý, vì các mô hình cần lượng dữ liệu khổng lồ để huấn luyện, và văn bản không chỉ dễ lưu trữ, xử lý mà còn sẵn có rộng rãi. Không ngạc nhiên khi phần lớn dữ liệu huấn luyện của các công cụ như ChatGPT đến từ nhiều nguồn trên Internet. Chúng tôi giải thích tất cả các khía cạnh kỹ thuật này trong bài ChatGPT là gì, nơi chúng tôi đặt câu hỏi trực tiếp cho ChatGPT.
Tuy nhiên, đọc chỉ là một trong nhiều cách con người học điều mới, và với nhiều nhiệm vụ, đó không phải cách hiệu quả nhất.
Học đa phương thức là một phân ngành của AI cố gắng tăng cường năng lực học của máy bằng cách huấn luyện với lượng lớn văn bản, cũng như các loại dữ liệu khác, còn gọi là dữ liệu cảm giác, như hình ảnh, video hoặc bản ghi âm. Điều này cho phép mô hình học các mẫu và mối tương quan mới giữa mô tả văn bản và hình ảnh, video hay âm thanh liên quan.
Học đa phương thức đang mở khóa những khả năng mới cho các hệ thống thông minh. Sự kết hợp nhiều loại dữ liệu trong quá trình huấn luyện giúp mô hình AI đa phương thức phù hợp để nhận nhiều dạng đầu vào và tạo ra nhiều loại đầu ra. Ví dụ, GPT-4, mô hình nền tảng của ChatGPT, có thể nhận cả hình ảnh và văn bản làm đầu vào và tạo đầu ra dạng văn bản, và gần đây là Sora – mô hình chuyển văn bản thành video của OpenAI.
Các khái niệm cốt lõi của AI đa phương thức
Các mô hình AI tạo sinh đa phương thức bổ sung một lớp phức tạp mới cho những LLM hiện đại. Các mô hình này dựa trên một loại kiến trúc thần kinh gọi là Transformer. Được phát triển bởi các nhà nghiên cứu Google, transformer dựa vào kiến trúc mã hóa–giải mã (encoder–decoder) và cơ chế chú ý để xử lý dữ liệu hiệu quả.
Đây là một quy trình khá phức tạp và khó nắm bắt. Nếu bạn muốn tìm hiểu chi tiết hơn về cách LLM và transformer hoạt động, chúng tôi khuyến khích bạn đọc Hướng dẫn Cách hoạt động của Transformer, hoặc nếu bạn muốn thực hành và học cách tạo LLM từng bước, hãy xem Khoá học Khái niệm Mô hình Ngôn ngữ Lớn (LLM).
Nguồn: DataCamp
AI đa phương thức dựa vào các kỹ thuật hợp nhất dữ liệu để tích hợp những loại dữ liệu khác biệt và xây dựng một hiểu biết đầy đủ, chính xác hơn về dữ liệu nền. Mục tiêu tối thượng là đưa ra dự đoán tốt hơn bằng cách kết hợp thông tin bổ trợ mà các dạng dữ liệu khác nhau mang lại.
AI đơn phương thức vs đa phương thức. Nguồn: ResearchGate
Có thể triển khai một số kỹ thuật hợp nhất dữ liệu để giải quyết thách thức đa phương thức. Tùy thuộc vào giai đoạn xử lý mà việc hợp nhất diễn ra, ta có thể phân loại kỹ thuật hợp nhất dữ liệu thành ba nhóm:
- Hợp nhất sớm (Early fusion). Mã hóa các phương thức khác nhau vào mô hình để tạo không gian biểu diễn chung. Quá trình này cho ra một đầu ra bất biến theo phương thức đơn, bao quát thông tin ngữ nghĩa từ tất cả các phương thức.
- Hợp nhất trung gian (Mid fusion). Kết hợp các phương thức ở những giai đoạn tiền xử lý khác nhau. Điều này đạt được bằng cách tạo các tầng đặc biệt trong mạng nơ-ron, được thiết kế riêng cho mục đích hợp nhất dữ liệu.
- Hợp nhất muộn (Late fusion). Tạo nhiều mô hình để xử lý các phương thức khác nhau và kết hợp đầu ra của mỗi mô hình trong một tầng thuật toán mới.
Không có kỹ thuật hợp nhất dữ liệu nào là tốt nhất cho mọi tình huống. Thay vào đó, kỹ thuật được chọn sẽ phụ thuộc vào nhiệm vụ đa phương thức cụ thể. Vì vậy, có thể cần một quá trình thử–sai để tìm ra quy trình AI đa phương thức phù hợp nhất.
Công nghệ vận hành AI đa phương thức
AI đa phương thức là kết quả của tri thức tích lũy từ nhiều phân ngành AI. Những năm gần đây, các nhà thực hành và học giả AI đã đạt tiến bộ ấn tượng trong việc lưu trữ và xử lý dữ liệu ở nhiều định dạng và phương thức.
Dưới đây là danh sách các lĩnh vực đang tiếp sức cho làn sóng AI đa phương thức:
Học sâu
Học sâu là một phân ngành của AI sử dụng một loại thuật toán gọi là mạng nơ-ron nhân tạo để giải quyết các tác vụ phức tạp. Cuộc cách mạng AI tạo sinh hiện tại được vận hành bởi các mô hình học sâu, đặc biệt là transformer, một loại kiến trúc nơ-ron.
Tương lai của AI đa phương thức cũng sẽ phụ thuộc vào những tiến bộ mới trong lĩnh vực này. Đặc biệt, rất cần nghiên cứu để tìm cách tăng cường năng lực của transformer, cũng như các kỹ thuật hợp nhất dữ liệu mới.
Khám phá Lộ trình Học sâu với Python để nâng cao kiến thức trong lĩnh vực đầy tiềm năng này.
Xử lý ngôn ngữ tự nhiên (NLP)
NLP là công nghệ then chốt trong trí tuệ nhân tạo, bắc cầu giữa giao tiếp của con người và sự thấu hiểu của máy tính. Đây là một lĩnh vực liên ngành giúp máy tính diễn giải, phân tích và tạo ngôn ngữ tự nhiên, cho phép tương tác liền mạch giữa con người và máy.
Vì cách giao tiếp chính với máy là thông qua văn bản, không ngạc nhiên khi NLP mang tính quyết định để đảm bảo hiệu năng cao của các mô hình AI tạo sinh, bao gồm cả mô hình đa phương thức.
Quan tâm đến NLP? Hãy xem Lộ trình Xử lý Ngôn ngữ Tự nhiên với Python để nắm các kỹ năng cốt lõi nhằm chuyển dữ liệu phi cấu trúc thành thông tin giá trị.
Thị giác máy tính
Phân tích hình ảnh, còn gọi là thị giác máy tính, bao gồm tập hợp kỹ thuật giúp máy tính “nhìn” và hiểu hình ảnh. Tiến bộ trong lĩnh vực này đã cho phép phát triển các mô hình AI đa phương thức có thể xử lý hình ảnh và video ở cả đầu vào lẫn đầu ra.
Nếu bạn muốn đi sâu hơn vào chủ đề hấp dẫn này, hãy xem Lộ trình Kỹ năng Xử lý Ảnh với Python để bổ sung kỹ năng xử lý ảnh vào bộ công cụ khoa học dữ liệu của bạn.
Xử lý âm thanh
Một số mô hình AI tạo sinh tiên tiến nhất có khả năng xử lý tệp âm thanh cả ở đầu vào và đầu ra. Khả năng xử lý âm thanh trải rộng từ diễn giải tin nhắn thoại đến dịch đồng thời và sáng tác nhạc.
Hãy xem Khoá học Xử lý Ngôn ngữ Nói bằng Python để học cách nạp, biến đổi và phiên âm giọng nói từ các tệp âm thanh thô trong Python.
Ứng dụng của AI đa phương thức
Học đa phương thức cho phép máy móc “có thêm giác quan”, nâng cao độ chính xác và khả năng diễn giải. Những năng lực này đang mở ra cánh cửa cho vô số ứng dụng mới trên các lĩnh vực và ngành nghề, bao gồm:
AI tạo sinh tăng cường
Hầu hết thế hệ đầu tiên của các mô hình AI tạo sinh là văn bản–sang–văn bản, có khả năng xử lý lời nhắc văn bản của người dùng và cung cấp câu trả lời dạng văn bản. Các mô hình đa phương thức như GPT-4 Turbo, Google Gemini hay DALL-E mang đến những khả năng mới có thể cải thiện trải nghiệm người dùng ở cả phía đầu vào và đầu ra. Dù là chấp nhận lời nhắc ở nhiều phương thức hay tạo nội dung ở nhiều định dạng, khả năng của các tác nhân AI đa phương thức dường như là vô hạn.
Xe tự hành
Xe tự lái phụ thuộc rất nhiều vào AI đa phương thức. Những chiếc xe này được trang bị nhiều cảm biến để xử lý thông tin từ môi trường xung quanh ở nhiều định dạng. Học đa phương thức là chìa khóa để các phương tiện này kết hợp các nguồn dữ liệu đó một cách hiệu quả, nhằm đưa ra quyết định thông minh theo thời gian thực.
Y sinh học
Sự sẵn có ngày càng tăng của dữ liệu y sinh từ ngân hàng sinh học, hồ sơ sức khỏe điện tử, ảnh chụp lâm sàng và cảm biến y tế, cũng như dữ liệu hệ gen, đang thúc đẩy việc tạo ra các mô hình AI đa phương thức trong y học. Những mô hình này có khả năng xử lý nhiều nguồn dữ liệu ở nhiều phương thức để giúp chúng ta giải mã những bí ẩn về sức khỏe và bệnh tật của con người, cũng như đưa ra quyết định lâm sàng thông minh.
Khoa học Trái Đất và biến đổi khí hậu
Sự mở rộng nhanh chóng của cảm biến mặt đất, drone, dữ liệu vệ tinh và các kỹ thuật đo đạc khác đang gia tăng năng lực hiểu biết về hành tinh của chúng ta. AI đa phương thức rất quan trọng để kết hợp chính xác các thông tin này và tạo ra các ứng dụng, công cụ mới hỗ trợ nhiều nhiệm vụ, như giám sát phát thải khí nhà kính, dự báo sự kiện khí hậu cực đoan và nông nghiệp chính xác.
Thách thức khi triển khai giải pháp AI đa phương thức
Làn sóng AI đa phương thức mở ra vô vàn cơ hội cho doanh nghiệp, chính phủ và cá nhân. Tuy nhiên, như bất kỳ công nghệ mới nào, việc triển khai vào vận hành hằng ngày có thể đầy thách thức.
Trước hết, bạn cần tìm các trường hợp sử dụng phù hợp với nhu cầu cụ thể. Việc chuyển từ ý tưởng sang triển khai không phải lúc nào cũng dễ, đặc biệt nếu bạn thiếu nhân sự hiểu thấu đáo các khía cạnh kỹ thuật của AI đa phương thức. Tuy nhiên, với khoảng cách kỹ năng hiểu biết dữ liệu hiện tại, việc tìm đúng người để đưa mô hình vào sản xuất có thể khó và tốn kém, vì các công ty sẵn sàng chi trả cao để thu hút nguồn nhân tài khan hiếm này.
Cuối cùng, khi nói về AI tạo sinh, tính chi phí là điều bắt buộc phải nhắc đến. Những mô hình này, đặc biệt là mô hình đa phương thức, đòi hỏi tài nguyên tính toán đáng kể để vận hành, đồng nghĩa với chi phí. Do đó, trước khi áp dụng bất kỳ giải pháp AI tạo sinh nào, điều quan trọng là ước lượng nguồn lực bạn muốn đầu tư.
Rủi ro của AI đa phương thức
Giống như mọi công nghệ mới, có một số cạm bẫy tiềm ẩn mà chúng ta phải vượt qua với các mô hình AI đa phương thức:
- Thiếu minh bạch. Tính mờ đục thuật toán là một trong những mối quan ngại chính gắn với AI tạo sinh. Điều này cũng áp dụng cho AI đa phương thức. Các mô hình này thường bị gắn nhãn là “hộp đen” vì sự phức tạp, khiến việc giám sát lập luận và cơ chế bên trong của chúng trở nên bất khả thi.
- Độc quyền AI đa phương thức. Do nguồn lực đáng kể cần thiết để phát triển, huấn luyện và vận hành một mô hình đa phương thức, thị trường tập trung cao vào một nhóm các công ty Big Tech có đủ tri thức và nguồn lực. May mắn thay, ngày càng nhiều LLM mã nguồn mở ra mắt, giúp nhà phát triển, nhà nghiên cứu AI và xã hội dễ dàng hiểu và vận hành LLM hơn.
- Thiên lệch và phân biệt đối xử. Tùy thuộc dữ liệu dùng để huấn luyện mô hình AI đa phương thức, chúng có thể chứa thiên lệch dẫn tới các quyết định không công bằng, thường làm trầm trọng thêm sự phân biệt, đặc biệt với các nhóm thiểu số. Như đã đề cập, minh bạch là điều thiết yếu để hiểu và xử lý các thiên lệch tiềm ẩn.
- Vấn đề quyền riêng tư. Mô hình AI đa phương thức được huấn luyện với lượng dữ liệu khổng lồ đến từ nhiều nguồn và định dạng. Trong nhiều trường hợp, có thể bao gồm dữ liệu cá nhân. Điều này có thể dẫn đến các vấn đề và rủi ro liên quan đến quyền riêng tư và an ninh dữ liệu.
- Những cân nhắc đạo đức. AI đa phương thức đôi khi có thể đưa ra các quyết định tác động nghiêm trọng đến cuộc sống chúng ta, ảnh hưởng đáng kể đến các quyền cơ bản. Chúng tôi đã khám phá đạo đức của AI tạo sinh trong một bài viết riêng.
- Những cân nhắc về môi trường. Các nhà nghiên cứu và tổ chức giám sát môi trường đang bày tỏ lo ngại về dấu chân môi trường gắn với việc huấn luyện và vận hành các mô hình AI tạo sinh. Chủ sở hữu các mô hình AI đa phương thức độc quyền hiếm khi công bố thông tin về năng lượng và tài nguyên tiêu thụ, cũng như dấu chân môi trường liên quan, điều này đặc biệt đáng lo ngại khi các công cụ này được áp dụng nhanh chóng.
Tương lai của AI đa phương thức
AI đa phương thức chắc chắn là biên giới tiếp theo của cuộc cách mạng AI tạo sinh. Sự phát triển nhanh chóng của lĩnh vực học đa phương thức đang thúc đẩy việc tạo ra các mô hình và ứng dụng mới cho nhiều mục đích. Chúng ta mới chỉ ở giai đoạn khởi đầu của cuộc cách mạng này. Khi các kỹ thuật mới được phát triển để kết hợp nhiều và cả những phương thức mới, phạm vi của AI đa phương thức sẽ được mở rộng.
Tuy nhiên, quyền năng lớn đi kèm trách nhiệm lớn. AI đa phương thức mang theo những rủi ro và thách thức nghiêm trọng cần được giải quyết để đảm bảo một tương lai công bằng và bền vững.
Nếu bạn muốn bắt đầu với AI tạo sinh, DataCamp có đầy đủ tài nguyên cho bạn. Hãy xem các khóa học, blog và tài liệu chuyên đề:
Chủ đề
