Hướng dẫn OpenAI o1: Cách hoạt động, Trường hợp sử dụng, API & hơn thế nữa

Cách OpenAI o1 hoạt động

Điều đầu tiên bạn sẽ nhận thấy khi tương tác với o1 là nó mất nhiều thời gian hơn đáng kể để tạo phản hồi so với GPT-4o. Độ trễ có chủ ý này phản ánh sự nhấn mạnh của mô hình vào khả năng suy luận. O1 dành nhiều thời gian "suy nghĩ" trước khi trả lời, cho phép nó xử lý các tác vụ phức tạp và giải các bài toán khó về logic, toán, lập trình và khoa học.

OpenAI o1-preview đang giải một bài toán logic

Học tăng cường và chuỗi suy nghĩ

Khả năng suy luận vượt trội của o1 đạt được nhờ kết hợp giữa học tăng cường và lập luận theo chuỗi suy nghĩ.

Thông qua học tăng cường, mô hình học cách tinh chỉnh quá trình tư duy, thử nghiệm các chiến lược khác nhau, nhận diện sai sót và điều chỉnh cách tiếp cận để đi đến lời giải chính xác và hợp lý nhất.

Mặt khác, lập luận chuỗi suy nghĩ là kỹ thuật phân rã các vấn đề phức tạp thành những phần nhỏ, dễ xử lý hơn. Cách tiếp cận này cho phép o1 'nghĩ trước khi trả lời', giống như lên kế hoạch tỉ mỉ từng bước của một công thức phức tạp trước khi bắt đầu nấu.

Bằng cách trình bày rõ ràng quá trình lập luận, o1 có thể phát hiện lỗi tiềm ẩn từ sớm và tăng khả năng đi đến lời giải đúng, cũng như việc con người ít mắc sai lầm hơn khi cẩn thận phác thảo mạch suy nghĩ của mình.

Việc OpenAI o1 sử dụng lập luận chuỗi suy nghĩ khiến nó đặc biệt hiệu quả trong các lĩnh vực như toán, khoa học và lập trình, nơi câu trả lời đúng thường đòi hỏi nhiều bước.

Mô hình phân bổ tài nguyên tính toán mới

Điểm khác biệt then chốt của OpenAI o1 nằm ở việc tái phân bổ chiến lược tài nguyên tính toán. Trong khi các LLM truyền thống chủ yếu tập trung vào bộ dữ liệu tiền huấn luyện khổng lồ, o1 chuyển trọng tâm sang các giai đoạn huấn luyện và suy luận.

Sự chuyển dịch này cho thấy việc phân bổ thêm tài nguyên tính toán cho các giai đoạn này có thể mang lại lợi ích đáng kể cho khả năng suy luận phức tạp.

Nguồn: OpenAI

Biểu đồ trên cho thấy tác động của việc tăng tài nguyên tính toán đến hiệu năng của mô hình o1 của OpenAI khi giải bài thi AIME (American Invitational Mathematics Examination) đầy thách thức. Nó gồm hai đồ thị, mỗi đồ thị biểu diễn độ chính xác của mô hình so với tài nguyên tính toán dành cho huấn luyện hoặc kiểm tra (suy luận).

Cả hai đồ thị đều cho thấy tương quan thuận rõ rệt: khi tài nguyên tính toán tăng, độ chính xác của mô hình trong việc giải các bài AIME ngay lần thử đầu cũng tăng theo. Đáng chú ý, mối quan hệ này nổi bật hơn ở đồ thị thời gian kiểm tra, gợi ý rằng cho mô hình nhiều thời gian để "nghĩ" trong quá trình giải quyết vấn đề sẽ dẫn đến hiệu năng được cải thiện đáng kể.

Quan sát này nhấn mạnh bản chất tiêu tốn tài nguyên của o1, thể hiện sự phụ thuộc vào lượng tính toán đáng kể. Tuy nhiên, các xu hướng đi lên ở cả hai đồ thị cũng ngụ ý rằng vẫn có thể đạt thêm mức độ chính xác cao hơn với nhiều tài nguyên tính toán hơn nữa, mở ra hướng phát triển đầy hứa hẹn cho năng lực suy luận của AI trong tương lai.

Benchmark của OpenAI O1: Tốt hơn ở các tác vụ nặng suy luận

Để trình diễn khả năng suy luận nâng cao của o1 so với GPT-4o, OpenAI đã đánh giá mô hình trên nhiều benchmark khó về toán, lập trình và khoa học.

Bài thi cho con người

Các bài thi cho con người cho thấy o1 liên tục vượt trội so với GPT-4o và o1-preview.

Cột đặc thể hiện độ chính xác pass@1 và vùng tô mờ thể hiện hiệu năng của bỏ phiếu đa số (đồng thuận) với 64 mẫu. Nguồn: OpenAI

Có lẽ đáng chú ý nhất là cú nhảy vọt về hiệu năng giữa GPT-4o và o1 (và cả o1-preview) trên các benchmark toán và lập trình.

Dù mức cải thiện trong lĩnh vực khoa học kém nổi bật hơn, đáng lưu ý rằng cả o1-preview và mô hình o1 đã tối ưu đều vượt qua chuyên gia con người ở các câu hỏi khoa học cấp độ Tiến sĩ. Điều này cho thấy tiềm năng của o1 trong việc xử lý các vấn đề thực tế phức tạp và thậm chí vượt qua mức hiệu năng của con người ở một số lĩnh vực nhất định.

Benchmark ML

Nhìn vào kết quả trên các benchmark ML, những tiến bộ về suy luận của o1 khá rõ ràng. Trên cả MathVista (một benchmark toán học) và MMLU, o1 cho thấy mức tăng đáng kể về độ chính xác so với GPT-4o.

Nguồn: OpenAI

Một phiên bản chuyên biệt của o1, gọi là o1-ioi, đã thể hiện khả năng lập trình vượt trội khi đạt thứ hạng bách phân vị 49 tại Olympic Tin học Quốc tế 2024, ngay cả trong điều kiện thi đấu nghiêm ngặt.

Trong các kỳ thi mô phỏng (xem biểu đồ dưới), hiệu năng của o1-ioi còn tăng vọt hơn nữa, vượt qua 93% đối thủ.

Nguồn: OpenAI

Trường hợp sử dụng OpenAI o1

Khả năng suy luận của OpenAI o1 khiến nó đặc biệt phù hợp để giải các vấn đề phức tạp trong khoa học, lập trình và toán học.

Nghiên cứu khoa học

Chẳng hạn, các nhà nghiên cứu y tế có thể tận dụng o1 để chú giải dữ liệu giải trình tự tế bào phức tạp, trong khi các nhà vật lý có thể dùng nó để tạo ra các công thức toán học tinh vi phục vụ nghiên cứu quang học lượng tử.

Lập trình

Từ gợi ý tối ưu mã và tạo bộ kiểm thử đến tự động hóa rà soát mã và hỗ trợ chia sẻ tri thức, o1 có tiềm năng nâng cao đáng kể năng suất lập trình viên và đơn giản hóa quy trình làm việc.

Ngoài ra, khả năng hiểu và sinh mã của o1 mở rộng tính hữu dụng vượt ra ngoài việc viết code thuần túy. Nó có thể hỗ trợ lập kế hoạch dự án, phân tích yêu cầu và thiết kế kiến trúc phần mềm, giúp các nhà phát triển xây dựng giải pháp hiệu quả hơn.

Mặc dù toàn bộ năng lực của o1 vẫn đang được phát triển, các tính năng hiện tại đã rất hứa hẹn. Khi OpenAI tiếp tục tinh chỉnh mô hình, o1 nhiều khả năng sẽ trở thành công cụ giá trị cho nhà phát triển, thúc đẩy đổi mới và định hình tương lai phát triển phần mềm.

Như đã mô tả ở phần benchmark, mô hình o1 cho thấy tiềm năng lớn trong lĩnh vực lập trình.

Toán học

Lĩnh vực toán học cũng có thể hưởng lợi đáng kể từ khả năng suy luận nâng cao của o1. Hiệu năng mạnh mẽ trên các benchmark như AIME cho thấy các ứng dụng tiềm năng trong giải phương trình phức tạp, chứng minh định lý và khám phá các khái niệm toán học mới, mang lại lợi ích cho cả sinh viên và nhà nghiên cứu.

Các trường hợp sử dụng nặng suy luận

Vượt ra ngoài các lĩnh vực cụ thể, trọng tâm vào suy luận của o1 có thể khiến nó trở thành tài sản giá trị cho mọi nhiệm vụ đòi hỏi tư duy phản biện và suy luận logic. Từ giải câu đố và câu đố mẹo đến phân tích lập luận phức tạp và hỗ trợ ra quyết định có cơ sở, o1 có thể mở ra những cách tiếp cận mới để giải quyết vấn đề.

Cách truy cập OpenAI o1

Nếu bạn có gói đăng ký ChatGPT Plus hoặc ChatGPT Team, bạn có thể truy cập mô hình o1 trực tiếp trong giao diện ChatGPT. Chọn o1 từ menu thả xuống chọn mô hình ở đầu trang. 

Lưu ý rằng with tài khoản ChatGPT Plus hoặc Team, ban đầu bạn có 50 tin nhắn mỗi tuần với OpenAI o1 và 50 tin nhắn mỗi ngày với OpenAI o1-mini.

OpenAI o1 API

Trong khi o1 có thể truy cập trong ChatGPT cho người đăng ký Plus và Team, các nhà phát triển và nhà nghiên cứu cần linh hoạt hơn và tùy chọn tích hợp sẽ thấy OpenAI o1 API phù hợp hơn với nhu cầu của họ.

Hạn chế beta

Mặc dù mô hình o1 đã ra khỏi chế độ preview trong giao diện chat, tại thời điểm viết bài này (ngày 6 tháng 12 năm 2024), API chỉ cung cấp quyền truy cập vào hai biến thể của mô hình o1:

• o1-preview: Đây là bản xem trước sớm của mô hình o1 đầy đủ, được thiết kế để xử lý các vấn đề phức tạp đòi hỏi kiến thức tổng quát rộng.
• o1-mini: Phiên bản nhanh hơn và tiết kiệm chi phí hơn của o1, phù hợp cho các tác vụ trong lập trình, toán và khoa học nơi kiến thức tổng quát rộng có thể không cần thiết.

Cả o1-preview và o1-mini đều có thể truy cập qua điểm cuối chat completions, giúp dễ dàng đưa chúng vào các dự án hiện có. Quy trình bao gồm chọn mô hình mong muốn (ví dụ, model="o1-preview") khi gọi API. Để học từng bước cách dùng o1 qua API, hãy đọc hướng dẫn này: Hướng dẫn API OpenAI O1: Cách kết nối với API của OpenAI.

Vì o1 hiện đang ở giai đoạn beta, một số tham số và tính năng API chưa được hỗ trợ. Bao gồm:

• Đa phương thức: Hiện chỉ hỗ trợ đầu vào và đầu ra văn bản; xử lý hình ảnh chưa khả dụng.
• Loại tin nhắn: Không hỗ trợ tin nhắn hệ thống; chỉ cho phép tin nhắn người dùng và trợ lý.
• Streaming: Tính năng phát trực tuyến chưa có cho các mô hình o1.
• Công cụ và gọi hàm: Các khả năng nâng cao này hiện chưa được hỗ trợ.
• Logprobs: Xác suất log chưa khả dụng.
• Các tham số khác: Các tham số như temperature, top_p và n được cố định ở mức 1, trong khi presence_penalty và frequency_penalty được cố định ở mức 0.
• Assistants và Batch API: Các mô hình o1 chưa được tích hợp với Assistants API hoặc Batch API.

OpenAI dự định dần bổ sung hỗ trợ cho một số tham số và tính năng này khi o1 thoát khỏi giai đoạn beta. Các tính năng nâng cao hơn như đa phương thức và sử dụng công cụ dự kiến sẽ được đưa vào các phiên bản tương lai của dòng o1.

Tìm hiểu về token suy luận

Khía cạnh then chốt của các mô hình o1 là sự xuất hiện của "token suy luận". Các token này đại diện cho quá trình suy nghĩ nội bộ của mô hình khi nó phân tích prompt, cân nhắc các cách tiếp cận và hình thành phản hồi. Mặc dù các token suy luận này không hiển thị qua API, chúng vẫn chiếm dung lượng trong cửa sổ ngữ cảnh của mô hình và góp phần vào tổng số token, ảnh hưởng đến chi phí tính phí.

Nguồn: OpenAI

Cửa sổ ngữ cảnh và chi phí

Cả o1-preview và o1-mini đều cung cấp cửa sổ ngữ cảnh 128.000 token. Tuy nhiên, mỗi completion có giới hạn tối đa về tổng số token đầu ra được tạo, bao gồm cả token suy luận vô hình và token completion hiển thị. Để tránh chi phí bất ngờ và đảm bảo mô hình có đủ “không gian” để "nghĩ", điều quan trọng là quản lý hiệu quả cửa sổ ngữ cảnh và đặt giới hạn phù hợp bằng tham số max_completion_tokens.

Thực hành nhắc lệnh tốt nhất

Để đạt kết quả tối ưu với các mô hình o1, hãy giữ prompt đơn giản và trực tiếp. Tránh các kỹ thuật như few-shot prompting hoặc yêu cầu rõ ràng mô hình "nghĩ từng bước một", vì điều này có thể cản trở hiệu năng hơn là cải thiện. Hãy dùng dấu phân tách để cấu trúc rõ ràng đầu vào và, trong các tình huống tạo sinh có tăng cường truy xuất, chỉ cung cấp ngữ cảnh liên quan nhất để tránh mô hình làm phức tạp quá mức phản hồi.

OpenAI o1-mini là gì?

Bên cạnh mô hình o1-preview đầy đủ, OpenAI cũng phát hành o1-mini, một biến thể nhỏ hơn và nhanh hơn, được thiết kế để mang lại điểm khởi đầu dễ tiếp cận hơn cho nhà phát triển và nhà nghiên cứu khám phá khả năng của dòng o1.

Mặc dù o1-mini có thể không sở hữu bề dày kiến thức tổng quát như bản lớn hơn, nó lại xuất sắc ở các tác vụ đòi hỏi kỹ năng suy luận tập trung, đặc biệt trong các lĩnh vực lập trình, toán và khoa học.

Kích thước giảm giúp thời gian phản hồi nhanh hơn và yêu cầu tính toán thấp hơn, khiến nó trở thành lựa chọn thực tiễn cho các ứng dụng coi trọng tốc độ và hiệu quả.

Dù o1-mini hiện đang ở giai đoạn beta và có một số hạn chế, nó mang đến cái nhìn thoáng qua về tiềm năng của dòng o1 và trọng tâm nâng cao khả năng suy luận của AI. Khi OpenAI tiếp tục tinh chỉnh và phát triển các mô hình o1, chúng ta có thể kỳ vọng o1-mini sẽ tiến hóa song hành với “người anh” lớn hơn, trở thành công cụ ngày càng mạnh và đa dụng cho nhiều ứng dụng.

O1 Pro Mode là gì?

Bên cạnh mô hình o1 tiêu chuẩn, OpenAI cũng giới thiệu chế độ o1 pro. Mô hình này dành cho người dùng cần khả năng suy luận còn nâng cao hơn và sẵn sàng hy sinh một phần tốc độ để đổi lấy độ chính xác và khả năng xử lý các tác vụ cực kỳ phức tạp.

Chế độ o1 pro tận dụng sức mạnh tính toán lớn hơn đáng kể so với mô hình o1 tiêu chuẩn. Điều này cho phép nó "nghĩ lâu hơn" và "nghĩ sâu hơn" để tạo ra phản hồi đáng tin cậy hơn, đặc biệt với các bài toán thách thức trong các lĩnh vực như khoa học dữ liệu, lập trình và phân tích án lệ.

Để truy cập chế độ o1 pro, bạn cần đăng ký ChatGPT Pro. Gói này cho phép bạn dùng không giới hạn o1 và o1 pro, cũng như các mô hình và tính năng nâng cao khác.

Chúng tôi đã đề cập chi tiết về o1 pro trong một bài viết riêng: Chế độ O1 Pro của OpenAI là gì? Tính năng, ChatGPT Pro & hơn thế nữa.

Hạn chế của OpenAI o1

Mặc dù OpenAI o1-preview mang đến khả năng ấn tượng, vẫn có một số hạn chế cần lưu ý. Những ràng buộc này có thể ảnh hưởng đến mức độ hữu ích trong một số ngữ cảnh, vì vậy đáng để biết các điểm sau.

Chuỗi suy nghĩ ẩn

Để đảm bảo khả năng giám sát và tăng cường an toàn trong tương lai, quá trình lập luận chuỗi suy nghĩ thô mà o1 sử dụng không hiển thị trực tiếp cho người dùng. Dù quyết định này nhằm cho phép giám sát mô hình hiệu quả hơn, nó cũng hạn chế tính minh bạch và có thể ảnh hưởng đến việc người dùng hiểu cách mô hình ra quyết định.

Chưa duyệt web

OpenAI o1-preview không thể duyệt web, nghĩa là thông tin mà nó cung cấp có thể không phải lúc nào cũng cập nhật. Nếu bạn cần dữ liệu theo thời gian thực hoặc sự kiện hiện tại, mô hình sẽ không thể truy xuất trực tiếp.

Thời gian phản hồi dài hơn

Một trong những hạn chế dễ nhận thấy nhất là mô hình mất tương đối nhiều thời gian để xử lý truy vấn phức tạp. Dù thời gian bổ sung này giúp tạo phản hồi sâu sắc hơn, nó có thể gây chậm trễ cho người dùng mong đợi câu trả lời nhanh.

Không phù hợp cho ứng dụng yêu cầu độ trễ thấp

Do thời gian phản hồi chậm hơn, OpenAI o1 không lý tưởng cho các ứng dụng yêu cầu tương tác nhanh, như chatbot thời gian thực hoặc dịch thuật. Trong các trường hợp này, độ trễ có thể dẫn đến trải nghiệm người dùng kém, vì chờ vài giây cho một phản hồi có thể gây khó chịu.

Nếu mô hình được áp dụng trong những tình huống mà thế mạnh của nó không phù hợp với nhiệm vụ, có thể dẫn đến trải nghiệm người dùng tiêu cực. Điều này đặc biệt đúng với các kịch bản đòi hỏi phản hồi nhanh, tức thời, nơi thời gian xử lý chậm hơn của mô hình có thể trở thành trở ngại hơn là lợi thế.

An toàn của OpenAI o1

Các mô hình o1 mới có cách đào tạo an toàn tận dụng khả năng suy luận của chúng để tăng cường an toàn theo ngữ cảnh.

Biện pháp an toàn then chốt là kiểm tra khả năng chống lại các nỗ lực “jailbreaking”, nơi người dùng cố tình vượt qua quy tắc an toàn. Trong một bài kiểm tra jailbreaking khó, GPT-4o đạt 22/100, trong khi mô hình o1-preview mới đạt 84, cho thấy cải thiện đáng kể.

Nỗ lực an toàn được củng cố thông qua kiểm thử nghiêm ngặt, quản trị nội bộ, và hợp tác với chính phủ liên bang. Điều này bao gồm sử dụng Khung Sẵn sàng, red teaming và rà soát ở cấp hội đồng bởi Ủy ban An toàn & An ninh.

Hơn nữa, các quan hệ đối tác với Viện An toàn AI Hoa Kỳ và Vương quốc Anh đã được chính thức hóa, trao cho họ quyền truy cập sớm vào các phiên bản nghiên cứu của mô hình.

Tuy vậy, điều quan trọng là tiếp cận những kết quả ban đầu này với sự lạc quan thận trọng.

Tương lai: Dòng O của OpenAI

Việc giới thiệu OpenAI o1 không chỉ là một mô hình mới mà còn là sự khởi đầu của một dòng mới: dòng O của OpenAI. Điều này báo hiệu sự chuyển dịch có chủ đích trong chiến lược của OpenAI, nhấn mạnh năng lực suy luận phức tạp là trọng tâm cho phát triển AI tương lai.

Những kết quả sớm ấn tượng từ o1 và chế độ o1 pro, đặc biệt là hiệu năng mạnh trên các benchmark đòi hỏi giải quyết vấn đề tinh vi, cho thấy dòng mới này mang nhiều hứa hẹn.

Khi OpenAI tiếp tục tinh chỉnh và mở rộng khả năng của các mô hình dòng o, chúng ta có thể kỳ vọng một tương lai nơi AI đóng vai trò tích cực hơn trong khám phá khoa học, phát triển phần mềm và các lĩnh vực khác đòi hỏi kỹ năng nhận thức cao.

Tuy nhiên, con đường hiện thực hóa đầy đủ tiềm năng của dòng O không hề thiếu thách thức. Bản chất tiêu tốn tài nguyên của các mô hình này và các ràng buộc mở rộng quy mô riêng biệt đòi hỏi tiếp tục nghiên cứu và phát triển.

Kết luận

Trong khi chúng ta háo hức chờ đón GPT-5 trong năm nay, OpenAI đã gây bất ngờ với o1, một mô hình ưu tiên khả năng suy luận phức tạp.

Những thành công ban đầu của o1 trên nhiều benchmark cho thấy tiềm năng giải quyết các vấn đề thách thức trong các lĩnh vực như toán học, lập trình và nghiên cứu khoa học.

Bất chấp các khả năng đầy hứa hẹn, o1 vẫn ở giai đoạn đầu và đối mặt với thách thức, bao gồm tính chất tiêu tốn tài nguyên và nhu cầu nghiên cứu liên tục về an toàn và triển khai đạo đức.