Top 30 câu hỏi phỏng vấn Agentic AI và đáp án cho năm 2026

Câu hỏi phỏng vấn Agentic AI cơ bản

Chúng ta sẽ bắt đầu với một số câu hỏi cơ bản nhằm đưa ra định nghĩa và thiết lập tông cho bài viết. Một vài câu cũng kèm theo mẹo về những gì cần chuẩn bị trước.

Bạn đã làm việc với những ứng dụng AI nào?

Người phỏng vấn muốn nghe về trải nghiệm của bạn theo cách cá nhân và chi tiết. Họ không chỉ tìm một danh sách dự án—vì họ có thể đã thấy trong CV của bạn—mà sẽ đánh giá cách bạn giải thích rõ ràng từng dự án và vai trò cụ thể của bạn trong đó.

Hãy chuẩn bị câu trả lời trước và nắm rõ công việc đã làm. Luyện tập với một người bạn hoặc viết ra giấy có thể giúp bạn sắp xếp ý tưởng.

Bạn có kinh nghiệm với những thư viện, framework và công cụ nào? Bạn đã nghe về những thư viện nào khác?

Tương tự câu hỏi trước, người phỏng vấn muốn nghe nhiều hơn những gì ghi trong CV. Hãy sẵn sàng phân tích từng dự án bạn đã làm và giải thích tất cả công nghệ đã sử dụng.

Lưu ý rằng ở phần này bạn có thể bị hỏi nhiều câu tiếp theo. Nhà tuyển dụng cần hiểu chính xác bộ kỹ năng của bạn. Hãy rà soát hoặc làm quen với các thư viện như LlamaIndex hoặc LangChain, vì đây là những thư viện phát triển cấp cao phổ biến nhất. Ngoài ra, hãy quen thuộc với các nhà cung cấp mô hình như Huggingface hoặc Ollama.

Agentic AI là gì, và nó khác gì so với AI truyền thống?

Agentic AI đề cập đến các hệ thống trí tuệ nhân tạo có thể tự chủ hành động, tự đặt mục tiêu và thích ứng với môi trường thay đổi. Ngược lại, AI truyền thống thường vận hành theo các quy tắc định sẵn, nhận đầu vào và tạo đầu ra.

Về ví dụ, bạn có thể thảo luận các dự án của riêng mình hoặc đề cập đến những ứng dụng agentic AI bạn đã dùng hoặc nghe nói. Để có lời giải thích sâu hơn cho từng mảng, tôi khuyên đọc bài viết sau về agentic AI.

Điều gì khiến bạn hứng thú khi làm việc với agentic AI?

Đây là câu hỏi phổ biến nhằm hiểu động lực và mối quan tâm của bạn. Thường rất mở, câu hỏi cho phép bạn đi theo bất kỳ hướng nào và trò chuyện chân thành với người phỏng vấn.

Hãy chuẩn bị một câu chuyện hay hoặc lời giải thích, thể hiện sự nhiệt tình, cụ thể và cố gắng nói về điều gì đó liên quan đến vị trí. Nếu bạn chưa thể chỉ ra điều cụ thể, hãy thử nói về một sản phẩm bạn dùng và lý do nó thú vị hoặc đáng chú ý.

Bạn có thể đưa ra ví dụ về một ứng dụng agentic AI và nói về các thành phần của nó không?

Ví dụ, hãy nói về xe tự lái. Trước hết, xem xét các mục tiêu xe cần đạt được: xe phải tự lái và định hướng trên đường, xây dựng lộ trình tối ưu, tránh chướng ngại vật và quan trọng nhất là đảm bảo an toàn cho hành khách.

Khi đã đặt mục tiêu, ta có thể xem xét cách cấu trúc ứng dụng. Một mô hình chính có thể chịu trách nhiệm lái xe, nhận đầu vào liên tục hoặc theo yêu cầu từ các mô hình nhỏ hơn xử lý các tác vụ như tối ưu hóa tuyến đường hoặc truy xuất thông tin môi trường.

Trong buổi phỏng vấn, bạn có thể đi sâu vào từng thành phần này. Bạn cũng có thể thoải mái đưa ra ví dụ của riêng mình.

Bạn đã làm việc với những LLM nào đến thời điểm này?

Hãy sẵn sàng thảo luận chi tiết về các mô hình cụ thể bạn đã sử dụng. Nhà tuyển dụng muốn biết bạn hiểu mô hình nội tại đến mức nào. Ví dụ, hãy sẵn sàng nói về các mô hình nguồn mở như Llama hoặc các mô hình GPT độc quyền.

Đây cũng là cơ hội tốt để nhắc đến các mô hình mới và thể hiện bạn luôn cập nhật. Chẳng hạn, bạn có thể nói về Deepseek R1 và các mô hình lập luận khác.

Bạn có kinh nghiệm gì khi dùng LLM qua API?

Câu hỏi này nói về việc sử dụng LLM qua API thay vì cửa sổ chat. Hãy sẵn sàng nói về các dự án nếu chúng dùng API. Hãy ôn lại cách dùng API, tạo và lưu trữ khóa bí mật, theo dõi chi phí và các nhà cung cấp mô hình khác nhau. Đây cũng có thể là chỗ phù hợp để bạn nói về kinh nghiệm kỹ thuật của mình.

Nếu bạn chưa có đủ kinh nghiệm dùng LLM qua API, hãy tham khảo các tài nguyên sau:

• Hướng dẫn API GPT-4.5: Bắt đầu với API của OpenAI
• DeepSeek API: Hướng dẫn kèm ví dụ và tính toán chi phí
• Mistral OCR: Hướng dẫn với ví dụ thực tiễn

Bạn đã dùng các mô hình lập luận chưa?

Với sự xuất hiện của các mô hình lập luận như OpenAI o3 và DeepSeek-R1, nhà tuyển dụng sẽ muốn biết kinh nghiệm và mức độ quen thuộc của bạn với chúng. Điều này vượt ra ngoài việc chỉ chọn một mô hình khác trong ứng dụng hoặc cuộc gọi API, vì các mô hình này tạo ra token tư duy và thường yêu cầu kiểu sử dụng khác.

Bạn có thể gây ấn tượng nếu biết cách tinh chỉnh và chạy cục bộ một mô hình nguồn mở, vì đây có thể là điều công ty bạn đang phỏng vấn cần. Để luyện tập, hãy cân nhắc tinh chỉnh DeepSeek-R1 và chạy cục bộ:

• Tinh chỉnh DeepSeek R1 (Mô hình lập luận)
• Cách thiết lập và chạy DeepSeek-R1 cục bộ với Ollama

Bạn có dùng LLM trong quy trình làm việc hằng ngày không? Nếu có, dùng cho việc gì?

Nếu bạn dùng LLM trong quy trình làm việc, đây có thể là cơ hội để thể hiện chuyên môn. Bạn có thể nói về các công cụ đã dùng, điều bạn thích hoặc không thích ở chúng, và thậm chí là những điều bạn mong đợi. Hãy cân nhắc đề cập các công cụ phổ biến như Cursor, NotebookLM, Lovable, Replit, Claude Artifacts, Manus AI, v.v.

Bạn sử dụng những nguồn nào để cập nhật về agentic AI?

Một số nhà tuyển dụng muốn biết mức độ cập nhật của bạn về AI. Các nguồn bạn có thể đưa vào câu trả lời gồm hội nghị AI, diễn đàn, bản tin, v.v.

Bạn thấy thoải mái đến mức nào khi đọc và hiểu các bài báo và tài liệu?

Đọc tài liệu, bài báo và hướng dẫn là một phần của hầu hết công việc AI. Bạn cũng có thể được hỏi về cách tiếp cận chung để học hoặc tìm thông tin. Nên tránh tạo ấn tượng quá phụ thuộc vào chatbot trong câu trả lời của bạn.

Hãy chuẩn bị nói về một bài báo gần đây bạn đã đọc—ví dụ, bạn có thể nói về kiến trúc Titans của Google.

Câu hỏi phỏng vấn Agentic AI trình độ trung cấp

Giờ khi đã qua phần cơ bản, chúng ta có thể đi sâu hơn một chút và bàn về một số câu hỏi trung cấp có thể được hỏi hoặc hữu ích làm tài liệu tham khảo.

Quan điểm của bạn về đạo đức trong vai trò này và agentic AI nói chung là gì?

Tôi nghĩ đây là câu hỏi khá hiếm, nhưng vẫn đáng để suy ngẫm, thậm chí nói chung chứ không chỉ cho buổi phỏng vấn. Bạn có thể nghĩ về những ý tưởng tiếp giáp với vai trò bạn ứng tuyển hoặc những vấn đề chung như ứng dụng AI đưa ra quyết định ảnh hưởng đến đời sống con người. Câu hỏi này chắc chắn không có đáp án đúng duy nhất và thường chỉ nhằm kiểm tra mức độ bạn quan tâm hay đã suy nghĩ về lĩnh vực.

Những rủi ro bảo mật nào cần cân nhắc khi triển khai tác tử AI tự động?

Có một số mối lo ngại về bảo mật cần lưu ý khi triển khai tác tử AI tự động. Một rủi ro là mô hình có thể truy cập các công cụ nội bộ hoặc cơ sở dữ liệu nhạy cảm. Nếu mô hình không được sandbox hoặc phân quyền đúng cách, người dùng độc hại có thể sử dụng prompt injection hoặc đầu vào adversarial để trích xuất dữ liệu riêng tư hoặc kích hoạt các hành động ngoài ý muốn.

Một rủi ro khác liên quan đến việc thao túng hành vi mô hình thông qua prompt được thiết kế kỹ hoặc đầu vào bên ngoài. Kẻ tấn công có thể khiến mô hình bỏ qua ràng buộc an toàn, leo thang đặc quyền hoặc hành xử lệch khỏi chức năng dự định.

Cũng có khả năng xảy ra tấn công kiểu từ chối dịch vụ—nơi mô hình bị quá tải yêu cầu hoặc bị đánh lừa để tự dừng hoạt động. Nếu một tác tử kiểm soát hạ tầng quan trọng hoặc quy trình tự động, điều này có thể dẫn đến gián đoạn lớn hơn.

Để giảm thiểu rủi ro, cần áp dụng các nguyên tắc từ bảo mật phần mềm truyền thống: đặc quyền tối thiểu, kiểm tra đầu vào nghiêm ngặt, giám sát, giới hạn tốc độ và red-team liên tục đối với hành vi của tác tử.

Theo bạn, những công việc nào của con người sắp tới sẽ được thay thế bởi ứng dụng agentic AI và vì sao?

Người phỏng vấn có thể hỏi để hiểu mức độ nắm bắt khả năng của agentic AI ở hiện tại của bạn. Họ không chỉ cần danh sách, mà muốn một phần giải thích có suy nghĩ.

Ví dụ, cá nhân tôi không nghĩ bác sĩ sẽ sớm bị thay thế—đặc biệt là những người có quyết định ảnh hưởng trực tiếp đến tính mạng con người—và điều đó liên quan đến đạo đức. Có rất nhiều điều để khám phá ở đây, và bạn thậm chí có thể bàn luận việc thay thế một số công việc bằng AI là tốt hay xấu.

Bạn có thể mô tả một số thách thức bạn đã gặp khi làm việc trên một ứng dụng AI không?

Dù đây là câu hỏi về “bạn”, tôi đưa vào phần trung cấp vì nó khá phổ biến và người phỏng vấn thường đánh giá cao. Bạn nhất định cần có ví dụ vững vàng đã chuẩn bị—đừng cố nghĩ ra ngay tại chỗ.

Nếu bạn chưa gặp thách thức lớn nào, hãy ít nhất nói về một tình huống giả định và cách bạn sẽ xử lý.

Câu hỏi phỏng vấn Agentic AI nâng cao

Cuối cùng, hãy bàn về một số câu hỏi nâng cao và kỹ thuật hơn. Tôi sẽ cố gắng giữ ở mức tổng quát nhất có thể, dù trong phỏng vấn thực tế, câu hỏi có thể cụ thể hơn. Ví dụ, thay vì hỏi chung về indexing, bạn có thể được hỏi về các phương pháp indexing mà Langchain hoặc Llama-Index hỗ trợ.

Sự khác nhau giữa system prompt và user prompt là gì?

System prompt và user prompt đều là đầu vào cho mô hình ngôn ngữ, nhưng chúng đóng vai trò khác nhau và thường có mức độ ảnh hưởng khác nhau.

System prompt là chỉ dẫn ẩn thiết lập hành vi tổng thể hoặc persona của mô hình. Nó không hiển thị trực tiếp cho người dùng trong cuộc trò chuyện, nhưng đóng vai trò nền tảng. Ví dụ, system prompt có thể yêu cầu mô hình hành xử như một trợ lý hữu ích, một nhà toán học hoặc một người lập kế hoạch du lịch. Nó định nghĩa giọng điệu, phong cách và ràng buộc cho tương tác.

Ngược lại, user prompt là đầu vào người dùng gõ trực tiếp—như một câu hỏi hoặc yêu cầu. Đây là thứ mô hình phản hồi theo thời gian thực.

Trong nhiều thiết lập, system prompt có trọng số lớn hơn, giúp duy trì hành vi nhất quán qua các phiên, trong khi user prompt định hướng nội dung cụ thể của từng phản hồi.

Bạn lập trình hệ thống agentic AI để ưu tiên khi có các mục tiêu hay tác vụ cạnh tranh như thế nào?

Các hệ thống agentic AI thường được lập trình bằng cách xác định mục tiêu rõ ràng, gán công cụ phù hợp và cấu trúc logic quyết định cách tác tử ưu tiên tác vụ khi mục tiêu xung đột. Điều này thường bao gồm kết hợp prompt, gọi hàm và logic điều phối—đôi khi trải rộng qua nhiều mô hình hoặc hệ thống con.

Một cách tiếp cận là xác định hệ phân cấp mục tiêu và gán trọng số hoặc quy tắc hướng dẫn tác tử chọn tác vụ theo đuổi khi xảy ra xung đột. Một số hệ thống cũng dùng thành phần lập kế hoạch hoặc các bước suy luận trung gian (như vòng phản tư hoặc sổ tay nháp) để đánh giá đánh đổi trước khi hành động.

Nếu bạn mới bắt đầu, tôi khuyên đọc bài viết của Anthropic về các mẫu thiết kế tác tử. Bài viết đưa ra ví dụ cụ thể và kiến trúc thường dùng trong hệ thống thực tế. Nhiều khái niệm sẽ quen thuộc nếu bạn có nền tảng kỹ nghệ phần mềm, đặc biệt về thiết kế mô-đun, quản lý trạng thái và thực thi tác vụ bất đồng bộ.

Bạn thoải mái đến mức nào với việc prompting và prompt engineering? Bạn đã nghe hoặc dùng những cách tiếp cận nào?

Prompt engineering là thành phần lớn của hệ thống agentic AI, nhưng cũng là chủ đề thường bị định kiến—vì vậy quan trọng là tránh các phát biểu mơ hồ về tầm quan trọng của nó và thay vào đó tập trung vào chi tiết kỹ thuật cách bạn áp dụng.

Đây là điều tôi cho là một câu trả lời tốt:

Tôi khá thoải mái với prompting và prompt engineering, và tôi đã dùng một số kỹ thuật trong cả công việc dự án lẫn tác vụ hằng ngày. Ví dụ, tôi thường xuyên dùng few-shot prompting để hướng mô hình theo định dạng hoặc giọng điệu cụ thể bằng cách cung cấp ví dụ. Tôi cũng dùng chain-of-thought prompting khi cần mô hình suy luận từng bước—đặc biệt hữu ích cho các tác vụ như viết mã, câu đố logic hoặc lập kế hoạch.

Trong các ứng dụng có cấu trúc hơn, tôi đã thử nghiệm prompt tuning và prompt compression, nhất là khi làm việc với API tính phí theo số token hoặc yêu cầu kiểm soát chặt chẽ đầu ra. Các kỹ thuật này chưng cất prompt xuống các thành phần cốt lõi nhất trong khi vẫn giữ được ý định và hiệu năng.

Vì lĩnh vực phát triển nhanh, tôi có thói quen đọc các bài báo mới, repo GitHub và cập nhật tài liệu—theo kịp các kỹ thuật như function calling, truy xuất-tăng cường prompting, và prompt chaining dạng mô-đun.

Context window là gì? Vì sao kích thước của nó bị giới hạn?

Context window đề cập đến lượng thông tin tối đa—tính bằng token—mà mô hình ngôn ngữ có thể xử lý cùng lúc. Điều này bao gồm prompt hiện tại, mọi lịch sử hội thoại trước đó và chỉ dẫn ở cấp hệ thống. Khi đạt giới hạn context window, các token cũ hơn có thể bị cắt bớt hoặc bỏ qua.

Lý do context window bị giới hạn là do ràng buộc tính toán và kiến trúc. Trong các mô hình dựa trên transformer, cơ chế attention yêu cầu tính toán mối liên hệ giữa mọi token trong ngữ cảnh, điều này tăng theo bậc hai với số lượng token. Điều này khiến việc xử lý ngữ cảnh rất dài trở nên tốn kém và chậm, đặc biệt trên phần cứng hiện tại. Các mô hình trước đây như RNN không có giới hạn ngữ cảnh nghiêm ngặt theo cách này, nhưng lại khó giữ được phụ thuộc dài hạn hiệu quả.

Retrieval-augmented generation (RAG) là gì?

Retrieval-augmented generation (RAG) là kỹ thuật cải thiện mô hình ngôn ngữ bằng cách cho phép chúng truy xuất thông tin liên quan từ nguồn bên ngoài trước khi tạo phản hồi. Thay vì chỉ dựa vào những gì học được khi huấn luyện, hệ thống RAG có thể truy cập dữ liệu cập nhật hoặc theo lĩnh vực khi suy luận.

Một thiết lập RAG điển hình có hai thành phần chính: retriever, thành phần tìm kiếm trong cơ sở dữ liệu hoặc tập tài liệu để lấy ngữ cảnh liên quan dựa trên truy vấn đầu vào, và generator, thành phần sử dụng thông tin đã truy xuất để tạo phản hồi chính xác và có thông tin hơn. Cách tiếp cận này đặc biệt hữu ích cho các tác vụ yêu cầu độ chính xác thực tế, bộ nhớ dài hạn hoặc kiến thức theo lĩnh vực.

Ngoài transformer, bạn đã nghe về những kiến trúc LLM nào khác?

Dù transformer là kiến trúc thống trị hiện nay, vẫn có một số loại mô hình khác đáng biết. Chẳng hạn, xLSTM phát triển trên kiến trúc LSTM với những cải tiến giúp nâng cao hiệu năng trên chuỗi dài trong khi vẫn hiệu quả.

Mamba là một kiến trúc đầy hứa hẹn khác—nó sử dụng mô hình không gian trạng thái chọn lọc để xử lý ngữ cảnh dài hiệu quả hơn transformer, đặc biệt cho các tác vụ không cần attention toàn bộ trên mọi token.

Kiến trúc Titans của Google cũng đáng để tìm hiểu. Nó được thiết kế để khắc phục một số hạn chế then chốt của transformer, như thiếu bộ nhớ bền vững và chi phí tính toán cao.

Các kiến trúc thay thế này nhằm giúp mô hình hiệu quả hơn, có khả năng mở rộng và xử lý đầu vào dài hơn hoặc phức tạp hơn mà không cần tài nguyên phần cứng khổng lồ.

Tool use và function calling trong LLM là gì?

Tool và function calling cho phép mô hình ngôn ngữ lớn tương tác với các hệ thống bên ngoài, như API, cơ sở dữ liệu hoặc hàm tùy chỉnh. Thay vì chỉ dựa vào kiến thức tiền huấn luyện, mô hình có thể nhận biết khi nào một tác vụ cần thông tin cập nhật hoặc chuyên biệt và phản hồi bằng cách gọi công cụ phù hợp.

Ví dụ, nếu bạn hỏi một mô hình có quyền truy cập API thời tiết: “Thời tiết ở London thế nào?”, nó có thể quyết định gọi API đó ở hậu trường và trả về dữ liệu thời gian thực thay vì tạo câu trả lời chung chung hoặc lỗi thời. Cách tiếp cận này giúp mô hình hữu ích và đáng tin cậy hơn, đặc biệt cho các tác vụ liên quan đến dữ liệu trực tiếp, tính toán hoặc hành động ngoài khả năng nội tại của mô hình.

Chain-of-thought (CoT) là gì và vì sao nó quan trọng trong ứng dụng agentic AI?

Chain-of-thought (CoT) là kỹ thuật prompting giúp mô hình ngôn ngữ phân rã vấn đề phức tạp thành suy luận từng bước trước khi đưa ra câu trả lời cuối. Nó cho phép mô hình tạo các bước suy luận trung gian, giúp cải thiện độ chính xác và tính minh bạch, đặc biệt với các tác vụ liên quan đến logic, toán học hoặc ra quyết định nhiều bước.

CoT được dùng rộng rãi trong hệ thống agentic AI. Ví dụ, khi mô hình đóng vai trò giám khảo trong đánh giá, bạn có thể prompt để nó giải thích câu trả lời từng bước nhằm hiểu rõ hơn quá trình quyết định. CoT cũng là kỹ thuật cốt lõi trong các mô hình tập trung vào lập luận như OpenAI o1, nơi mô hình trước tiên tạo token suy luận rồi mới dùng chúng để tạo đầu ra cuối. Quy trình tư duy có cấu trúc này giúp hành vi tác tử dễ diễn giải và đáng tin cậy hơn.

Tracing là gì? Span là gì?

Tracing là quá trình ghi lại và trực quan hóa chuỗi sự kiện xảy ra trong một lần chạy hoặc gọi của ứng dụng. Trong bối cảnh ứng dụng LLM, một trace ghi lại toàn bộ dòng thời gian tương tác—như nhiều lần gọi mô hình, sử dụng công cụ hoặc điểm ra quyết định—trong một luồng thực thi.

Span là một sự kiện hoặc thao tác đơn lẻ trong trace đó. Ví dụ, một lần gọi mô hình, gọi hàm hoặc bước truy xuất sẽ được ghi lại như các span riêng biệt. Tập hợp các span giúp bạn hiểu cấu trúc và hành vi của ứng dụng.

Tracing và span rất quan trọng để gỡ lỗi và tối ưu hệ thống tác tử. Chúng giúp dễ dàng phát hiện lỗi, nút thắt độ trễ hoặc hành vi ngoài ý muốn. Các công cụ như Arize Phoenix và những công cụ khác cung cấp giao diện trực quan để kiểm tra chi tiết trace và span.

Evals là gì? Bạn đánh giá hiệu năng và độ vững của hệ thống agentic AI như thế nào?

Evals về bản chất là các bài kiểm thử đơn vị của kỹ thuật agentic AI. Chúng cho phép nhà phát triển đánh giá hệ thống hoạt động tốt ra sao trên các kịch bản và trường hợp biên khác nhau. Có một số loại evals phổ biến hiện nay. Một cách tiếp cận là dùng bộ dữ liệu ground-truth được biên soạn thủ công để so sánh đầu ra mô hình với đáp án đúng đã biết.

Một cách khác là dùng LLM làm giám khảo để đánh giá chất lượng, độ chính xác hoặc lập luận đằng sau phản hồi của mô hình. Một số evals kiểm tra mức độ hoàn thành tác vụ tổng thể, trong khi số khác tập trung vào thành phần riêng lẻ như sử dụng công cụ, lập kế hoạch hoặc tính nhất quán. Chạy các bài này thường xuyên giúp phát hiện thoái hóa, đo lường cải tiến và đảm bảo hệ thống vẫn đáng tin khi phát triển. Để tìm hiểu sâu hơn, tôi khuyên xem hướng dẫn đánh giá LLM này.

Bạn có thể nói về kiến trúc transformer và tầm quan trọng của nó đối với agentic AI?

Kiến trúc transformer được giới thiệu trong bài báo có ảnh hưởng năm 2017 “Attention Is All You Need.” Nếu bạn chưa đọc, rất đáng để xem qua—nó đặt nền tảng cho gần như mọi mô hình ngôn ngữ lớn hiện đại.

Kể từ khi ra mắt, nhiều biến thể và cải tiến đã được phát triển, nhưng hầu hết các mô hình dùng trong hệ thống agentic AI vẫn dựa trên một dạng transformer nào đó.

Một ưu điểm then chốt của transformer là cơ chế attention, cho phép mô hình tính mức độ liên quan của từng token trong chuỗi đầu vào với mọi token khác, miễn là tất cả nằm trong context window. Điều này giúp đạt hiệu năng mạnh trên các tác vụ cần hiểu phụ thuộc dài hạn hoặc suy luận trên nhiều đầu vào.

Riêng với agentic AI, tính linh hoạt và khả năng song song của transformer khiến nó phù hợp để xử lý các tác vụ phức tạp như dùng công cụ, lập kế hoạch và đối thoại nhiều lượt—những hành vi cốt lõi trong hầu hết hệ thống agentic ngày nay.

LLM observability là gì và vì sao nó quan trọng?

LLM observability đề cập đến khả năng giám sát, phân tích và hiểu hành vi của hệ thống mô hình ngôn ngữ lớn theo thời gian thực. Đây là thuật ngữ bao trùm các công cụ như trace, span và evals, giúp nhà phát triển có tầm nhìn vào cách hệ thống vận hành bên trong.

Vì LLM thường được coi là “hộp đen”, observability là thiết yếu để gỡ lỗi, cải thiện hiệu năng và đảm bảo độ tin cậy. Nó cho phép bạn lần theo cách các mô hình tương tác với nhau và với công cụ bên ngoài, xác định điểm lỗi và phát hiện hành vi bất ngờ sớm. Trong hệ thống agentic AI, nơi nhiều bước và quyết định được xâu chuỗi, observability đặc biệt quan trọng để duy trì niềm tin và kiểm soát.

Bạn có thể giải thích model fine-tuning và model distillation không?

Model fine-tuning là quá trình lấy một mô hình đã tiền huấn luyện và tiếp tục huấn luyện trên tập dữ liệu mới, thường để chuyên biệt hóa cho một lĩnh vực hoặc tác vụ cụ thể. Điều này cho phép mô hình điều chỉnh hành vi và phản hồi dựa trên kiến thức tập trung hơn hoặc cập nhật hơn.

Model distillation là kỹ thuật liên quan, trong đó một mô hình nhỏ hơn hoặc kém năng lực hơn được huấn luyện trên đầu ra của mô hình lớn hơn, mạnh hơn. Mục tiêu là chuyển giao kiến thức và hành vi từ mô hình lớn sang mô hình nhỏ, thường cho ra các mô hình nhanh và hiệu quả hơn với hiệu năng tương đương. Ví dụ, kể từ khi Deepseek R1 ra mắt, nhiều mô hình nhỏ đã được distill từ phản hồi của nó và đạt chất lượng ấn tượng so với kích thước.

Nhiệm vụ dự đoán token tiếp theo là gì và vì sao nó quan trọng? Assistant models là gì?

Dự đoán token tiếp theo, còn gọi là mô hình hóa ngôn ngữ tự hồi quy, là nhiệm vụ huấn luyện cốt lõi đằng sau hầu hết mô hình ngôn ngữ lớn. Mô hình được huấn luyện để dự đoán token kế tiếp trong chuỗi dựa trên tất cả token trước đó. Mục tiêu đơn giản này giúp mô hình học ngữ pháp, sự kiện, mẫu lập luận và thậm chí một số khả năng lập kế hoạch. Kết quả của giai đoạn huấn luyện ban đầu này được gọi là base model.

Assistant models là các base model đã được tinh chỉnh thêm để hành xử hữu ích, an toàn hoặc dễ trò chuyện hơn. Việc tinh chỉnh này thường bao gồm các kỹ thuật như huấn luyện có giám sát theo hướng dẫn và học tăng cường với phản hồi từ con người (RLHF), hướng mô hình phản hồi giống một trợ lý hơn là chỉ hoàn thành văn bản.

Cách tiếp cận human-in-the-loop (HITL) là gì?

Cách tiếp cận human-in-the-loop (HITL) đề cập đến việc đưa con người tham gia vào quá trình huấn luyện, đánh giá hoặc sử dụng thời gian thực của hệ thống LLM hoặc agentic AI. Sự can thiệp của con người có thể diễn ra ở nhiều giai đoạn—trong quá trình huấn luyện mô hình (ví dụ gán nhãn dữ liệu, xếp hạng phản hồi), trong tinh chỉnh (như RLHF), hoặc thậm chí trong khi thực thi, khi con người có thể định hướng hoặc phê duyệt hành động của tác tử.

Ví dụ, nếu một chatbot yêu cầu bạn chọn câu trả lời tốt hơn trong hai câu, bạn đang tham gia trực tiếp vào quy trình HITL. Cách tiếp cận này giúp cải thiện chất lượng, an toàn và mức độ phù hợp của mô hình bằng cách đưa phán đoán của con người vào nơi tự động hóa thuần túy có thể chưa đủ.

Kết luận

Trong bài viết này, chúng ta đã đề cập một loạt câu hỏi có thể xuất hiện trong phỏng vấn agentic AI, kèm theo chiến lược để suy nghĩ, nghiên cứu và trả lời hiệu quả. Để học sâu hơn, tôi khuyên bạn khám phá các tài liệu tham khảo được nhắc đến xuyên suốt bài viết và xem thêm các khóa học AI của DataCamp để học có cấu trúc hơn.