SAM 2: Bắt đầu với Segment Anything Model 2 của Meta

Meta gần đây đã giới thiệu một bước tiến thú vị trong lĩnh vực AI: Segment Anything Model 2 (SAM 2).

Công cụ này giúp việc chọn đối tượng trong chỉnh sửa hình ảnh và video trở nên nhẹ nhàng, chỉ với một cú nhấp hoặc vài nét vẽ. SAM 2 có thể tách riêng và theo dõi đối tượng một cách dễ dàng với độ chính xác vượt trội.

Nhưng SAM 2 không chỉ dành cho nhà thiết kế. Được phát triển bởi Meta AI, mô hình tiên tiến này hứa hẹn sẽ tác động đến nhiều ngành, từ tái định nghĩa chẩn đoán hình ảnh y tế đến nâng cao khả năng của xe tự hành.

Trong bài viết này, chúng ta sẽ tìm hiểu SAM 2 là gì, nó khác gì so với người tiền nhiệm là Segment Anything Model (SAM) bản gốc, và những tính năng then chốt tạo nên sự khác biệt. Chúng ta cũng sẽ bàn về các ứng dụng tiềm năng trong nhiều lĩnh vực và cách bạn có thể bắt đầu sử dụng.

Video này minh họa việc ứng dụng SAM 2 cho phân đoạn video, cho thấy khả năng theo dõi và phân đoạn chính xác đối tượng qua nhiều khung hình. SAM 2 duy trì tính nhất quán trong phân đoạn, ngay cả trong các tình huống thách thức như bị che khuất hoặc chuyển động nhanh.

Hãy cùng khám phá cách SAM 2 mở rộng khả năng của thị giác máy tính và thiết lập những tiêu chuẩn mới cho những gì có thể đạt được.

SAM 2 là gì?

SAM 2 (Segment Anything Model 2) là bước tiến mới nhất của Meta AI trong công nghệ thị giác máy tính. Nó kế thừa nền tảng từ SAM bản gốc, cung cấp năng lực phân đoạn hình ảnh và video được cải thiện.

Về bản chất, SAM 2 có thể tạo ra các mặt nạ phân đoạn chính xác, giúp nhận diện và tách các đối tượng trong một hình ảnh hoặc video.

Hãy tưởng tượng bạn có một bức ảnh phức tạp với nhiều đối tượng, và bạn cần chọn một đối tượng cụ thể để chỉnh sửa tiếp. Trước đây, bạn phải cẩn thận vẽ theo đường viền của đối tượng, từng điểm ảnh, rất tốn thời gian và dễ nản. SAM 2 đơn giản hóa quá trình này bằng cách cho phép bạn tự động tạo mặt nạ phân đoạn chính xác, ngay cả trong các cảnh lộn xộn.

Nếu bạn muốn chỉnh sửa một video có nhân vật di chuyển và cần giữ họ luôn trong tiêu điểm suốt cảnh quay, với SAM 2, bạn có thể dễ dàng theo dõi chuyển động của nhân vật, ngay cả khi họ tạm thời biến mất hoặc thay đổi hình dạng.

Một ví dụ khác về khả năng của SAM 2 trong việc duy trì tiêu điểm và theo dõi chính xác chuyển động của nhân vật, ngay cả khi nhân vật biến mất hoặc thay đổi hình dạng, thể hiện độ bền vững của mô hình khi xử lý các kịch bản chỉnh sửa video phức tạp.

SAM 2 so với SAM

Dù mô hình SAM ban đầu đã ấn tượng, SAM 2 đưa mọi thứ lên tầm cao mới với một số cải tiến quan trọng.

Tính năng	SAM	SAM2
Khả năng phân đoạn	Chỉ hình ảnh	Hình ảnh và video
Phân đoạn video	Không hỗ trợ	Phân đoạn video thời gian thực có bộ nhớ
Độ chính xác và tốc độ	Mức cơ bản	Cải thiện độ chính xác và nhanh hơn 6 lần cho phân đoạn ảnh
Kiến trúc	Mô hình riêng cho từng tác vụ	Mô hình thống nhất cho phân đoạn ảnh và video
Mã nguồn mở	Có	Có

Phân đoạn video

SAM 2 giới thiệu khả năng phân đoạn đối tượng trong video, một bước tiến quan trọng so với phiên bản trước.

Khả năng này đạt được nhờ mô-đun bộ nhớ theo phiên, giúp theo dõi đối tượng mục tiêu qua các khung hình. Bộ nhớ này được lưu trong một "kho bộ nhớ", nơi giữ lại các bản đồ đặc trưng không gian và thông tin ngữ nghĩa về đối tượng.

Các bản đồ và thông tin này được cơ chế chú ý của mô hình sử dụng—đặc biệt là self-attention và cross-attention—để so sánh đặc trưng của khung hình hiện tại với các khung trước đó.

Hiệu năng cải thiện

SAM 2 xử lý khung hình video theo thời gian thực ở khoảng 44 khung/giây, phù hợp cho ứng dụng video trực tiếp và chỉnh sửa tương tác. Đây là bước nhảy lớn về tốc độ và độ chính xác, cho phép SAM 2 xử lý các tác vụ phức tạp với độ chuẩn xác cao.

Nhắc lệnh tinh chỉnh

SAM 2 hỗ trợ các kỹ thuật nhắc lệnh nâng cao hơn, bao gồm việc dùng mặt nạ làm đầu vào. Chức năng mở rộng này giúp xác định các vùng quan tâm cụ thể với độ chính xác cao hơn, cải thiện khả năng xử lý các cảnh phức tạp có nhiều đối tượng chồng chéo.

Phân đoạn tương tác

Với SAM 2, bạn có thể điều chỉnh kết quả phân đoạn theo thời gian thực bằng cách cung cấp nhắc lệnh trên bất kỳ khung hình nào. Tính tương tác này cho phép tinh chỉnh lặp, đặc biệt hữu ích trong các quy trình đòi hỏi độ chính xác cao, như hậu kỳ chỉnh sửa video.

Ứng dụng của SAM 2

SAM 2 không chỉ dành cho các chỉnh sửa ảnh hoặc video cơ bản—các tính năng mạnh mẽ của nó có thể được dùng trong nhiều lĩnh vực khác nhau như nghệ thuật số, chăm sóc sức khỏe hay xe tự hành.

Ngành sáng tạo

SAM 2 có thể thay đổi cách chỉnh sửa ảnh và video bằng cách đơn giản hóa các tác vụ như xóa đối tượng, thay nền và trộn ghép nâng cao.

Ví dụ, việc tạo một phong cảnh siêu thực bằng cách kết hợp các thành phần từ nhiều nguồn trở nên đơn giản với SAM 2, biến các chỉnh sửa phức tạp thành gần như nhẹ nhàng.

Vượt ra ngoài chỉnh sửa truyền thống, SAM 2 còn rất hiệu quả trong AI tạo sinh, cung cấp khả năng kiểm soát chính xác các thành phần trong hình ảnh và video được tạo. Tính năng này khơi gợi những ý tưởng mới trong sáng tạo nội dung, giúp tạo ra kết quả độc đáo và cá nhân hóa dễ dàng hơn.

Thêm vào đó, việc tích hợp SAM 2 vào các nền tảng mạng xã hội như Instagram có thể cho phép phát triển các bộ lọc hoặc hiệu ứng mới thích ứng theo đối tượng và cảnh theo thời gian thực, tăng cường mức độ tương tác và sáng tạo của người dùng.

Khoa học và nghiên cứu

Trong chẩn đoán hình ảnh y khoa, SAM 2 có thể đóng vai trò quan trọng trong việc xác định và tách chính xác các bộ phận cơ thể trên ảnh quét.

Các nhà khoa học cũng có thể dùng SAM 2 để theo dõi sát sao kích thước khối u thay đổi khi thử nghiệm thuốc mới, giúp có kết quả chính xác hơn và hiểu rõ hơn về hiệu quả điều trị.

Nhưng SAM 2 không chỉ hữu ích trong y học. Nó còn giúp ích cho các lĩnh vực khoa học khác như nghiên cứu môi trường. Chẳng hạn, nó có thể phân tích chính xác ảnh vệ tinh để theo dõi nạn phá rừng, băng tan hoặc sự thay đổi của đô thị theo thời gian. Điều này biến SAM 2 thành công cụ tuyệt vời cho các nhà nghiên cứu cần dữ liệu hình ảnh có độ chính xác cao.

Hệ thống tự động

Ngành ô tô sẽ hưởng lợi lớn từ khả năng phân đoạn đối tượng theo thời gian thực và chính xác của SAM 2. Bằng cách cải thiện hệ thống nhận thức của xe tự hành, SAM 2 có thể hỗ trợ nhận diện và theo dõi chính xác người đi bộ, phương tiện khác và chướng ngại vật, điều tối quan trọng để điều hướng an toàn trong môi trường lái xe phức tạp.

Hãy tưởng tượng một chiếc xe tự lái di chuyển qua một thành phố nhộn nhịp. Phân đoạn nâng cao của SAM 2 đảm bảo phương tiện có thể phát hiện và phản ứng chính xác với các nguy hiểm tiềm ẩn, cải thiện đáng kể an toàn trên đường. Khả năng này nâng cao độ tin cậy của xe tự hành và góp phần thúc đẩy việc ứng dụng rộng rãi công nghệ lái xe tự động.

Thực tế tăng cường

SAM 2 có tiềm năng lớn trong thực tế tăng cường (AR). Với khả năng theo dõi đối tượng chính xác theo thời gian thực, các yếu tố ảo có thể hòa trộn mượt mà với thế giới thực, tạo nên trải nghiệm AR chân thực hơn. Công nghệ này có thể nâng cấp mạnh mẽ các ứng dụng AR trong trò chơi, giáo dục, và thậm chí làm việc từ xa, mang đến công cụ tương tác và phản hồi tốt hơn cho người dùng.

Gán nhãn dữ liệu và huấn luyện mô hình AI

Một ứng dụng quan trọng khác của SAM 2 là tạo bộ dữ liệu đã gán nhãn (gồm hình ảnh và video). SAM 2 tự động hóa quá trình phân đoạn trên các tập dữ liệu lớn, giảm đáng kể thời gian và công sức thủ công. Điều này tăng tốc phát triển AI và cải thiện chất lượng dữ liệu huấn luyện, từ đó tạo ra các mô hình mạnh mẽ và chính xác hơn.

SAM2: Cách thức hoạt động?

Hãy cùng xem SAM 2 vận hành như thế nào phía sau hậu trường.

SAM 2 được xây dựng dựa trên một kiến trúc tinh vi gồm ba thành phần cốt lõi: bộ mã hóa ảnh, bộ mã hóa nhắc lệnh linh hoạt và bộ giải mã mặt nạ tốc độ cao. Các thành phần này phối hợp để xử lý hiệu quả cả hình ảnh và video.

Bộ mã hóa ảnh: Sử dụng kiến trúc phân cấp cho phép nắm bắt đặc trưng đa tỷ lệ từ các khung hình video, nhận diện cả các mẫu tổng quan lẫn chi tiết tinh vi.
Bộ mã hóa nhắc lệnh: Kết hợp cơ chế self-attention và cross-attention để tinh chỉnh phân đoạn dựa trên đầu vào của người dùng, như nhấp chuột hoặc mặt nạ.
Bộ giải mã mặt nạ: Xử lý nhanh thông tin từ các bộ mã hóa để tạo mặt nạ phân đoạn chất lượng cao theo thời gian thực, ngay cả với những cảnh phức tạp.

Chú ý bộ nhớ và hiểu biết không-thời gian

Một điểm nổi bật của SAM 2 là việc sử dụng mô-đun chú ý bộ nhớ, then chốt cho phân đoạn video. Mô-đun này cho phép mô hình ghi nhớ và sử dụng thông tin từ các khung trước, nâng cao khả năng theo dõi đối tượng nhất quán xuyên suốt video.

Để hiểu rõ hơn, hãy xem kiến trúc SAM ban đầu:

SAM 2 mở rộng kiến trúc SAM từ ảnh tĩnh sang video, cho phép phân đoạn đối tượng qua các khung hình. Nó sử dụng nhiều loại nhắc lệnh như nhấp chuột hoặc hộp giới hạn để xác định phạm vi đối tượng trong một khung. Một bộ giải mã mặt nạ gọn nhẹ xử lý các nhắc lệnh và embedding ảnh để tạo mặt nạ phân đoạn, sau đó được lan truyền qua tất cả các khung hình nhằm tạo thành một "masklet".

Hệ thống bao gồm cơ chế bộ nhớ với bộ mã hóa bộ nhớ, kho và mô-đun chú ý, cho phép lưu trữ và sử dụng thông tin về đối tượng và tương tác của người dùng để cải thiện dự đoán mặt nạ ở các khung tiếp theo.

Bộ mã hóa bộ nhớ cập nhật kho bộ nhớ với dự đoán mặt nạ của mỗi khung, giúp SAM 2 tinh chỉnh dự đoán khi xử lý thêm nhiều khung. Kiến trúc được thiết kế để xử lý video luồng thời gian thực hiệu quả, phù hợp cho các ứng dụng như robot và gán nhãn tập dữ liệu.

SAM 2 cũng hoạt động với ảnh bằng cách coi chúng như một video một khung. Ở chế độ này, cơ chế bộ nhớ bị vô hiệu hóa. Khi xử lý ảnh, SAM 2 tạo các mặt nạ phân đoạn mà không sử dụng các thành phần bộ nhớ, xử lý hiệu quả tác vụ như một trường hợp đơn giản chỉ xét khung hiện tại (ảnh).

Hiệu năng theo thời gian thực

Nhờ kiến trúc tối ưu và kỹ thuật xử lý hiệu quả, SAM 2 có thể vận hành ở khoảng 44 khung/giây. Khả năng thời gian thực này giúp nó phù hợp với nhiều ứng dụng, từ chỉnh sửa video trực tiếp đến hệ thống AI tương tác.

Dữ liệu huấn luyện

SAM 2 được huấn luyện trên một bộ dữ liệu rộng lớn và đa dạng, bao gồm bộ SA-V mới với hơn 600.000 chú thích masklet trên 51.000 video. Bộ dữ liệu lớn và đa dạng này giúp SAM 2 tổng quát hóa trên nhiều kịch bản, từ đối tượng đời thường đến các lĩnh vực chuyên biệt cao.

Hạn chế của SAM 2

Mặc dù SAM 2 rất tiên tiến, nó không phải không có hạn chế.

SAM 2, dù hiệu quả trong phân đoạn đối tượng ở ảnh và video ngắn, vẫn gặp khó trong các tình huống thách thức. Nó có thể chật vật khi theo dõi đối tượng qua thay đổi góc nhìn lớn, che khuất kéo dài, cảnh đông đúc hoặc video dài. Để khắc phục, mô hình cho phép chỉnh sửa thủ công qua các nhắc lệnh tương tác.

Trong các cảnh đông đúc, SAM 2 có thể nhầm lẫn những đối tượng trông giống nhau, nhất là khi đối tượng mục tiêu chỉ được chỉ định ở một khung. Tuy nhiên, thêm nhắc lệnh ở các khung tiếp theo có thể giúp sửa lỗi.

Hiệu quả của mô hình giảm khi phân đoạn đồng thời nhiều đối tượng, vì nó xử lý từng đối tượng riêng rẽ mà không có trao đổi liên-đối tượng. Ngoài ra, SAM 2 có thể bỏ lỡ chi tiết nhỏ ở các đối tượng chuyển động nhanh, và dự đoán có thể thiếu ổn định qua các khung do không áp đặt tính trơn tru theo thời gian.

Mặc dù SAM 2 đã có khả năng tạo masklet tự động nâng cao, vẫn cần người gán nhãn để kiểm tra chất lượng mặt nạ và xác định các khung cần chỉnh. Cần thêm tự động hóa và cải tiến, và các nhà phát triển khuyến khích cộng đồng AI tiếp tục xây dựng trên SAM 2 để thúc đẩy nghiên cứu và tạo ứng dụng mới.

SAM2: Tôi có thể tải về hoặc truy cập SAM 2 ở đâu?

Để tải trọng số mô hình và mã nguồn, hãy truy cập trang web Meta AI. SAM 2 được phát hành theo giấy phép Apache 2.0, là mã nguồn mở và sẵn sàng cho nhà phát triển và nhà nghiên cứu. Bạn có thể tải mô hình và mã nguồn tại đây.

Tuy nhiên, nếu bạn muốn dùng thử SAM2, bạn có thể thử bản demo tương tác tại đây.

Tôi đã thử SAM 2 trên một video trong kỳ nghỉ gần đây ở Venice. Bạn có thể dùng chính video của mình để dễ dàng chọn và theo dõi đối tượng xuyên suốt cảnh quay.

SAM 2: Tài nguyên bổ sung

Để hiểu sâu hơn về kiến trúc mô hình, quy trình huấn luyện và các ứng dụng, bạn có thể truy cập bài báo nghiên cứu chính thức. Bài báo cung cấp những góc nhìn chi tiết về các đổi mới đứng sau SAM 2.

Nếu bạn muốn đào sâu hơn vào SAM 2, có rất nhiều tài nguyên để hỗ trợ. Bạn có thể tìm tài liệu chính thức, hướng dẫn và nhiều nội dung khác trên trang Meta AI. Ở đó có mọi thứ bạn cần, từ chi tiết kiến trúc mô hình đến hướng dẫn triển khai từng bước.

Cộng đồng cũng đang tích cực cải thiện SAM 2 bằng cách đóng góp cho các dự án mã nguồn mở. Theo dõi các cập nhật mới nhất và tham gia cộng đồng có thể giúp định hình tương lai của SAM 2 và tận dụng các tính năng mới khi chúng ra mắt.

Để cập nhật tất cả những tin tức này, bạn nên theo dõi blog Meta AI và thường xuyên ghé kho GitHub của họ. Những nền tảng này cung cấp tin tức về tính năng mới, ứng dụng thực tế và cả những hé lộ về những gì sắp tới. Việc luôn được thông tin không chỉ giúp bạn khai thác tối đa SAM 2 mà còn cho bạn cơ hội đóng góp vào sự phát triển của nó.

SAM 2: Các cân nhắc đạo đức

Như với bất kỳ công nghệ mạnh mẽ nào, chúng ta cần cân nhắc cẩn trọng cách sử dụng SAM 2. Vì dựa trên các bộ dữ liệu lớn, có nguy cơ thiên lệch trong dự đoán, điều cần được lưu ý đặc biệt trong các lĩnh vực nhạy cảm như giám sát và xe tự hành.

Cũng có những lo ngại về quyền riêng tư cần xem xét, đặc biệt là cách SAM 2 có thể được dùng để giám sát hoặc theo dõi con người. Để đảm bảo SAM 2 được sử dụng có trách nhiệm, cần có các cuộc trao đổi cởi mở và đặt ra hướng dẫn đạo đức rõ ràng. Điều này sẽ giúp bảo đảm SAM 2 được dùng theo cách có lợi và công bằng cho mọi người.

Cũng cần nhớ rằng các mô hình AI như SAM 2 chỉ tốt tương ứng với dữ liệu dùng để huấn luyện. Vì vậy, điều tối quan trọng là sử dụng các bộ dữ liệu đa dạng và cân bằng để huấn luyện SAM 2, giảm thiểu rủi ro kết quả thiếu công bằng.

Việc đánh giá liên tục và minh bạch trong cách sử dụng SAM 2 cũng sẽ là chìa khóa để duy trì niềm tin của công chúng và đảm bảo công nghệ này được áp dụng theo cách tôn trọng quyền con người và nâng cao phúc lợi xã hội.

Kết luận

Segment Anything Model 2 (SAM 2) đang tạo ra tác động đáng kể trong lĩnh vực thị giác máy tính, cung cấp khả năng phân đoạn tiên tiến cho cả hình ảnh và video.

Khả năng theo dõi đối tượng theo thời gian thực, kết hợp với độ chính xác được cải thiện và các kỹ thuật nhắc lệnh thân thiện với người dùng, khiến nó trở thành công cụ giá trị trong nhiều ngành.

Khi SAM 2 tiếp tục phát triển, nó mở ra cơ hội mới trong thiết kế sáng tạo, nghiên cứu khoa học và hơn thế nữa. Cung cấp bản demo tương tác và quyền truy cập mã nguồn mở vào mô hình cùng bộ dữ liệu huấn luyện phong phú, Meta AI khuyến khích đổi mới và hợp tác trong cộng đồng AI, đặt nền tảng cho các bước tiến tương lai trong hiểu biết thị giác và ứng dụng tương tác.

Câu hỏi thường gặp

SAM 2 xử lý các trường hợp phân đoạn mơ hồ khi nhiều đối tượng có thể chia sẻ ranh giới tương tự như thế nào?

SAM 2 dự đoán nhiều mặt nạ ở mỗi bước khi gặp mơ hồ, chẳng hạn khi một đối tượng có chung ranh giới với các đối tượng khác. Nếu các nhắc lệnh bổ sung không giải quyết được mơ hồ, mô hình sẽ chọn mặt nạ có Intersection over Union (IoU) dự đoán cao nhất để lan truyền trong video, đảm bảo duy trì phân đoạn chính xác nhất.

SAM 2 sử dụng các cơ chế chú ý cụ thể nào để nâng cao độ chính xác phân đoạn trong video?

SAM 2 sử dụng cả cơ chế self-attention và cross-attention trong mô-đun chú ý bộ nhớ. Các cơ chế này cho phép mô hình tập trung vào các khung trước liên quan được lưu trong kho bộ nhớ, cải thiện độ chính xác khi phân đoạn đối tượng trong các chuỗi video phức tạp, đặc biệt khi đối tượng biến đổi hoặc bị che khuất.

Kho bộ nhớ trong SAM 2 cân bằng giữa ngữ cảnh theo thời gian và hiệu quả tính toán như thế nào?

Kho bộ nhớ trong SAM 2 được thiết kế theo hàng đợi FIFO (vào trước, ra trước) để quản lý việc lưu trữ ký ức từ tối đa N khung gần đây. Cách tiếp cận này cân bằng nhu cầu về ngữ cảnh theo thời gian bằng cách giữ lại thông tin thiết yếu từ các khung gần nhất đồng thời duy trì hiệu quả tính toán, đảm bảo mô hình không bị quá tải dữ liệu.

SAM 2 sử dụng loại mã hóa vị trí nào để duy trì độ chính xác không gian trong phân đoạn video?

SAM 2 sử dụng 2D Rotary Positional Embedding (RoPE) trong các lớp chú ý bộ nhớ. Kiểu mã hóa này giúp duy trì độ chính xác không gian qua các khung bằng cách đảm bảo các mối quan hệ vị trí giữa đối tượng và môi trường của chúng được biểu diễn nhất quán, ngay cả khi đối tượng di chuyển hoặc thay đổi hình dạng.

SAM 2 đảm bảo tính công bằng giữa các nhóm nhân khẩu học khác nhau trong các tác vụ phân đoạn video như thế nào?

SAM 2 đã được đánh giá về tính công bằng giữa các nhóm nhân khẩu học bằng bộ dữ liệu Ego-Exo4D, vốn bao gồm thông tin nhân khẩu học tự báo cáo. Mô hình cho thấy chênh lệch hiệu năng tối thiểu giữa các nhóm giới tính và độ tuổi khi sử dụng nhắc lệnh 3 lần nhấp hoặc mặt nạ chuẩn, đảm bảo hiệu năng công bằng trên các nhóm dân số khác nhau.

Tác giả

Dr Ana Rojo-Echeburúa

LinkedIn Twitter

Ana Rojo Echeburúa là chuyên gia AI và dữ liệu, có bằng Tiến sĩ Toán Ứng dụng. Cô yêu thích việc biến dữ liệu thành những insight có thể hành động và có nhiều kinh nghiệm lãnh đạo các nhóm kỹ thuật. Ana thích làm việc chặt chẽ với khách hàng để giải quyết các vấn đề kinh doanh và tạo ra những giải pháp AI sáng tạo. Được biết đến với kỹ năng giải quyết vấn đề và giao tiếp rõ ràng, cô đam mê AI, đặc biệt là AI tạo sinh. Ana luôn theo đuổi việc học tập không ngừng và phát triển AI có đạo đức, cũng như đơn giản hóa các vấn đề phức tạp và giải thích công nghệ theo cách dễ tiếp cận.

Chủ đề

Trí tuệ Nhân tạo Mô hình Ngôn ngữ Lớn