Meta AI giới thiệu SAM 2 - mô hình AI đầu tiên phân đoạn đối tượng trong ảnh và video

• Meta AI vừa công bố Segment Anything Model 2 (SAM 2), mô hình AI thống nhất đầu tiên có khả năng xác định pixel nào thuộc về đối tượng mục tiêu trong cả ảnh và video.

• SAM 2 có thể phân đoạn bất kỳ đối tượng nào và theo dõi nó nhất quán qua tất cả các khung hình của video theo thời gian thực, mở ra những khả năng mới cho chỉnh sửa video và trải nghiệm thực tế hỗn hợp.

• Phân đoạn - xác định pixel nào trong ảnh thuộc về một đối tượng - giúp ích cho các tác vụ như phân tích hình ảnh khoa học hoặc chỉnh sửa ảnh.

• Mô hình Segment Anything (SAM) ban đầu được phát hành năm ngoái đã truyền cảm hứng cho các công cụ chỉnh sửa hình ảnh mới trong các ứng dụng của Meta, như Backdrop và Cutouts trên Instagram.

• SAM cũng đã thúc đẩy nhiều ứng dụng đa dạng trong khoa học, y học và nhiều ngành công nghiệp khác. Ví dụ, SAM đã được sử dụng trong khoa học biển để phân đoạn hình ảnh sonar và phân tích rạn san hô, phân tích hình ảnh vệ tinh để cứu trợ thiên tai, và trong lĩnh vực y tế, phân đoạn hình ảnh tế bào và hỗ trợ phát hiện ung thư da.

• SAM 2 mở rộng các khả năng này sang video. Các mô hình hiện có chưa đạt được điều này vì phân đoạn trong video phức tạp hơn đáng kể so với trong ảnh.

• Trong video, đối tượng có thể di chuyển nhanh, thay đổi hình dạng và bị che khuất bởi các đối tượng khác hoặc các phần của cảnh. Meta đã giải quyết nhiều thách thức này khi xây dựng SAM 2.

• Meta tin rằng nghiên cứu này có thể mở ra những khả năng mới như chỉnh sửa và tạo video dễ dàng hơn, đồng thời cho phép tạo ra những trải nghiệm mới trong thực tế hỗn hợp.

• SAM 2 có thể được sử dụng để theo dõi đối tượng mục tiêu trong video nhằm hỗ trợ chú thích nhanh hơn cho dữ liệu hình ảnh để huấn luyện các hệ thống thị giác máy tính, bao gồm cả những hệ thống được sử dụng trong xe tự lái.

• Nó cũng có thể cho phép các cách sáng tạo để chọn và tương tác với đối tượng trong thời gian thực hoặc trong video trực tiếp.

• Tuân theo cách tiếp cận khoa học mở của mình, Meta đang chia sẻ nghiên cứu về SAM 2 để những người khác có thể khám phá các khả năng và trường hợp sử dụng mới.

📌 SAM 2 của Meta AI là mô hình phân đoạn đối tượng đầu tiên cho cả ảnh và video theo thời gian thực. Nó mở ra khả năng mới trong chỉnh sửa video, thực tế hỗn hợp và nhiều ứng dụng khác từ khoa học đến y tế. Meta chia sẻ nghiên cứu này theo cách tiếp cận khoa học mở.

https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/