'Mach' (Tạo nhân vật): Cách mạng hóa việc tạo nhân vật 3D bằng học máy cho kỷ nguyên AI và Metaverse

• Các nhà nghiên cứu từ Viện Nghiên cứu Máy tính Thông minh và Tập đoàn Alibaba giới thiệu Make-A-Character (Mach), một hệ thống sáng tạo giúp đơn giản hóa việc tạo mô hình con người số 3D.
• Mach sử dụng các mô hình ngôn ngữ và thị giác tiên tiến, biến đổi mô tả văn bản cơ bản thành avatar 3D chi tiết và chân thực.
• Cách tiếp cận này cho phép người dùng dễ dàng tạo ra avatar cá nhân hóa phù hợp với nhân vật mà họ tưởng tượng.
• Nhóm nghiên cứu giới thiệu cơ chế chuyển đổi tên là Triplane, cải thiện việc tạo hình học và tối ưu hóa tham số camera và bản đồ Triplane dựa trên các điểm đánh dấu khuôn mặt chi tiết và hình ảnh tham chiếu.
• Họ thu thập dữ liệu thực tế bằng cách chụp khuôn mặt của 193 người dưới ánh sáng đồng nhất và tạo ra kết cấu nhân tạo dưới các điều kiện chiếu sáng khác nhau.
• Mach sử dụng một loạt các mô-đun phân tích khuôn mặt 2D và tạo ra 3D để tạo ra lưới và kết cấu của khuôn mặt mục tiêu, cùng với phụ kiện phù hợp, cho phép dễ dàng hoạt hóa avatar 3D được tạo ra.
• Quá trình này sử dụng phương pháp rendering khác biệt và phương pháp tăng cường để trích xuất và hoàn thiện kết cấu phân tán sử dụng hình ảnh tham chiếu.
• Nghiên cứu trình bày kết quả trực quan của các avatar 3D được tạo ra, thể hiện các hoạt ảnh biểu cảm đạt được thông qua điều khiển cơ mặt.
• Các nhà nghiên cứu chứng minh hiệu quả của phương pháp của họ bằng cách phát triển các đặc điểm khuôn mặt chi tiết được hướng dẫn bởi các gợi ý văn bản sử dụng Mô hình Lan truyền Ổn định, LLM và ControlNet.

📌 Các nhà nghiên cứu từ Viện Nghiên cứu Máy tính Thông minh và Tập đoàn Alibaba giới thiệu Make-A-Character (Mach), một hệ thống sáng tạo giúp đơn giản hóa việc tạo mô hình con người số 3D. Các nhà nghiên cứu chứng minh hiệu quả của phương pháp của họ thông qua kết quả trực quan, thể hiện các hoạt ảnh biểu cảm đạt được thông qua điều khiển cơ mặt. Mô hình Lan truyền Ổn định, LLM và ControlNet cho phép tạo ra các đặc điểm khuôn mặt chi tiết.