Sea-Lion: Sáng kiến AI đa ngôn ngữ của Singapore dành cho ASEAN

• AI Singapore (AISG) nhấn mạnh tầm quan trọng của việc phát triển các mô hình ngôn ngữ lớn (LLMs) địa phương để giảm thiểu định kiến từ dữ liệu đào tạo và bối cảnh văn hóa của phương Tây.
• Mô hình Sea-Lion của AISG, tập trung vào ngôn ngữ và bối cảnh Đông Nam Á, đã thể hiện khả năng xử lý các quan điểm tinh tế về các chủ đề nhạy cảm, bao gồm cả thành tựu và thách thức của cố Tổng thống Indonesia Suharto.
• Singapore đã cam kết 70 triệu đô la Singapore (khoảng 52 triệu đô la Mỹ) để phát triển Sea-Lion, nhưng một số người trong ngành đặt câu hỏi về tính khả thi và thời điểm của dự án so với sự tiến bộ nhanh chóng của OpenAI và các công ty công nghệ lớn.
• Sea-Lion, được quảng cáo là LLM mã nguồn mở đầu tiên tập trung vào ngôn ngữ và bối cảnh Đông Nam Á, đã được đào tạo trên 1 nghìn tỷ token và có hai phiên bản với 3 tỷ và 7 tỷ tham số.
• AISG tiết lộ rằng 73% LLMs hiện tại có nguồn gốc từ Mỹ và Trung Quốc, với 95% mô hình được đào tạo chủ yếu bằng tiếng Anh hoặc kết hợp tiếng Anh với một trong các ngôn ngữ Trung Quốc, Ả Rập, hoặc Nhật Bản.
• Đối với việc xây dựng Sea-Lion, AISG phải vượt qua thách thức là thiếu dữ liệu công khai chất lượng cao bằng ngôn ngữ Đông Nam Á và chỉ sử dụng dữ liệu không vi phạm bản quyền.
• Sea-Lion đã được kiểm tra với các câu hỏi không chỉ về Suharto mà còn về các chủ đề khác, cho thấy khả năng vượt trội so với Llama 2 của Meta, SeaLLM của Alibaba, và GPT-4 của OpenAI về tốc độ, độ chính xác và ngắn gọn.
• AISG đã đề xuất một tiêu chuẩn mới, BHASA, để đánh giá hiệu suất của LLMs trong ngôn ngữ Đông Nam Á, với Sea-Lion được xếp hạng chỉ sau GPT-4.

📌 Mô hình ngôn ngữ lớn Sea-Lion của Singapore tập trung vào ngôn ngữ và bối cảnh Đông Nam Á, đã thể hiện khả năng xử lý các quan điểm tinh tế về các chủ đề nhạy cảm, bao gồm cả thành tựu và thách thức của cố Tổng thống Indonesia Suharto. Sea-Lion, với sự đầu tư 52 triệu đô la Mỹ từ chính phủ Singapore đã được kiểm tra với các câu hỏi không chỉ về Suharto mà còn về các chủ đề khác, cho thấy khả năng vượt trội so với Llama 2 của Meta, SeaLLM của Alibaba, và GPT-4 của OpenAI về tốc độ, độ chính xác và ngắn gọn. AISG đã đề xuất một tiêu chuẩn mới, BHASA, để đánh giá hiệu suất của LLMs trong ngôn ngữ Đông Nam Á, với Sea-Lion được xếp hạng chỉ sau GPT-4.