Google Gemini 1.5 Pro mở rộng cửa sổ ngữ cảnh lên 2 triệu token: điều này có ý nghĩa gì?

- **Google mở rộng cửa sổ ngữ cảnh của Gemini 1.5 Pro lên 2 triệu token**:
  - Tại hội nghị Google I/O 2024, CEO Alphabet Sundar Pichai thông báo rằng Google sẽ tăng cửa sổ ngữ cảnh của mô hình Gemini 1.5 Pro từ 1 triệu lên 2 triệu token.
  - Bản cập nhật này sẽ được cung cấp cho các nhà phát triển trong "private preview" và chưa có thông tin cụ thể về thời điểm ra mắt rộng rãi.

- **Ý nghĩa của token trong AI**:
  - Token là các mảnh của từ mà mô hình ngôn ngữ lớn (LLM) sử dụng để hiểu ngữ cảnh rộng hơn của một truy vấn.
  - Mỗi token bao gồm 4 ký tự trong tiếng Anh, có thể là chữ cái, số, khoảng trắng, ký tự đặc biệt, v.v.
  - Token được sử dụng cả làm đầu vào và đầu ra, giúp mô hình AI phân tích và trả lời truy vấn.

- **Cửa sổ ngữ cảnh và tầm quan trọng của nó**:
  - Cửa sổ ngữ cảnh giống như độ dài của bộ nhớ, càng lớn thì mô hình AI càng có thể nhớ và sử dụng nhiều thông tin hơn để đưa ra kết quả tốt hơn.
  - Cửa sổ ngữ cảnh lớn giúp mô hình AI không "quên" thông tin sau một vài lượt tương tác.

- **Lợi ích của việc tăng số lượng token**:
  - Số lượng token càng nhiều, càng có thể nhập nhiều dữ liệu vào mô hình AI, giúp mô hình hiểu và sử dụng nhiều thông tin hơn để đưa ra phản hồi.
  - Ví dụ, việc cung cấp một cuốn sách thay vì một câu ngắn sẽ giúp AI đưa ra kết quả chi tiết và chính xác hơn.

- **Tương lai của "infinite context"**:
  - Sundar Pichai đề cập đến tương lai của "infinite context", nơi các LLM có thể xử lý và xuất ra một lượng dữ liệu vô hạn.
  - Tuy nhiên, hiện tại, việc tăng số lượng token đòi hỏi nhiều sức mạnh tính toán hơn, và chưa ai có thể chắc chắn khi nào hoặc liệu sức mạnh tính toán có đạt đến mức đó hay không.

- **Kế hoạch ra mắt của Google**:
  - Cửa sổ ngữ cảnh mở rộng sẽ được ra mắt trên mô hình Gemini 1.5 Pro trong "private preview" và dự kiến sẽ ra mắt "cuối năm nay".

📌 Google Gemini 1.5 Pro sẽ mở rộng cửa sổ ngữ cảnh lên 2 triệu token, hứa hẹn cải thiện đáng kể kết quả AI. Điều này cho phép mô hình xử lý nhiều dữ liệu hơn, mang lại phản hồi chính xác và chi tiết hơn. Tuy nhiên, việc đạt đến "infinite context" vẫn còn là một thách thức lớn về sức mạnh tính toán.

https://www.cnet.com/tech/services-and-software/googles-gemini-1-5-pro-will-have-2-million-tokens-heres-what-that-means/