OpenAI giới thiệu tính năng Chưng cất Mô hình trên API

• OpenAI giới thiệu tính năng Chưng cất Mô hình mới trên nền tảng API của họ, cho phép các nhà phát triển dễ dàng sử dụng đầu ra của các mô hình tiên tiến như o1-preview và GPT-4o để tinh chỉnh và cải thiện hiệu suất của các mô hình hiệu quả hơn về chi phí như GPT-4o mini.

• Chưng cất Mô hình bao gồm 3 công cụ chính:

- Stored Completions: Tự động lưu trữ các cặp đầu vào-đầu ra được tạo bởi mô hình, giúp xây dựng bộ dữ liệu để đánh giá và tinh chỉnh mô hình.

- Evals (beta): Tạo và chạy đánh giá tùy chỉnh để đo lường hiệu suất mô hình trên các tác vụ cụ thể.

- Fine-tuning: Tích hợp đầy đủ với Stored Completions và Evals, cho phép sử dụng dữ liệu từ Stored Completions trong các công việc tinh chỉnh.

• Quy trình sử dụng Chưng cất Mô hình:

1. Tạo đánh giá để đo lường hiệu suất của mô hình cần chưng cất (ví dụ: GPT-4o mini)

2. Sử dụng Stored Completions để tạo bộ dữ liệu chưng cất từ đầu ra của GPT-4o

3. Sử dụng bộ dữ liệu này để tinh chỉnh GPT-4o mini

4. Đánh giá lại mô hình đã tinh chỉnh bằng Evals

5. Lặp lại quy trình nếu cần thiết

• Chưng cất Mô hình có sẵn cho tất cả nhà phát triển và có thể được sử dụng để chưng cất bất kỳ mô hình nào của OpenAI, bao gồm GPT-4o và o1-preview.

• OpenAI cung cấp 2 triệu token đào tạo miễn phí mỗi ngày trên GPT-4o mini và 1 triệu token trên GPT-4o đến ngày 31/10 để giúp nhà phát triển bắt đầu với chưng cất.

• Stored Completions miễn phí. Evals tính phí theo giá mô hình tiêu chuẩn dựa trên số token sử dụng. Đến cuối năm, nhà phát triển có thể chạy đánh giá miễn phí (tối đa 7 lần/tuần) khi họ đồng ý chia sẻ Evals với OpenAI.

• Chi phí đào tạo và chạy mô hình đã chưng cất giống như giá tinh chỉnh tiêu chuẩn của OpenAI.

📌 OpenAI giới thiệu Chưng cất Mô hình trên API, cho phép tinh chỉnh mô hình hiệu quả về chi phí bằng đầu ra của mô hình lớn. Bao gồm Stored Completions miễn phí, Evals (beta) và Fine-tuning tích hợp. Cung cấp 2 triệu token đào tạo miễn phí/ngày trên GPT-4o mini và 1 triệu trên GPT-4o đến 31/10.

https://openai.com/index/api-model-distillation/