Khi AI đạt điểm cao trong một bài kiểm tra, điều gì thực sự được chứng minh?
Một bài kiểm tra có thể cho thấy một học sinh đã giải được những bài nào. Nhưng chỉ nhìn điểm số, chúng ta khó biết người đó sẽ làm gì khi gặp một vấn đề hoàn toàn khác. Đối với AI cũng vậy: một kết quả ấn tượng cần được đọc cùng với bài kiểm tra, điều kiện thực hiện và những…
Mục lục
Dòng Chảy AI · Hành Trình AI · 14–20/12/2024
Một bài kiểm tra có thể cho thấy một học sinh đã giải được những bài nào. Nhưng chỉ nhìn điểm số, chúng ta khó biết người đó sẽ làm gì khi gặp một vấn đề hoàn toàn khác. Đối với AI cũng vậy: một kết quả ấn tượng cần được đọc cùng với bài kiểm tra, điều kiện thực hiện và những việc hệ thống vẫn chưa làm được.
Ngày 20/12/2024, OpenAI giới thiệu các mô hình o3 và o3-mini đang trong giai đoạn thử nghiệm an toàn. Cùng ngày, tổ chức ARC Prize trình bày kết quả thử nghiệm o3 trên ARC-AGI, một bộ bài kiểm tra được thiết kế để khảo sát khả năng thích ứng với những nhiệm vụ mới. Kết quả cao thu hút chú ý, nhưng chính nhóm đánh giá cũng cảnh báo rằng nó chưa chứng minh AI đã đạt trí tuệ tổng quát như con người. 1 2
Điểm số trả lời câu hỏi nào?
Các bài ARC-AGI sử dụng những lưới hình màu. Hệ thống xem ví dụ đầu vào và đầu ra, rồi tìm quy tắc để giải một bài mới. Mục tiêu là kiểm tra khả năng nhận ra và áp dụng quy tắc trong những tình huống chưa biết trước. Đây là một cách đánh giá được thiết kế cho mục đích cụ thể, không phải bài kiểm tra toàn bộ trí thông minh. 2
ARC Prize báo cáo rằng phiên bản o3 được thử nghiệm đạt 75,7% trên tập đánh giá bán riêng tư gồm 100 nhiệm vụ ở cấu hình tính toán hiệu quả hơn. Với cấu hình dùng nhiều tài nguyên hơn, kết quả là 87,5% trên cùng tập. Nhóm đánh giá cho biết hai cấu hình dùng số lượng mẫu khác nhau và cấu hình thứ hai tiêu tốn năng lực tính toán nhiều hơn rất lớn. Nhóm cho biết hệ thống đã được huấn luyện trên một phần tập dữ liệu huấn luyện công khai của ARC, còn kết quả trên đây thuộc tập nhiệm vụ đánh giá tách riêng; ảnh hưởng riêng của quá trình huấn luyện ấy chưa được tách biệt. Các điểm số thuộc đúng bài kiểm tra và điều kiện này; chúng không phải tỷ lệ AI giải đúng mọi câu hỏi trong đời sống. 2
Nhóm ARC Prize đánh giá đây là tiến bộ đáng chú ý. Đồng thời, họ ghi nhận o3 vẫn thất bại với một số bài mà con người thấy dễ, và nhấn mạnh việc đo lường khả năng thích ứng cần tiếp tục phát triển. Một kết quả tốt giúp các nhà nghiên cứu hiểu thêm khả năng của hệ thống; nó không giải quyết mọi tranh luận về định nghĩa hay việc đạt được AGI — trí tuệ nhân tạo tổng quát. 2
Vì sao điều kiện thử nghiệm quan trọng?
Khi một hệ thống được cho phép dùng nhiều tài nguyên tính toán hơn để xử lý một bài, kết quả có thể khác. Vì vậy, ngoài điểm số, người đọc cần biết bài được chọn như thế nào, hệ thống có bao nhiêu lần thử và chi phí tính toán ra sao. Một công cụ có thể đạt kết quả tốt trong bài thử nhưng vẫn quá chậm hoặc tốn kém cho một số ứng dụng thực tế.
OpenAI nói họ đang mở đăng ký cho các nhà nghiên cứu bên ngoài thử nghiệm an toàn các mô hình trước khi phát hành công khai. Theo Reuters, khi công bố ngày 20/12, o3 và o3-mini vẫn đang được thử nghiệm nội bộ; các mốc phát hành được nêu khi đó là kế hoạch, không phải bằng chứng mọi người đã sử dụng được. 1 3
Đọc tin AI tại Việt Nam
Ngày 21/12, VTV và VnExpress đưa tin về thông báo o3, tức sau kỳ bài viết này nhìn lại. Những bài báo giúp độc giả Việt Nam tiếp cận cuộc thảo luận; tuy nhiên, điểm số ARC không cho biết hệ thống xử lý tiếng Việt hay giải quyết công việc của người Việt tốt đến mức nào. 4 5
Giả sử một sinh viên dùng AI để giải bài tập và giải thích lời giải. Điểm trong một bộ kiểm tra nghiên cứu không thay thế việc xem từng bước giải có hợp lý, có sai số hay có phù hợp với yêu cầu của môn học hay không. Ví dụ này chỉ minh họa cách đánh giá; Dòng Chảy AI chưa thử nghiệm o3 với sinh viên Việt Nam trong tuần đó.
Kết quả tháng 12 là một mốc đáng chú ý trong việc đánh giá AI trên những bài toán mới. Cách đọc có ích nhất là giữ cả hai điều cùng lúc: tiến bộ trên một phép thử cụ thể và giới hạn của phép thử ấy.
Tài liệu tham khảo
- Reuters — OpenAI công bố các mô hình o3 trong giai đoạn thử nghiệm, 20/12/2024.
- ARC Prize — Kết quả o3 trên ARC-AGI, công bố tháng 12/2024: báo cáo của nhóm đánh giá; bảng chi phí trên trang có các cập nhật sau đó, nên bài không dùng số giá cập nhật làm giá tháng 12.
- OpenAI — Early access for safety testing, 20/12/2024: thông báo của nhà phát triển.
- VTV/TTXVN — OpenAI thử nghiệm mô hình AI mới, 21/12/2024: báo chí tiếng Việt sau kỳ.
- VnExpress — Thông tin về o3 và thảo luận AGI, 21/12/2024: báo chí tiếng Việt sau kỳ.