Claude 3 và câu hỏi phía sau những bảng điểm AI

Dòng Chảy AI · Hành Trình AI · 02–08/03/2024

Khi đọc một tiêu đề nói một hệ thống AI “vượt” hệ thống khác, điều đầu tiên cần hỏi là: vượt trong bài kiểm tra nào — và kết quả ấy giúp ích gì cho công việc của mình?

Ngày 4/3/2024, Anthropic giới thiệu họ mô hình Claude 3 gồm Haiku, Sonnet và Opus. Ngày 5/3, Tuổi Trẻ và VOH đưa tin cho độc giả Việt Nam. Anthropic cho biết Opus đạt điểm cao hơn một số mô hình cạnh tranh trong nhiều bài đánh giá được công ty lựa chọn. Reuters đưa tin cùng ngày nhưng nói họ không thể tự xác minh các tuyên bố so sánh ấy. 1 2 3 4

Một bảng điểm có thể giúp so sánh trong điều kiện nhất định. Nó không tự chứng minh một mô hình sẽ là lựa chọn tốt nhất cho mọi người, mọi ngôn ngữ hay mọi nhiệm vụ.

Ba mô hình, những lựa chọn khác nhau

Anthropic mô tả ba thành viên trong họ Claude 3 như các lựa chọn với mức năng lực, tốc độ và chi phí khác nhau. Theo thông báo, Opus và Sonnet đã được cung cấp khi công bố; Haiku được dự kiến ra mắt sau. Điều đó khác với việc cả ba đã sẵn sàng cho mọi khách hàng ngay ngày 4/3. 3

Công ty cũng giới thiệu khả năng xử lý đầu vào hình ảnh cùng văn bản. Theo Reuters, mô hình được mô tả là phân tích hình ảnh, không phải công cụ tạo ảnh. Giả sử một người tải biểu đồ để hỏi nội dung chính: đó là tình huống minh họa, không phải thử nghiệm của Dòng Chảy AI. Người đó vẫn cần đối chiếu số liệu và nhãn của biểu đồ trước khi tin bản tóm tắt. 3 4

Một bài kiểm tra nói được đến đâu?

Benchmark là một bộ nhiệm vụ dùng để đánh giá khả năng theo cách nhất định. Điểm số có ý nghĩa khi biết mô hình nào được so sánh, câu hỏi ra sao và cách thử có công bằng hay không. Anthropic công bố nhiều kết quả cho Opus; trong chú thích, công ty cũng nói kỹ sư đã cải thiện cách đặt câu hỏi và ví dụ cho một số phép đánh giá khác. Những chi tiết ấy không tự làm kết quả vô giá trị, nhưng cho thấy cách đo ảnh hưởng đến điều ta có thể kết luận. 3

VOH cũng nêu các giới hạn mà Anthropic thừa nhận, bao gồm khó khăn với một số nhiệm vụ hình ảnh như đếm hoặc suy luận không gian. Những giới hạn này không có nghĩa mọi câu trả lời đều sai. Chúng nhắc rằng hiệu quả cần được kiểm tra theo công việc cụ thể, đặc biệt khi một lỗi có thể ảnh hưởng đến quyết định của người khác. 2 5

Điều này có ý nghĩa gì với người Việt?

Một người dùng Việt Nam cần quan tâm đến chất lượng câu trả lời bằng tiếng Việt, khả năng xử lý tài liệu của mình, quyền riêng tư và điều kiện tiếp cận ở nơi sinh sống. Kết quả benchmark được công bố không tự trả lời đầy đủ các câu hỏi đó. Các nguồn trong bài không cung cấp một phép đánh giá đại diện về hiệu quả tiếng Việt trong những công việc này.

Một cách lựa chọn hữu ích là thử cùng một nhiệm vụ ít nhạy cảm với các công cụ có thể tiếp cận, rồi đối chiếu kết quả với nguồn đáng tin và xem chi phí, tốc độ, giới hạn có phù hợp không. Đây là gợi ý thực hành, không phải một thử nghiệm mà Dòng Chảy AI đã thực hiện hay khuyến nghị mua dịch vụ.

Claude 3 cho thấy các nhà phát triển tiếp tục tìm cách cải thiện khả năng mô hình và cung cấp nhiều lựa chọn. Với người sử dụng, một bảng điểm là điểm bắt đầu để đặt câu hỏi tốt hơn — không phải điểm kết thúc của việc kiểm chứng.

Tài liệu tham khảo

1. Tuổi Trẻ — Start-up được Google và Amazon rót vốn ra mắt chatbot, 5/3/2024; đưa tin Việt Nam, dẫn thông tin hãng.
2. VOH — Anthropic tuyên bố chatbot Claude vượt GPT-4, 5/3/2024; đưa tin Việt Nam.
3. Anthropic — Introducing the next generation of Claude, 4/3/2024; thông báo và kết quả do công ty công bố.
4. Reuters qua Investing.com — Anthropic releases Claude 3, 4/3/2024; báo chí độc lập, không tự xác minh các so sánh.
5. Anthropic — Claude 3 Model Card, tháng 3/2024; tài liệu mô hình của công ty.