Khi AI trả lời thật hay, ta có thể tin đến đâu?

Dòng Chảy AI · Hành Trình AI

Nhìn lại tuần từ ngày 11 đến ngày 17 tháng 3 năm 2023. Những diễn biến sau tuần này được ghi rõ thời điểm.

Hãy tưởng tượng bạn đang học cho một kỳ thi khó. Một người bạn đồng hành giúp bạn giải thích những câu hỏi phức tạp, đưa ra ví dụ và trả lời rất tự tin. Rồi bạn nghe rằng hệ thống ấy còn đạt kết quả ấn tượng trong một bài thi dành cho người học luật.

Bạn có thể thấy háo hức: nếu công cụ này giỏi đến vậy, biết đâu nó sẽ giúp mình hiểu được nhiều điều hơn?

Nhưng ngay sau sự háo hức ấy là một câu hỏi: làm tốt một bài kiểm tra có đồng nghĩa với việc câu trả lời nào cũng đáng tin?

Đó là câu hỏi trở nên đặc biệt thú vị vào tuần giữa tháng 3 năm 2023, khi OpenAI giới thiệu GPT-4.

Một mô hình mới, nhiều điều để khám phá

Ngày 14 tháng 3 năm 2023, OpenAI công bố GPT-4. Công ty mô tả đây là một mô hình AI có thể nhận thông tin bằng văn bản và hình ảnh, rồi tạo câu trả lời bằng văn bản. Nói đơn giản, thay vì chỉ đọc câu hỏi được gõ vào, mô hình còn được thiết kế để xử lý một số nội dung trong ảnh. 1

Điều đó mở ra những khả năng dễ khiến người ta tò mò. Một người học có thể hình dung việc đưa cho AI một hình minh họa và hỏi về nội dung trong đó. Người khác có thể muốn nhờ nó giải thích một biểu đồ. Những tình huống ấy gợi ra cách công nghệ có thể hỗ trợ việc học và khám phá thông tin.

Nhưng có một khác biệt quan trọng giữa khả năng được giới thiệu và thứ mọi người có thể sử dụng ngay lúc đó. Khi ra mắt, khả năng nhận hình ảnh vẫn ở giai đoạn nghiên cứu và chưa được mở rộng rãi. Phần xử lý văn bản của GPT-4 được đưa vào ChatGPT cho người đăng ký gói Plus, với giới hạn sử dụng; quyền truy cập qua API dành cho nhà phát triển có danh sách chờ. 1 2

Cũng cần phân biệt: GPT-4 là mô hình AI, còn ChatGPT là sản phẩm trò chuyện mà người dùng có thể tiếp cận một phiên bản của mô hình ấy. Khi báo chí nói về việc ChatGPT được nâng cấp, điều đó không có nghĩa mọi khả năng trình diễn đều đã xuất hiện cho mọi người dùng.

Ngày 15 tháng 3, theo giờ Việt Nam, Tuổi Trẻ đưa tin về GPT-4 và khả năng xử lý hình ảnh. Bài báo cho thấy thông tin về bước tiến này đã nhanh chóng đến với độc giả Việt. Nhưng từ một bản tin, chúng ta chưa thể biết có bao nhiêu người Việt lúc đó đã được dùng GPT-4 hoặc trải nghiệm của họ ra sao. 3

Một bài thi, nhiều câu hỏi hơn

Trong thông báo của mình, OpenAI nêu một kết quả gây chú ý: theo ước tính của công ty, GPT-4 đạt điểm trong một bài thi luật mô phỏng tương đương khoảng nhóm 10% thí sinh có điểm cao nhất. Đây là kết quả mà OpenAI công bố cùng phương pháp đánh giá của họ; không phải việc GPT-4 tham gia kỳ thi chính thức như một con người hay được cấp phép hành nghề luật. 1

Dù vậy, sức hấp dẫn của kết quả ấy rất dễ hiểu. Những bài kiểm tra khó thường tượng trưng cho nhiều năm học tập. Khi một hệ thống có thể tạo ra câu trả lời đạt điểm cao trong phép thử như vậy, điều tự nhiên là chúng ta muốn biết: liệu nó có thể giúp mình học một môn mới, hiểu một vấn đề phức tạp, hay chuẩn bị tốt hơn cho công việc?

Thế nhưng, làm nghề luật ngoài đời còn bao gồm nhiều việc hơn trả lời đề thi: tìm hiểu hoàn cảnh cụ thể, đánh giá chứng cứ, cân nhắc trách nhiệm và làm việc với con người. Kết quả của một bài thi không tự nó chứng minh hệ thống thực hiện đáng tin cậy mọi công việc đó.

Ngay trong thông báo ra mắt, OpenAI cũng thừa nhận GPT-4 vẫn có thể bịa ra thông tin hoặc mắc lỗi suy luận. Một câu trả lời mạch lạc vì thế có thể vừa hữu ích, vừa chứa điều sai. 1

Hãy thử một ví dụ giả định gần gũi hơn. Một chủ cửa hàng muốn tìm hiểu quy định liên quan đến việc bán một sản phẩm. AI có thể giúp người đó chuẩn bị câu hỏi và giải thích một khái niệm khó. Nhưng nếu câu trả lời nêu sai quy định, hoặc bỏ qua một điều kiện quan trọng, cách diễn đạt tự tin sẽ không làm thông tin ấy trở nên đúng. Với quyết định quan trọng, người dùng cần đối chiếu nguồn phù hợp và tìm tư vấn chuyên môn khi cần.

Nếu muốn kiểm tra, ta cần biết những gì?

Câu hỏi về lòng tin không chỉ dành cho người dùng. Nó còn dành cho những người nghiên cứu các hệ thống AI.

Trong báo cáo kỹ thuật, OpenAI không công bố một số chi tiết về kiến trúc, dữ liệu huấn luyện và lượng tài nguyên tính toán của GPT-4. Công ty viện dẫn cả bối cảnh cạnh tranh lẫn những tác động về an toàn của các mô hình quy mô lớn. 4

Lý do đó đặt ra một sự cân nhắc khó. Hạn chế công bố có thể được một công ty xem là cách giảm một số rủi ro hoặc bảo vệ lợi thế cạnh tranh. Mặt khác, khi ít thông tin được chia sẻ, các nhà nghiên cứu bên ngoài có ít cơ sở hơn để xem xét cách hệ thống được xây dựng. Đây là một căng thẳng cần được thảo luận, chứ không phải bằng chứng tự động rằng công khai mọi thứ hay giữ kín mọi thứ sẽ an toàn hơn.

Câu hỏi ấy tiếp nối điều chúng ta đã gặp khi tìm hiểu về quyền tiếp cận mô hình AI: ai có thể nghiên cứu, kiểm tra và đặt câu hỏi về những công nghệ ngày càng ảnh hưởng đến nhiều người?

Nhìn lại sau tuần ra mắt

Một năm sau, vào tháng 3 năm 2024, nhà nghiên cứu Eric Martínez công bố một phân tích đặt câu hỏi về cách so sánh kết quả bài thi luật của GPT-4 với kết quả của người thật. Ông lập luận rằng việc chọn nhóm thí sinh để đối chiếu có thể khiến ước tính thứ hạng được công bố trở nên cao hơn thực tế. 5

Đây là một tranh luận về phương pháp đánh giá. Nó không xóa đi việc GPT-4 đã tạo được những câu trả lời đáng chú ý, cũng không tự quyết định mô hình hữu ích đến đâu trong mọi công việc. Một nghiên cứu khác của Daniel Martin Katz và các đồng tác giả, công bố năm 2024, trình bày cách nhóm đánh giá GPT-4 trên các phần của bài thi luật. Đọc các nghiên cứu ấy cùng nhau cho thấy cách chọn đề, chấm điểm và chọn nhóm so sánh đều quan trọng khi diễn giải một kết quả. 6

Điều này không phải thứ người đọc trong tuần tháng 3 năm 2023 đã biết. Nhưng nhìn lại sau đó giúp ta thấy một bài học: ngay cả một con số rất ấn tượng cũng cần đi cùng câu hỏi nó được đo như thế nào?

Ở chương trước, chúng ta đã đặt câu hỏi ai có thể hưởng lợi khi AI giúp con người làm việc nhanh hơn. Với GPT-4, câu hỏi ấy có thêm một lớp khác: trước khi trao cho một câu trả lời nhiều trọng lượng, chúng ta biết gì về khả năng và giới hạn của công cụ đã tạo ra nó?

GPT-4 đã mở ra những khả năng khiến nhiều người muốn khám phá. Đồng thời, nó nhắc chúng ta rằng sự tò mò và việc kiểm tra có thể đi cùng nhau. Có lẽ đó là một cách tốt để bước tiếp trong hành trình này: hào hứng với điều AI có thể giúp mình làm, và đủ tỉnh táo để hỏi khi nào mình cần kiểm chứng.

Tài liệu tham khảo

1. OpenAI — GPT-4, 14/03/2023. Thông báo gốc và các đánh giá do OpenAI công bố.
2. OpenAI — ChatGPT release notes, mục 14/03/2023. Trang được cập nhật liên tục.
3. Tuổi Trẻ — ChatGPT nâng cấp, có thể trả lời dựa trên hình ảnh, 15/03/2023.
4. OpenAI — GPT-4 Technical Report, đăng trên arXiv 15/03/2023. Nguồn tự công bố; phiên bản trực tuyến có thể được cập nhật.
5. Eric Martínez — Re-evaluating GPT-4’s bar exam performance, công bố trực tuyến 30/03/2024, sau kỳ nhìn lại.
6. Daniel Martin Katz và cộng sự — GPT-4 passes the bar exam, 26/02/2024, sau kỳ nhìn lại.