Khi một bài viết bị hỏi: “Ai là người viết?”

Dòng Chảy AI · Hành Trình AI

Nhìn lại tuần từ ngày 28 tháng 1 đến ngày 3 tháng 2 năm 2023. Những diễn biến ngoài tuần này được ghi rõ thời điểm.

Trần Hải Minh lần đầu thử ChatGPT vào tháng 1 năm 2023. Theo lời em kể với báo Thanh Niên trong bài đăng ngày 3 tháng 2, công cụ này có thể giúp giải bài tập toán, lý và hoạt động như một trợ lý học tập.

Nhưng Minh cũng nhận thấy câu trả lời có lúc đúng, lúc sai. Với một số bài tập, theo trải nghiệm của em, công cụ chỉ đưa đáp số mà không hướng dẫn từng bước. Khi thử hỏi về tác phẩm Tắt đèn, em còn gặp câu trả lời sai về tác giả. 1

Một học sinh có thêm nơi để đặt câu hỏi. Đồng thời, em vẫn phải tự hỏi liệu câu trả lời có đáng tin hay không.

Trong cùng tuần đó, một câu hỏi khác cũng đang khiến những người làm giáo dục bận tâm. Nếu một công cụ có thể tạo ra bài viết trông giống do con người viết, làm sao giáo viên biết học sinh đã tự làm bài đến đâu?

Một công cụ đi tìm dấu vết

Ngày 31 tháng 1 năm 2023, OpenAI — công ty đứng sau ChatGPT — giới thiệu một công cụ thử nghiệm nhằm phân loại văn bản: đoạn chữ ấy có khả năng do con người hay AI viết? Công ty hy vọng các bộ phân loại có thể góp phần xử lý những trường hợp văn bản do AI tạo ra nhưng bị trình bày là do con người viết, trong đó có gian lận học thuật. 2

Ý tưởng này nghe có vẻ hấp dẫn với một giáo viên đang lo lắng. Nếu nhận được một bài luận đáng ngờ, liệu họ có thể đưa nó vào máy và nhận được câu trả lời?

Ngay từ khi giới thiệu công cụ, OpenAI đã cảnh báo rằng câu trả lời không đơn giản như vậy. Theo công ty, bộ phân loại không đáng tin cậy hoàn toàn và không nên là công cụ chính để đưa ra quyết định. 2

Điều đó có ý nghĩa gì? Hãy nhìn kỹ vào phép thử mà chính OpenAI công bố.

Hai con số, hai nhóm văn bản

Trong một tập kiểm tra gồm các văn bản tiếng Anh, công cụ gắn nhãn “có khả năng do AI viết” cho 26% văn bản thực sự do AI tạo ra. Nó cũng gắn nhãn sai như vậy cho 9% văn bản do con người viết. 2

Hai tỷ lệ này trả lời hai câu hỏi khác nhau. Con số thứ nhất cho biết công cụ nhận ra được bao nhiêu trong nhóm văn bản AI ở phép thử đó. Con số thứ hai cho biết nó gắn nhầm nhãn cho bao nhiêu trong nhóm văn bản do người viết.

Nếu hình dung mỗi nhóm có 100 văn bản, theo các tỷ lệ được công bố, khoảng 26 văn bản trong nhóm AI sẽ nhận nhãn “có khả năng do AI viết”; khoảng chín văn bản trong nhóm do người viết cũng sẽ bị gắn nhầm nhãn ấy. Đây là cách minh họa tỷ lệ, không phải kết quả của một lớp học thực tế.

Những con số trên không cho biết chắc một bài cụ thể do ai viết. Chúng cũng không thể được xem là độ chính xác chung của mọi công cụ phát hiện AI. Bài viết pha trộn giữa ý tưởng của người học, phần gợi ý từ AI và nhiều lần chỉnh sửa còn có thể làm câu hỏi về tác giả trở nên phức tạp hơn.

OpenAI cho biết công cụ đặc biệt thiếu tin cậy với văn bản dưới 1.000 ký tự và khuyến nghị chỉ sử dụng cho tiếng Anh vì kết quả kém hơn đáng kể ở các ngôn ngữ khác. Điều đó không cho ta một tỷ lệ lỗi cụ thể đối với tiếng Việt. Nhưng nó cho thấy không nên tự động mang kết quả tiếng Anh áp dụng cho bài viết tiếng Việt. 2

Học với AI, hay để AI học thay?

Trở lại với Minh ở TP.HCM, câu chuyện của em cho thấy vì sao học sinh có thể hào hứng với một trợ lý luôn sẵn sàng trả lời. Một câu hỏi chưa hiểu trên lớp có thể được đem hỏi thêm; một bài toán có thể có thêm một gợi ý để xem xét.

Đó là những khả năng có thể hình dung từ việc sử dụng một công cụ trò chuyện, không phải khẳng định rằng Minh đã thực hiện tất cả những việc ấy. Và trải nghiệm em kể với Thanh Niên cũng nhắc ta rằng một câu trả lời nhanh không đồng nghĩa với một lời giải đúng hay hữu ích. 1

Cùng lúc, giáo viên có lý do để quan tâm đến việc học sinh thực sự hiểu gì. Nếu một bài tập nhằm đánh giá kỹ năng tự viết, việc nộp nguyên một bài do AI tạo ra có thể khiến bài nộp không phản ánh năng lực mà giáo viên muốn tìm hiểu. Quy định và mục tiêu của từng bài tập có thể khác nhau; sử dụng AI để tìm ý, kiểm tra cách diễn đạt hay nhờ viết toàn bộ bài cũng không nhất thiết là cùng một hành động.

Vấn đề là một nhãn trên màn hình không tự kể lại toàn bộ quá trình ấy.

Hãy hình dung một học sinh tự viết bài, nhưng công cụ phát hiện lại gắn nhãn bài có khả năng do AI tạo ra. Đây là tình huống giả định, không phải trường hợp của Minh hay một vụ việc được xác minh. Nếu chỉ dựa vào nhãn để kết luận, giáo viên có thể bỏ qua bài nháp, cách học sinh giải thích ý tưởng và những bằng chứng khác. Với học sinh, cơ hội được giải thích vì thế trở thành một phần quan trọng của sự công bằng.

Ngày 1 tháng 2, VnExpress cũng đưa tin về công cụ của OpenAI và nhắc đến một cách tiếp cận khác: giáo sư Ethan Mollick tại Đại học Pennsylvania cho phép sinh viên sử dụng ChatGPT theo các quy tắc do ông đặt ra, trong đó có việc mô tả cách và mục đích sử dụng. Đó là một lựa chọn được báo thuật lại, không phải quy định chung cho mọi lớp học. 3

Những gì chúng ta biết sau đó

Những người thảo luận về công cụ vào đầu năm 2023 chưa biết kết quả của những tháng tiếp theo.

Đến tháng 7 năm 2023, một nhóm nghiên cứu công bố kết quả xem xét bảy công cụ phát hiện trên các nhóm bài luận tiếng Anh được lựa chọn. Họ nhận thấy nhiều bài trong nhóm bài thi TOEFL của người viết tiếng Anh không phải tiếng mẹ đẻ bị phân loại nhầm là do AI viết. Nghiên cứu làm nổi bật một rủi ro công bằng, nhưng các nhóm bài có nguồn và bối cảnh khác nhau; kết quả không phải tỷ lệ lỗi cho mọi người học, mọi công cụ hay văn bản tiếng Việt. 4

Ngày 20 tháng 7 năm 2023, OpenAI cho biết bộ phân loại của mình không còn khả dụng vì độ chính xác thấp. Việc dừng một công cụ cụ thể không chứng minh mọi phương pháp phát hiện hiện nay đều giống nhau. Nhưng nó cho thấy giới hạn mà chính OpenAI đã cảnh báo khi ra mắt không phải chuyện có thể bỏ qua. 2

Điều gì giúp chúng ta học tốt hơn?

Trong một phần trước của Hành Trình AI, chúng ta đã hỏi: khi AI có thể làm bài, con người còn học như thế nào? Tuần này, câu hỏi ấy có thêm một lớp nữa: khi nghi ngờ một bài viết do máy tạo ra, làm sao chúng ta tìm hiểu sự thật mà vẫn đối xử công bằng với người học?

Có lẽ câu trả lời không nằm trong một nút bấm duy nhất. Một lớp học có thể cần những quy tắc rõ ràng về việc dùng AI, những cách đánh giá phù hợp với mục tiêu học tập và cơ hội để người học giải thích quá trình của mình. Đó là những hướng để suy nghĩ và thảo luận, không phải một quy định áp dụng cho mọi trường.

Với Minh, ChatGPT mở ra khả năng được hỏi thêm. Với giáo viên, nó đặt ra nhu cầu hiểu rõ hơn học sinh đã làm gì và đã học được gì. Giữa hai phía ấy là một điều đáng giữ lại: sự tò mò cần được khuyến khích, và sự nghi ngờ cần đi cùng bằng chứng.

Tài liệu tham khảo

1. Thanh Niên — ChatGPT hỗ trợ cho người học mức độ nào?, 03/02/2023.
2. OpenAI — New AI classifier for indicating AI-written text, 31/01/2023; cập nhật về việc ngừng công cụ ngày 20/07/2023.
3. VnExpress — OpenAI ra công cụ chống đạo văn bằng ChatGPT, 01/02/2023. Tên bài là cách gọi của báo; phát hiện văn bản AI không tự chứng minh đạo văn.
4. Liang và cộng sự — GPT detectors are biased against non-native English writers, Patterns, tháng 7/2023.