Khi một trợ lý lập trình được giao nhiều bước hơn

Dòng Chảy AI · Hành Trình AI · 09–15/03/2024

Viết một phần mềm không chỉ là gõ những dòng mã. Người làm cần hiểu yêu cầu, tìm lỗi, thử sửa, kiểm tra kết quả và quyết định liệu thay đổi có phù hợp với phần còn lại của hệ thống hay không.

Ngày 12/3/2024 theo trang công bố của Cognition, công ty giới thiệu Devin, một hệ thống AI được thiết kế để thực hiện nhiều bước trong công việc phát triển phần mềm. Ngày 14/3, VnExpress đưa tin cho độc giả Việt Nam. Cognition gọi sản phẩm là “kỹ sư phần mềm AI”; đó là cách công ty định vị công cụ, không phải bằng chứng rằng nó có thể thay thế mọi trách nhiệm của một kỹ sư. 1 2 4

Từ một gợi ý đến một chuỗi hành động

Cognition mô tả Devin có môi trường làm việc với trình duyệt, trình soạn mã và dòng lệnh — nơi gửi các lệnh cho máy tính. Trong các ví dụ công bố, hệ thống nhận một yêu cầu rồi thực hiện nhiều bước để chuẩn bị, sửa mã và kiểm tra. Công ty cũng nói người dùng có thể theo dõi và phản hồi trong quá trình đó. 2

Có thể hiểu một AI agent là hệ thống sử dụng mô hình AI để lựa chọn và thực hiện một số hành động hướng tới mục tiêu. Mức tự chủ và công cụ được phép dùng thay đổi theo thiết kế; từ “agent” không bảo đảm hệ thống luôn hiểu đúng mục tiêu hoặc làm việc an toàn.

Giả sử một nhóm muốn sửa lỗi trong ứng dụng. Một hệ thống có thể đề xuất thay đổi và chạy kiểm tra, nhưng nhóm vẫn cần xem thay đổi có phù hợp, kiểm tra tác động ngoài các bài thử và quyết định có chấp nhận hay không. Đây là ví dụ minh họa; Dòng Chảy AI không tự thử Devin cho nhiệm vụ này.

Một kết quả thử nghiệm nói được gì?

Cognition công bố kết quả trên SWE-bench, bộ bài kiểm tra gồm các vấn đề lập trình lấy từ dự án mã nguồn mở. Ngày 15/3, công ty mô tả cách họ cho Devin xử lý yêu cầu và dùng các bài kiểm thử tự động để đánh giá bản sửa. Công ty báo cáo hệ thống giải quyết được 13,86% số vấn đề theo cách đánh giá của họ. Đây là kết quả do nhà phát triển công bố, không phải phép thử độc lập do Dòng Chảy AI xác nhận. 2 3

Con số đó giúp mô tả một bài kiểm tra, nhưng không phải tỷ lệ phần trăm công việc của mọi kỹ sư mà AI có thể thay thế. Nhiệm vụ thực tế còn bao gồm trao đổi với khách hàng, hiểu bối cảnh, bảo mật, bảo trì và trách nhiệm đối với kết quả. Một bộ kiểm thử không đo đầy đủ tất cả những việc đó.

Cognition chọn và công bố các video minh họa; VentureBeat đưa tin dựa trên thông báo và các ví dụ này. Các video giúp người đọc thấy công ty muốn sản phẩm hoạt động như thế nào, nhưng không phải mẫu đại diện cho mọi yêu cầu hoặc bằng chứng công cụ luôn thành công. 2 4

Điều này có ý nghĩa gì với người Việt?

VnExpress đưa tin Devin chưa được cung cấp rộng rãi vào thời điểm đó. Báo chí Việt Nam đã giới thiệu sự kiện, nhưng những nguồn trong bài không đo tác động đối với việc làm hay năng suất của lập trình viên Việt Nam. 1

Với người quản lý một dự án phần mềm, câu hỏi thực tế không chỉ là AI có viết mã được không. Cần biết ai đặt yêu cầu, hệ thống có quyền truy cập gì, thay đổi được kiểm tra ra sao và ai chịu trách nhiệm trước khi đưa kết quả vào sử dụng. Đây là những câu hỏi quản trị chung, không phải kết luận rằng một công cụ cụ thể đã an toàn hay không an toàn.

Sự kiện tháng 3 cho thấy một hướng phát triển từ việc gợi ý từng đoạn mã sang thực hiện chuỗi bước dài hơn. Giá trị của hướng ấy phụ thuộc vào chất lượng kết quả và cách con người giám sát công việc — những điều một cái tên hay một bảng điểm không thể tự chứng minh.

Tài liệu tham khảo

1. VnExpress — Kỹ sư phần mềm AI đầu tiên trên thế giới, 14/3/2024; đưa tin Việt Nam, tiêu đề phản ánh cách giới thiệu sản phẩm.
2. Cognition — Introducing Devin, 12/3/2024; thông báo và trình diễn của nhà phát triển.
3. Cognition — SWE-bench technical report, 15/3/2024; phương pháp và kết quả do công ty công bố.
4. VentureBeat — Cognition launches Devin, 12/3/2024; tường thuật độc lập dựa trên giới thiệu và kết quả do công ty cung cấp.