Một phương pháp huấn luyện linh hoạt hơn có thể giúp các hệ thống nhận diện văn bản bằng AI trở nên mạnh mẽ hơn khi các mô hình mới xuất hiện hoặc khi văn bản do AI tạo ra được ngụy trang để trông giống như văn bản của con người.

AI thích ứng để nhận diện văn bản do AI tạo ra và con người viết. Ảnh: Jose-Luis Olivares, MIT
Các nhà nghiên cứu từ MIT và Đại học Cornell đã chỉ ra rằng các công cụ phát hiện văn bản AI, bản thân chúng cũng là các mô hình AI, có thể bị đánh lừa bởi văn bản do AI tạo ra được ngụy trang để trông giống như được viết bởi con người. Các công cụ này cũng có thể không nhận diện được văn bản AI do sự thay đổi tự nhiên trong thói quen viết theo thời gian hoặc sự xuất hiện của các mô hình ngôn ngữ lớn (LLM) mới.
Trong một nghiên cứu mới, các nhà nghiên cứu đã chứng minh cách một kỹ thuật huấn luyện đặc biệt giúp bộ phát hiện AI trở nên chính xác hơn và có khả năng chống lại sự gian lận tốt hơn, ngay cả khi chữ viết của con người và AI liên tục thay đổi.
Họ sử dụng phương pháp thích ứng trong quá trình thử nghiệm (Test-Time Adaptation – TTA), cho phép mô hình phát hiện được triển khai học hỏi từ dữ liệu mới, chưa được gắn nhãn bằng cách điều chỉnh hoạt động bên trong của nó. Nhờ đó, mô hình có thể thích nghi với các đầu vào chưa từng thấy mà không cần phải được huấn luyện lại từ đầu.
Trong các thí nghiệm, một phần mềm nhận dạng thương mại chỉ có thể xác định được khoảng 27% văn bản do AI tạo ra đã bị ngụy trang, trong khi phương pháp mới đạt độ chính xác 93%.
Đánh lừa các thiết bị dò
Các công cụ phát hiện AI thương mại thường được huấn luyện bằng cách thu thập văn bản từ internet mà họ biết là do AI hoặc con người tạo ra, sau đó huấn luyện mô hình để phân biệt sự khác biệt giữa hai loại văn bản này.
Tuy nhiên, khi được tung ra thị trường, các công cụ nhận dạng có thể thất bại nếu văn bản cần đánh giá khác biệt đáng kể so với dữ liệu mà chúng được huấn luyện. Hiện tượng này được gọi là sự thay đổi phân bố.
Bên cạnh sự thay đổi tự nhiên trong thói quen viết của con người, việc phát hành một mô hình phát hiện cũng tạo ra cuộc rượt đuổi giữa các nhà phát triển và người dùng muốn vượt qua nó. Những người này có thể sử dụng công cụ phần mềm “nhân hóa” tự động để chỉnh sửa văn bản do AI tạo ra sao cho trông giống như văn bản do con người viết.
Điều này khiến các nhà phát triển phải liên tục kết hợp những văn bản đã được nhân hóa vào quá trình huấn luyện để bộ nhận dạng có thể nhận diện chúng. Tuy nhiên, khi các công cụ nhân hóa tiếp tục thay đổi, quá trình này lại lặp lại, tạo thành một vòng lặp không ngừng.
Các nhà nghiên cứu đã tìm hiểu xem liệu khả năng thích ứng trong quá trình thử nghiệm (TTA) có thể giúp bộ dò AI chống chịu được những thay đổi về phân bố dữ liệu này hay không.
Sự thích ứng trong hành động
Trong TTA, thay vì đóng băng mô hình để nó không thể thay đổi trong quá trình triển khai, các nhà nghiên cứu cho phép mô hình tự thích ứng với dữ liệu đến sau khi nó đã được phát hành. Đối với một trình nhận dạng văn bản AI, dữ liệu này là các đoạn văn bản mới được người dùng tải lên.
Những dữ liệu này chưa được gắn nhãn, vì vậy các nhà phát triển không biết dữ liệu nào do con người viết và dữ liệu nào do AI tạo ra. Tuy nhiên, chúng thể hiện chữ viết đương đại của con người và AI – chính xác là những gì các nhà phát triển muốn mô hình có thể dự đoán được. Với đủ số lượng ví dụ, bộ dò sẽ học cách nhận diện các mẫu để xác định dữ liệu nào do AI tạo ra và dữ liệu nào do con người tạo ra.
Để nghiên cứu TTA, các nhà nghiên cứu đã tạo ra những tập dữ liệu chứa văn bản do AI và con người tạo ra, đồng thời sử dụng LLM để tạo ra một số ví dụ giống với văn bản do AI viết nhằm mục đích né tránh bộ phát hiện.
Kết quả cho thấy, trong các thí nghiệm mô phỏng sự thay đổi tự nhiên của ngôn ngữ con người theo thời gian, thiết bị phát hiện sử dụng TTA đạt độ chính xác 85%, trong khi các phương pháp truyền thống chỉ đạt 73%.
Đặc biệt, khi đánh giá những văn bản được thiết kế để đánh lừa công cụ phát hiện, các phương pháp hiện có chỉ có thể xác định được khoảng 27%, trong khi TTA cho phép mô hình phát hiện hơn 93% văn bản ngụy trang.
Tuy nhiên, các nhà nghiên cứu cảnh báo rằng TTA có thể không phải lúc nào cũng là giải pháp hiệu quả. Các mô hình ngôn ngữ lớn trong tương lai sẽ tạo ra ngôn ngữ tự nhiên hơn, khiến việc tìm kiếm văn bản do con người viết để sử dụng cho quá trình huấn luyện trở nên khó khăn hơn.
Hiện vẫn còn những câu hỏi lớn chưa được giải đáp về cách chúng ta nên nhìn nhận khoa học, văn chương và nghệ thuật trong một thế giới mà việc phân biệt giữa nội dung do con người tạo ra và nội dung do trí tuệ nhân tạo tạo ra ngày càng trở nên khó khả thi.
Trong tương lai, các nhà nghiên cứu muốn khám phá những lĩnh vực mà TTA có thể hữu ích và xây dựng các công cụ đánh giá tốt hơn để giúp các kỹ sư cải thiện các mô hình phát hiện AI một cách linh hoạt.
Nguồn: MIT News