Công cụ Pangram phát hiện văn bản AI: Liệu có thực sự đáng tin cậy?

Pangram là một ứng dụng được thiết kế nhằm đánh giá mức độ sự tham gia của công nghệ AI trong quá trình tạo hoặc biên tập một bản văn bản. Công cụ này cung cấp một con số ước tính tỷ lệ nội dung có thể do AI sinh ra, nhưng những con số này lại gây ra nhiều tranh chấp về độ tin cậy, theo thông tin từ WIRED.

Được sáng lập vào năm 2023 bởi Max Spero và Bradley Emi dưới tên ban đầu là Checkfor.ai, công ty đã đổi tên thành Pangram một năm sau đó. Cho đến nay, họ đã huy động được khoảng 13 triệu USD tài trợ.

Pangram bắt đầu gây chú ý rộng rãi khi tiểu thuyết "Shy Girl" của tác giả Mia Ballard rơi vào tâm điểm tranh cãi về việc sử dụng AI. Mặc dù tác giả khẩn trương phủ nhận, nhưng Spero tuyên bố rằng Pangram đã phân tích bản thảo và kết luận 78% nội dung có nguồn gốc từ AI. Sau khi công khai thông tin này, nhà xuất bản Hachette quyết định hủy bỏ kế hoạch phát hành cuốn sách.

Những sự việc tương tự tiếp tục xảy ra. Một bài đăng trên chuyên mục Modern Love của tờ The New York Times và một tác phẩm giành giải Commonwealth Short Story Prize đều được Pangram đánh giá là có 100% nội dung do AI tạo. Trong khi đó, tiểu thuyết Daggermouth nhận được đánh giá 60% từ công cụ này.

Vào cuối tháng 7, nền tảng Substack công bố việc tích hợp Pangram vào hệ thống của mình, cho phép các độc giả có khả năng kiểm tra liệu bài viết họ đọc có được tạo bằng AI hay không.

Mặc dù Pangram ngày càng được sử dụng rộng rãi, công cụ này cũng phải đối mặt với những chỉ trích gay gắt. Jane Friedman, một chuyên gia nổi tiếng về xuất bản, bày tỏ lo ngại rằng nhiều tác giả lo sợ các phần mềm phát hiện AI có thể gây hại nếu đưa ra những kết luận không chính xác.

Theo Pangram, hệ thống của họ được huấn luyện thông qua việc so sánh các văn bản viết bởi con người với những nội dung được tạo ra bởi AI. Tuy vậy, công ty cũng thừa nhận rằng công cụ hoạt động kém hiệu quả với những đoạn văn ngắn dưới 100 từ, và cùng một nội dung có thể cho kết quả khác nhau tùy theo cách thức kiểm tra.

Một cuộc nghiên cứu do Đại học Notre Dame thực hiện cho thấy Pangram phiên bản 3.2 có xu hướng nhầm lẫn đánh dấu những văn bản chỉ được AI chỉnh sửa một cách nhẹ nhàng là nội dung hoàn toàn do AI tạo ra, với tỷ lệ sai sót dao động từ 64-80%. Khi các nội dung được AI sinh ra được xử lý qua những công cụ "nhân hóa" nhằm làm cho chúng trở nên tự nhiên hơn, Pangram chỉ phát hiện được chưa đến 4% những trường hợp này.

Ngoài vấn đề độ chính xác, Sam Illingworth, giáo sư tại Đại học Edinburgh Napier, cũng cảnh báo rằng các công cụ phát hiện AI có thể chứa những định kiến tiềm ẩn.

Nhiều nghiên cứu chỉ ra rằng những người viết tiếng Anh không phải là ngôn ngữ mẹ đẻ của họ có nguy cơ bị công cụ này đánh dấu sai lầm cao hơn. Điều đáng chú ý là ba vụ kiện lớn liên quan đến cuốn sách "Shy Girl", "Daggermouth" và "Call Me, I'll Hide the Body" đều có liên quan đến những tác giả da màu, từ đó làm tăng thêm những lo ngại về khả năng thiên lệch của công cụ này.

Regina Brooks, hiện đương kim Chủ tịch Hiệp hội Đại diện Văn học Hoa Kỳ, cho rằng ngành công nghiệp xuất bản cần có sự cẩn trọng khi nhận biết những bất công bằng có thể xuất hiện từ việc sử dụng các công cụ như vậy.

Mặc dù Pangram được sử dụng ngày càng phổ biến trong lĩnh vực xuất bản, nó chưa được xem là một bằng chứng quyết định. Penguin Random House xác nhận rằng các biên tập viên của họ có thể sử dụng những công cụ phát hiện AI, nhưng kết quả chỉ đóng vai trò là một yếu tố trong quá trình đánh giá rộng hơn và không có tính chất quyết định cuối cùng.

Tuhin Chakrabarty, giáo sư khoa học máy tính tại Đại học Stony Brook, đã từng sử dụng Pangram để phân tích 14.419 cuốn tiểu thuyết tự xuất bản và phát hiện ra rằng gần 20% trong số đó có mức sử dụng AI đáng kể. Dù vậy, ông cũng thẳng thắn thừa nhận rằng công cụ có thể bị lừa dối.

Max Spero khẳng định rằng Pangram hiện tập trung chủ yếu vào những trường hợp mà người ta nghi ngờ có sự che giấu có chủ ý về việc sử dụng AI. Công ty tuyên bố phiên bản mới nhất của họ có tỷ lệ dương tính giả cực kỳ thấp là 0,0041%, mặc dù họ cũng thừa nhận rằng một số nội dung được tạo bởi AI vẫn có khả năng lọt qua được sự phát hiện.

Nhìn chung, Pangram có thể là một công cụ hỗ trợ hữu ích trong bối cảnh mà công nghệ AI ngày càng trở nên phổ biến. Tuy nhiên, một con số phần trăm từ một thuật toán vẫn chưa đủ để đưa ra kết luận chắc chắn về việc liệu một tác phẩm có được tạo ra bởi AI hay bởi con người hay không.