Câu chuyện cảnh giác về AI: AI chăm sóc khách hàng qua "ảo giác", bịa chuyện để trấn an người dùng

[trungthuc]

Khi kỹ thuật AI được cho áp dụng ngày một rộng rãi, tỷ lệ sai sót cũng sẽ tăng theo.

Câu chuyện mới xảy ra tuần trước tại startup AI Anysphere sẽ là một bài học cảnh tỉnh, nhắc nhở các công ty cần hết sức thận trọng hơn trong quá trình đưa ứng dụng AI vào hoạt động kinh doanh.

Startup AI Anysphere đã có hai tháng thăng tiến nhờ sự bùng nổ của phụ tá AI hỗ trợ lập trình có tên Cursor. Từng được OpenAI cân nhắc để mua lại và đang đàm phán gọi vốn với mức định giá gần 10 tỷ USD, công ty đã đạt số doanh thu hàng năm lên 100 triệu USD kể từ khi Cursor được cho ra mắt vào năm 2023. Thế nhưng, sẽ không có viên ngọc nào là hoàn hảo cả.

Cuối tuần vừa qua, Fortune có đưa tin về việc hệ thống hỗ trợ khách hàng bằng AI đã "nổi loạn" lên, gây ra làn sóng hủy bỏ đăng ký và trở thành bài học cảnh cáo cho các startup khác đang đặt ván cược lớn vào việc tự động hóa.

(Minh họa)

Vụ này đã bắt đầu khi một người sử dụng Cursor cho đăng tải trên [B]Hacker News[/B] và Reddit rằng, họ liên tục bị "đá ra" khỏi tài khoản khi cho chuyển đổi giữa các thiết bị. Khi liên lạc với bộ phận hỗ trợ, họ đã nhận được email từ một nhân vật tên "Sam", đưa ra lời giải thích nói rằng, đây là "hành vi bình thường" theo chính sách đăng nhập mới.

Thực tế, chính sách đó không hề tồn tại. Email tự động kia do chatbot gửi đi, và nội dung về chính sách mới đã do "ảo giác AI" cố tình tạo ra. Nói một cách khác, AI đã bịa chuyện ra để trấn an người dùng.

Thông tin này nhanh chóng lan rộng trong cộng đồng các lập trình viên, khiến cho nhiều người thấy bức xúc vì công ty thiếu hẳn sự minh bạch, đồng thời họ hủy bỏ đăng ký dịch vụ. Đồng sáng lập ông Michael Truell buộc phải cho đăng bài viết trên Reddit để thừa nhận về "phản hồi sai từ chatbot AI" này và cho biết công ty đang cho điều tra lỗi trong việc đăng xuất ra này. "Chúng tôi xin cáo lỗi vì sự nhầm lẫn này", ông Truell viết. Tuy nhiên, người dùng không chấp nhận lời xin lỗi bị coi là quá muộn màng này.

Các chuyên gia kỹ thuật trên LinkedIn đã nhanh chóng cảnh cáo các startup khác. "Cursor vừa vướng vào mớ bòng bong vì đã không thông báo cho người dùng rằng nhân viên hỗ trợ tên Sam thực chất là một chatbot AI đang 'ảo giác'", Cassie Kozyrko, một cựu chuyên gia từng công tác tại Google, viết trên LinkedIn.

"Tình huống này hoàn toàn có thể tránh khỏi được nếu các vị đứng đầu hiểu rằng: (1) AI có thể sai, (2) AI không thể tự chịu trách nhiệm, và (3) người dùng rất ghét bị bị lừa lọc từ một cỗ máy đóng giả con người".

(Ảnh: SoftBan Robotics)

Dù việc chăm sóc khách hàng là một trong những ứng dụng hàng đầu của AI kể từ khi ChatGPT cho ra mắt vào 2022, nhưng nó cũng tiềm ẩn nhiều rủi ro. Ông Sanketh Balakrishna, phụ trách kỹ thuật tại Datadog chia sẻ với Fortune: "Tôi sẽ rất thận trọng nếu chỉ phụ thuộc vào chatbot AI để giải quyết vấn đề của người sử dụng đến".
"Nếu tôi biết rằng chỉ có AI hỗ trợ và biết rõ, nó đôi khi sẽ bị mắc lỗi, điều đó sẽ làm suy giảm niềm tin và ảnh hưởng đến hiệu năng giải quyết vấn đề", ông nói.

Amiran Shachar, CEO của công ty bảo mật Upwind, nhấn mạnh rằng đây không phải lần đầu AI "ảo giác" gây rắc rối. Chatbot của Air Canada từng đưa ra chính sách hoàn trả tiền không có thật, trong khi Klarna buộc phải rút lại kế hoạch thay thế hoàn toàn đội ngũ chăm sóc khách hàng bằng AI sau nhiều phản ánh tiêu cực.

"Về bản chất, AI không thể hiểu được hết người dùng hoặc cách thức mà con người cho vận hành", ông này nói. "Nếu không được kiểm soát đúng cách, AI sẽ tự tin để 'lấp vào chỗ trống' với thông tin không có thật". Đối với những khách hàng là người lập trình viên như người sử dụng Cursor, thì "không sẽ có chỗ cho những lời giải thích cẩu thả".

Dù hiện tượng "ảo giác" mới chỉ xảy ra ở chatbot, các chuyên gia cảnh cáo: khi các công ty kinh doanh bắt đầu cho triển khai AI tự động, hậu quả có thể sẽ còn nghiêm trọng hơn nhiều, đặc biệt trong các lĩnh vực nhạy cảm như y tế, tài chính hay pháp lý.

Không chỉ trong lĩnh vực hỗ trợ khách hàng, AI tạo sinh (Gen AI) hiện đang được cho áp dụng trong việc lên kế hoạch marketing, đóng vai nhân viên bán hàng hoặc viết ra nội dung. Những công việc này đều tiềm ẩn nguy cơ từ "ảo giác" AI: những thông tin do trí tuệ nhân tạo tạo ra tuy có thể nghe rất hợp lý nhưng lại hoàn toàn vô giá trị, thậm chí những thông tin sai lệch còn có thể gây ra những hậu quả khôn lường trước được.