Mô hình từ o3 và o4-mini của OpenAI tuy suy luận có vẻ cao hơn nhưng lại "bịa chuyện" nhiều hơn!

[trungthuc]

o3 và o4-mini, hai mô hình trí tuệ nhân tạo (AI) suy luận mới của OpenAI, vốn được xem là kỹ thuật tiên tiến hàng đầu hiện này ở nhiều khía cạnh. Tuy nhiên, o3 và o4-mini vẫn gặp bị "ảo giác", thậm chí còn nhiều hơn một số mô hình AI cũ của OpenAI.

"Ảo giác" ở đây có nghĩa là mô hình AI đưa ra thông tin sai lệch, không chính xác hoặc tự bịa ra, nhưng trông có vẻ đúng và có tính thuyết phục. Mô hình ngôn ngữ đôi khi không thực sự hiểu rõ câu hỏi mà chỉ có dự đoán tiếp theo dựa trên số liệu đã học được. Nếu không có đủ thông tin rõ ràng từ "ngữ cảnh" ("linguistic context") , AI có thể "đoán đại" theo cách có vẻ hợp lý.

"Ảo giác" đã được chứng minh là một trong những vấn đề lớn nhất và khó giải quyết nhất trong AI, ngay cả với những hệ thống có năng suất và hiệu quả cao nhất hiện nay. Trong quá khứ, mỗi mô hình AI mới đều tìm cách nâng cao, cải thiện phần nào về mặt này, tạo ra ít "ảo giác" hơn so với thế hệ trước. Tuy nhiên, điều đó dường như không đúng với o3 và o4-mini.

Theo các bài kiểm tra nội bộ của OpenAI, o3 và o4-mini tạo ra "ảo giác" thường xuyên hơn so với các mô hình suy luận trước đó như o1, o1-mini và o3-mini, cũng như mô hình truyền thống như GPT-4o. Điều đáng lo hơn là OpenAI hiện vẫn chưa nắm rõ nguyên nhân vì sao mà điều này lại xảy ra.

Trong báo cáo kỹ thuật về o3 và o4-mini, OpenAI cho biết "cần có thêm nhiều nghiên cứu khác" để hiểu ra lý do tại sao việc cho mở rộng các mô hình suy luận lại khiến cho vấn đề "ảo giác" lại trở nên nghiêm trọng hơn. Dù rằng mô hình o3 và o4-mini có hiệu suất tốt hơn ở một số lĩnh vực như lập trình và toán học, nhưng vì chúng "đưa ra nhiều câu trả lời hơn", nên cũng thường tạo ra "thông tin vừa chính xác và vừa sai lệch/ảo giác nhiều hơn", theo báo cáo này.

OpenAI đã phát hiện ra mô hình o3 đã tạo ra "ảo giác" trong 33% câu hỏi thuộc PersonQA (bộ chỉ số nội bộ công ty sử dụng để đánh giá độ chính xác kiến thức về con người của mô hình). Con số này gần như gấp đôi tỷ lệ "ảo giác" của các mô hình suy luận trước đó của o1 (16%) và o3-mini (14.8%). Trong khi o4-mini lại còn tệ hơn, "ảo giác" có đến 48% trên PersonQA.

o3 và o4-mini bị "ảo giác" nhiều hơn một số mô hình AI cũ của OpenAI (Ảnh: TechCrunch)

Cuộc kiểm tra độc lập từ Transluce, phòng thí nghiệm nghiên cứu AI bất vụ lợi, cũng ghi nhận mô hình o3 có xu hướng "bịa ra" những bước mà nó đã làm để đi đến kết luận trong quá trình đưa ra câu trả lời. Trong một ví dụ, Transluce quan sát thấy o3 khẳng định rằng, nó đã chạy một đoạn mã trên MacBook Pro 2021 "bên ngoài ChatGPT" rồi sao chép kết quả vào câu trả lời, điều mà mô hình suy luận này hoàn toàn không thể làm được.

Neil Chowdhury, chuyên gia nghiên cứu tại Transluce và là cựu nhân viên OpenAI, cho rằng: "Giả thuyết của chúng tôi là loại học tăng cường được sử dụng trong các mô hình dòng o có thể đã khuếch đại lên các vấn đề vốn thường được giảm thiểu (nhưng không bị loại bỏ hoàn toàn) bởi các quy trình xử lý hậu huấn luyện theo tiêu chuẩn".

Sau khi một mô hình AI được huấn luyện xong dựa trên nguồn số liệu lớn, nó vẫn chưa sẵn sàng để cho sử dụng ngay. Thông thường sẽ cần có thêm các bước hậu huấn luyện để giúp cải thiện chất lượng ở đầu ra, độ an toàn và khả năng hiểu biết sâu.

Học tăng cường là phương pháp "học máy" (machine learning), trong đó một thao tác tử AI học cách đưa ra quyết định bằng cách tương tác với môi trường và nhận lại phản hồi dưới dạng phần thưởng hoặc hình phạt. Mục tiêu của việc học tăng cường là giúp thao tác tử AI tối đa hóa phần thưởng dài hạn thông qua các hành động mà nó thực hiện trong môi trường.

Ứng dụng của học tăng cường
- Chơi game: Học tăng cường đã được sử dụng để huấn luyện các hệ thống AI chơi game, chẳng hạn AlphaGo của Google DeepMind.
- Robot: Điều khiển robot để học cách thực hiện các thao tác phức tạp như di chuyển hoặc thu thập đồ vật
- Tối ưu hóa: Ứng dụng trong các lĩnh vực như quảng cáo, tài chính và quản trị tài nguyên để tối đa hóa lợi nhuận hoặc hiệu quả.
- Xe tự lái: Học tăng cường giúp xe tự lái học cách điều khiển an toàn trong môi trường giao thông phức tạp.

Sarah Schwettmann, người đồng sáng lập ra Transluce, có nói thêm rằng "tỷ lệ "ảo giác" cao có thể khiến cho mô hình o3 kém hữu dụng hơn so với tiềm năng thực sự".

Kian Katanforoosh, giáo sư thỉnh giảng tại Đại học Stanford (Mỹ) và là Giám đốc điều hành công ty khởi nghiệp đào tạo kỹ năng Workera, cho biết đội ngũ của ông đã cho thử nghiệm mô hình o3 trong quy trình viết mã và đánh giá nó cao hơn đối thủ. Tuy nhiên, Kian Katanforoosh lưu ý rằng o3 có xu hướng bịa đặt ra các liên kết web, khi nhấp vào thì không hề hoạt động.

"Ảo giác" có thể giúp mô hình AI nghĩ ra ý tưởng thú vị và sáng tạo hơn, nhưng cũng khiến cho chúng khó được chấp nhận trong môi trường kinh doanh, nơi mà tính chính xác là sự ưu tiên hàng đầu. Ví dụ, một công ty luật sẽ không chấp nhận được việc mô hình AI đưa hàng loạt lỗi thực tế vào hợp đồng của khách hàng.

Trang bị khả năng tìm kiếm web

Một hướng đi đầy hứa hẹn để tăng độ chính xác cho mô hình AI là trang bị khả năng tìm kiếm trên web. Khi được kết hợp tìm kiếm web, GPT-4o đạt độ chính xác 90% trên SimpleQA (bộ chỉ số đánh giá độ chính xác khác của OpenAI). Tìm kiếm có thể giúp cải thiện tỷ lệ "ảo giác" trong các mô hình suy luận, ít nhất là trong những trường hợp người dùng chấp nhận chia sẻ lời nhắc với nơi cung cấp tìm kiếm bên thứ ba.

Nếu mở rộng mô hình suy luận tiếp tục làm tăng lên tỷ lệ "ảo giác", việc tìm ra giải pháp sẽ càng trở nên cấp bách hơn.

"Giải quyết vấn đề 'ảo giác' trong tất cả mô hình của chúng tôi là một lĩnh vực nghiên cứu đang xảy ra. Chúng tôi không ngừng nỗ lực nhằm cải thiện độ chính xác và độ tin cậy của chúng", Niko Felix, người phát ngôn viên của OpenAI, có chia sẻ với trang TechCrunch.

Trong năm vừa qua, ngành kỹ thuật AI đã chuyển hướng sang tập trung vào các mô hình suy luận sau khi những kỹ thuật cải thiện mô hình truyền thống có dấu hiệu bị chựng lại. Suy luận giúp mô hình AI thực hiện tốt hơn ở nhiều nhiệm vụ mà không cần tốn kém số lượng lớn tài nguyên về điện toán và số liệu. Tuy nhiên, dường như suy luận cũng có thể dẫn đến "ảo giác" nhiều hơn và đó là vẫn còn một thách thức lớn.

OpenAI cho bổ sung thêm hệ thống giám sát ngăn cản o3, o4-mini giúp cho bọn ác, kẻ xấu nghiên cứu chế tạo ra vũ khí sinh học và hóa học

OpenAI cho biết ho đã cho triển khai hệ thống giám sát mới nhằm theo dõi o3 và o4-mini với các yêu cầu cao và nghiêm khắc hơn có liên quan đến mối đe dọa về vũ khi sinh học và hóa học.

Theo báo cáo về an toàn của OpenAI, hệ thống này luôn tìm cách ngăn chặn o3 và o4-mini đưa ra lời khuyên nào có thể giúp cho ai đó muốn thực hiện các cuộc tấn công gây hại tiềm tàng.

OpenAI cho biết o3 và o4-mini thể hiện ra bước tiến lớn về năng lực so với các mô hình trước đó của công ty, vì có thể gây ra những rủi ro mới khi rơi vào tay kẻ xấu. Theo các chỉ số đánh giá nội bộ của OpenAI, mô hình o3 đặc biệt thành thạo hơn trong việc trả lời các câu hỏi có liên quan đến việc chế tạo ra một số loại vũ khí đe dọa về sinh học. Vì lý do đó, cũng như để giảm thiểu các rủi ro khác, OpenAI đã nghiên cứu và tạo ra một hệ thống giám sát mới, được mô tả là một "bộ nhớ theo dõi suy luận tập trung vào sự an toàn".

Hệ thống này được huấn luyện riêng để hiểu ra và lý giải theo chính sách về nội dung của OpenAI, được kết nối trực tiếp trên mô hình o3 và o4-mini. Nó có nhiệm vụ nhận diện các yêu cầu liên quan đến nguy cơ về sinh học và hóa học, hướng dẫn cho mô hình AI từ chối đưa ra lời khuyên hoặc cung cấp cách thức về những chủ đề nguy hại đó.

Để xây dựng cơ sở số liệu huấn luyện, OpenAI đã để các nhóm chuyên gia cho kiểm tra vấn đề an toàn, dành ra khoảng 1,000 giờ cho đánh dấu các đoạn đối thoại có liên quan đến rủi ro về sinh học không an toàn từ mô hình o3 và o4-mini. Trong một thử nghiệm mô phỏng "logic ngăn chặn" của hệ thống an toàn này, o3 và o4-mini đã từ chối trả lời các yêu cầu nguy hiểm với tỷ lệ đến 98,7%, theo báo cáo từ OpenAI.

Logic ngăn chặn này có thể hiểu là cơ chế hoặc quy trình mà hệ thống cho sử dụng để ngăn chặn hoặc từ chối một hành động cụ thể nào đó. Trong trường hợp hệ thống giám sát an toàn của OpenAI, logic ngăn chặn sẽ đề cập đến các quy tắc và thuật toán được lập trình để xác định ra các yêu cầu có liên quan đến rủi ro về sinh học và hóa học, sau đó ngăn chặn mô hình o3 và o4-mini đưa ra câu trả lời hoặc lời khuyên về những chủ đề độc hại đó.

Tuy nhiên, OpenAI cũng thừa nhận rằng sự thử nghiệm này không tính đến việc người dùng có thể thay đổi yêu cầu sau khi bị ngăn chặn. Đó là lý do tại sao mà công ty khởi nghiệp này cho biết sẽ tiếp tục dựa một phần vào sự giám sát trực quan của con người.

Theo OpenAI, o3 và o4-mini không vượt qua ngưỡng "rủi ro cao" với các mối đe dọa về vũ khí sinh học. Tuy nhiên, so với o1 và GPT-4, các phiên bản đầu tiên của o3 và o4-mini lại tỏ ra hiệu quả hơn khi trả lời câu hỏi liên quan đến việc chế tạo ra vũ khí sinh học.

OpenAI cho biết, họ đang tích cực theo dõi cách thức mà các mô hình AI của họ có thể bị lợi dụng để tạo điều kiện cho hành vi chế tạo ra vũ khí sinh học và hóa học, theo cẩm nang Preparedness Framework được công ty cho cập nhật gần đây.

Preparedness Framework (Khung tiêu chuẩn bị hoặc Khung năng lực ứng phó) là một hệ thống hoặc kế hoạch do OpenAI xcho thiết kế ra để đánh giá, theo dõi và kiểm soát rủi ro tiềm ẩn từ các mô hình AI tiên tiến, đặc biệt là khi chúng đạt đến những năng lực nguy hiểm hoặc có thể bị lạm dụng.

OpenAI ngày càng dựa vào các hệ thống tự động để giảm thiểu mức rủi ro từ các mô hình AI. Ví dụ, để ngăn hệ thống tạo ra ảnh gốc của GPT-4o tạo ra nội dung lạm dụng tình dục trẻ em, OpenAI cho biết cũng sử dụng một bộ giám sát suy luận tương tự như đang cho áp dụng với mô hình o3 và o4-mini.

Tuy vậy, một số chuyên gia nghiên cứu đã bày tỏ mối lo ngại rằng, OpenAI không đặt ra sự ưu tiên cho vấn đề an toàn một cách đúng mức. Metr, một trong các đối tác kiểm tra an toàn của OpenAI, cho biết họ có rất ít thời gian để kiểm tra mô hình o3 với các chỉ số liên quan đến hành vi lừa đảo. Trong khi đó, OpenAI lại không cho công bố ra báo cáo về an toàn cho mô hình mới GPT-4.1.

Nói thật vắn tắt lại, AI liệu có đáng tin hay không?? CÓ và KHÔNG. Vì bất cứ một phát minh mới nào cũng có ưu/khuyết điểm trong đó, nhưng rõ ràng AI giờ đây đang bị lạm dụng quá trớn do tạo ra điều kiện quá đơn giản và dễ dải cho mọi người tham gia, trong đó người tốt và kẻ xấu đang sống lẫn lộn.
Thế thì, làm sao nắm rõ được ý đồ tốt/xấu của họ?? Thiên hạ trước giờ có khuynh hướng chờ việc đã xảy ra rồi, gây ra hậu quả kinh hoàng, mới thấy hốt hoảng, báo động la làng!!