OpenAI đã tiết lộ chi tiết về GPT-Red, một mô hình kiểm thử xâm nhập tự động nội bộ, được thiết kế để mở rộng quy mô phát hiện lỗ hổng prompt injection – một kỹ thuật tấn công bằng cách chèn các lệnh độc hại vào đầu vào của mô hình ngôn ngữ lớn (LLM). Mục tiêu là khắc phục các vấn đề trước khi các công cụ được triển khai rộng rãi.

GPT-Red hoạt động như thế nào?

GPT-Red hoạt động giống như một chuyên gia kiểm thử xâm nhập con người: nó gửi một prompt, theo dõi cách mô hình GPT phản hồi, và lặp lại quá trình này để đạt được mục tiêu độc hại, chẳng hạn như tải dữ liệu nhạy cảm lên máy chủ bên ngoài. OpenAI cho biết: "GPT-Red là một red-teamer mạnh mẽ, và các mô hình trước đây của chúng tôi rất dễ bị tổn thương trước các cuộc tấn công prompt injection của nó. Chúng tôi sử dụng GPT-Red để huấn luyện đối kháng GPT-5.6, giúp nó trở nên mạnh mẽ hơn nhiều trước các cuộc tấn công prompt injection."

GPT-5.6 Sol: Khả năng chống chịu vượt trội

Bằng cách tích hợp trực tiếp GPT-Red vào quá trình huấn luyện các mô hình sản xuất, OpenAI tuyên bố GPT-5.6 Sol là mô hình mạnh mẽ nhất của họ cho đến nay, đạt được tỷ lệ thất bại thấp hơn 6 lần so với GPT-5.5 (mô hình tiên tiến từ bốn tháng trước) trong các bài kiểm tra prompt injection trực tiếp. Trong một loạt các môi trường kiểm tra độ bền, tỷ lệ tấn công thành công của GPT-Red đã giảm dần theo thời gian. Với phiên bản mới nhất, GPT-5.6 Sol chỉ thất bại ở 0,05% các cuộc tấn công prompt injection trực tiếp của GPT-Red.

Các cuộc tấn công mẫu được kiểm tra

Một số cuộc tấn công prompt injection mẫu được thử nghiệm bao gồm: đánh cắp thư mục nội bộ, hướng dẫn thanh toán gian lận, đánh cắp thông tin xác thực AWS, vô hiệu hóa xác thực hai yếu tố (2FA), tải lên tệp thông tin xác thực, chèn script bên ngoài, chuyển tiếp khóa API, và các script thu thập dữ liệu độc hại.

Ứng dụng thực tế: Máy bán hàng tự động và tác nhân Codex

Trong một thử nghiệm thực tế, OpenAI đã nhắm GPT-Red vào một máy bán hàng tự động dựa trên AI do Andon Labs xây dựng. Sau khi thực hành trong mô phỏng, mô hình đã tấn công tác nhân tự động và đạt được cả ba mục tiêu: giảm giá một mặt hàng đắt tiền xuống mức tối thiểu 0,50 USD, đặt hàng một mặt hàng mới trị giá 100 USD với cùng số tiền đó, và hủy đơn hàng của khách hàng khác. Sau khi tiết lộ có trách nhiệm, các biện pháp bảo vệ mới đang được thử nghiệm. Một nghiên cứu điển hình thứ hai liên quan đến việc sử dụng GPT-Red để tấn công một tác nhân dòng lệnh Codex (dựa trên GPT-5.4 mini) trong 10 tác vụ đánh cắp dữ liệu, gây ra việc truyền dữ liệu nhạy cảm nhiều hơn so với đường cơ sở GPT-5.5 được nhắc.

Phát hiện lớp tấn công mới: Fake Chain-of-Thought

Một phiên bản đầu của mô hình cũng đã phát hiện ra một lớp tấn công prompt injection trực tiếp mới gọi là tấn công Fake Chain-of-Thought (CoT), đạt tỷ lệ thành công trên 95% trên GPT-5.1 nhưng hiện nay dưới 10% đối với GPT-5.6 Sol. OpenAI cho biết: "Tương tự, một số bài kiểm tra prompt injection gián tiếp của chúng tôi nhắm vào các công cụ phát triển và trình duyệt đã bị bão hòa bởi mô hình mới nhất (độ chính xác >97%)."

Huấn luyện đối kháng và bảo mật

GPT-Red được huấn luyện bằng cách sử dụng học tăng cường tự chơi (self-play reinforcement learning), nơi mô hình và một tập hợp các mô hình LLM phòng thủ đa dạng được huấn luyện đồng thời trên một loạt các kịch bản red-teaming. GPT-Red được thưởng khi gây ra lỗi hợp lệ (ví dụ: prompt injection thành công), trong khi các mô hình phòng thủ được thưởng khi chống lại cuộc tấn công và hoàn thành nhiệm vụ ban đầu. OpenAI nhấn mạnh rằng GPT-Red được giữ tách biệt khỏi các mô hình khác để các khả năng độc hại được xây dựng trong đó không đến tay những kẻ xấu.

Vấn đề với chuẩn đánh giá SWE-Bench

Trong một diễn biến liên quan, OpenAI cho biết một cuộc kiểm toán SWE-Bench Pro cho thấy khoảng 30% nhiệm vụ bị hỏng, rút lại khuyến nghị trước đó về việc áp dụng chuẩn này để đo lường khả năng lập trình tiên tiến. OpenAI cho biết: "Chúng tôi tìm thấy bằng chứng về các vấn đề hỏng hóc trong một phần đáng kể của tập dữ liệu. Đường ống phân tích điểm dữ liệu của chúng tôi đã gắn cờ 200 (27,4%) nhiệm vụ bị hỏng, trong khi chiến dịch chú thích của con người xác định 249 (34,1%)."

Theo The Hacker News

Ảnh: cottonbro studio / Pexels