OpenAI giảm ngữ cảnh Codex trên GPT-5.6: nhà phát triển bất bình, doanh nghiệp lo ngại

OpenAI vừa phát hành bản cập nhật cho Codex CLI, công cụ lập trình AI, trong đó giảm cửa sổ ngữ cảnh đầu vào mặc định cho GPT-5.6 từ 372.000 token xuống còn 272.000 token. Thay đổi này đồng nghĩa với việc Codex sẽ lưu giữ ít mã nguồn, lịch sử hội thoại và thông tin phiên hơn trước khi nén ngữ cảnh cũ để nhường chỗ cho thông tin mới. Động thái này ngay lập tức gây ra làn sóng chỉ trích từ các nhà phát triển trên Reddit và X (Twitter), những người cho rằng việc giảm token sẽ khiến Codex kém hiệu quả trong các phiên lập trình kéo dài do phải nén ngữ cảnh thường xuyên hơn.

Ảnh hưởng đến năng suất và quy trình làm việc

Theo các chuyên gia phân tích, việc giảm cửa sổ ngữ cảnh có thể tác động tiêu cực đến năng suất của nhà phát triển và làm chậm quá trình áp dụng các tác nhân tự động (AI agent) trong quy trình doanh nghiệp. Pareekh Jain, nhà phân tích chính tại Pareekh Consulting, nhận định: “Việc giảm ngữ cảnh trong Codex khó ảnh hưởng đến các tác vụ lập trình thông thường như sửa lỗi hoặc thay đổi vài tệp, nhưng có thể tác động đến các cơ sở mã lớn, tái cấu trúc toàn bộ kho lưu trữ và các phiên làm việc kéo dài.” Ông giải thích thêm: “Ít bộ nhớ hơn mỗi phiên đồng nghĩa với việc AI agent quên các phần trước của phiên lập trình dài sớm hơn. Agent có thể phải tóm tắt hoặc tải lại ngữ cảnh thường xuyên hơn, làm tăng số lần tìm kiếm lặp lại, đôi khi mất các quyết định trước đó và buộc nhà phát triển phải thiết lập lại ngữ cảnh.”

Muskan Bandta, cộng tác viên đám mây tại ZopDev, cho rằng nhu cầu quản lý ngữ cảnh thủ công này đi ngược lại “toàn bộ sức hấp dẫn” của các công cụ như Codex vốn hứa hẹn cải thiện năng suất ngay lập tức. Cô nói: “Nhiều nhà phát triển đang nói rằng các phiên của họ hiện dành nhiều thời gian cho việc nén hơn là thực sự làm việc.” Bandta cũng chỉ ra rằng mặc dù việc giảm ngữ cảnh có thể không làm tăng hóa đơn trực tiếp, nhưng nó thể hiện qua nhiều lần thử lại, nhiều lần nén hơn và các kỹ sư phải dành nhiều thời gian giám sát công cụ hơn. “Chi phí chỉ chuyển từ hóa đơn sang thời gian của nhóm bạn.”

Doanh nghiệp phải thích ứng với ràng buộc mới

Amit Jena, giám đốc phát triển AI tại Kanerika, cho biết việc giảm ngữ cảnh sẽ buộc các nhóm phát triển phải lựa chọn giữa hai lựa chọn: chấp nhận rằng agent đang suy luận với bức tranh không đầy đủ về ngữ cảnh cần thiết, hoặc học cách quản lý một ràng buộc thiết kế mới xoay quanh việc nén ngữ cảnh. Jena nhấn mạnh các nhóm phát triển sẽ cần thiết kế quy trình làm việc chủ động quản lý ngữ cảnh: chia công việc thành các tác vụ nhỏ hơn, dựa nhiều hơn vào cơ chế truy xuất (retrieval) và giám sát mức tiêu thụ ngữ cảnh. Bandta đồng tình rằng ràng buộc thiết kế bắt buộc này sẽ làm chậm quá trình áp dụng quy trình làm việc dựa trên agent trong doanh nghiệp: “Ngữ cảnh là bộ nhớ làm việc của agent, vì vậy cắt giảm một phần ba sẽ thay đổi những gì bạn có thể tin tưởng nó làm.”

Bài học: xây dựng linh hoạt, không phụ thuộc vào một nền tảng AI

Các nhà phân tích chỉ ra rằng sự kiện này là lời nhắc nhở rằng doanh nghiệp nên tránh gắn chặt quy trình phát triển phần mềm vào các đặc điểm vận hành hiện tại của các nền tảng AI được quản lý, vì giới hạn ngữ cảnh, giá cả, hành vi thời gian chạy và khả năng sẵn có của mô hình đều có thể thay đổi mà không báo trước. Pareekh Jain khuyến nghị: “Doanh nghiệp nên tránh phụ thuộc vào bất kỳ cửa sổ ngữ cảnh đơn lẻ nào, liên tục đo điểm chuẩn các công cụ AI trên khối lượng công việc thực tế và xây dựng quy trình làm việc xoay quanh truy xuất, thiết kế mô-đun và điều phối agent để duy trì khả năng phục hồi khi các mô hình phát triển.” Jena từ Kanerika cũng đồng quan điểm: “Cách tiếp cận đúng đắn là xây dựng các pipeline phát triển hỗ trợ AI có thể xuống cấp một cách duyên dáng khi các tham số vận hành thay đổi: đo lường mức tiêu thụ ngữ cảnh của bạn, không mã hóa cứng ngân sách ngữ cảnh và coi các thông số kỹ thuật hiện tại của nhà cung cấp là điểm khởi đầu, không phải hợp đồng.” Tương tự, Bandta khuyên doanh nghiệp nên coi các nền tảng AI được quản lý như bất kỳ phụ thuộc phần mềm quan trọng nào khác: “Đừng xây dựng bất cứ thứ gì chỉ hoạt động tốt ở rìa giới hạn, và giữ đủ linh hoạt để không bị mắc kẹt nếu một nhà cung cấp thay đổi thỏa thuận.”

Theo InfoWorld

Ảnh: Boskampi / Pixabay