Chip AI RISC-V Jingang GC3: 200 TOPS, kiến trúc dataflow nhắm giảm chi phí video AI

Trong bài phỏng vấn đăng ngày 6/8 trên Zhidx, ông Wu Dongdong, CTO của hãng chip Trung Quốc Zhongke Tongliang, hé lộ chip AI RISC-V (kiến trúc tập lệnh mở) Jingang GC3: kiến trúc dataflow (dòng dữ liệu), 12 lõi RISC-V, 200 TOPS INT8, 128GB LPDDR5 ECC hợp nhất, được thiết kế để giảm chi phí tạo video AI.

Video đang trở thành mảnh đất cạnh tranh sôi động nhất của ngành AI năm nay. Seedance 2.0 gây chú ý toàn cầu, rồi đến lượt MiniMax H3 và Seedance 2.5 ra mắt trong tuần trước, cho thấy các doanh nghiệp Trung Quốc đang dẫn đầu ở các kịch bản như sinh video từ văn bản, từ ảnh. Ứng dụng vào phim ảnh, phim ngắn và thương mại điện tử cũng đang tăng tốc.

Nhưng phía sau sự sôi động là bài toán chi phí. Suy luận (inference) – quá trình mô hình AI đã huấn luyện tạo ra kết quả – trong video vẫn rất đắt, trong khi nhu cầu xử lý nhiều luồng video theo thời gian thực ngày càng lớn. Các GPU (bộ xử lý đồ họa) đa năng, vốn là lực lượng tính toán chính, bộc lộ rõ nhược điểm khi làm việc với video: lãng phí sức mạnh tính toán, tiêu hao điện năng cao và độ trễ lớn.

Vì sao video AI cần chip chuyên dụng thay vì GPU?

Khi xử lý tác vụ hiểu video – ví dụ an ninh, kiểm tra chất lượng, rà soát nội dung – luồng video được CPU (bộ xử lý trung tâm) hoặc bộ phận giải mã chuyển thành từng khung hình, rồi GPU chạy các mô hình nhận diện vật thể, hành vi. Với tác vụ tạo video, quy trình đảo ngược: GPU chạy mô hình khuếch tán (diffusion) hoặc Transformer – hai kiến trúc AI phổ biến – để sinh từng khung hình, sau đó bộ mã hóa nén thành video.

Ông Wu chỉ ra điểm chung của cả hai chiều: chi phí vận chuyển dữ liệu quá lớn. Ở bài toán hiểu video, nhiều luồng cùng lúc phải trao đổi dữ liệu giữa bộ nhớ và khối tính toán, làm độ trễ tăng cao. Ở bài toán tạo video, mô hình lớn có tham số (parameter) lên tới hàng trăm GB, mỗi lần đọc ghi trung gian đều tiêu tốn băng thông và điện năng.

Gốc rễ nằm ở kiến trúc von Neumann, nền tảng của CPU và GPU ngày nay: lệnh và dữ liệu nằm chung bộ nhớ, một bộ đếm chương trình (program counter) lần lượt lấy lệnh để thực thi. Cách vận hành theo luồng điều khiển này linh hoạt với chương trình có nhiều rẽ nhánh, nhưng với video – loại dữ liệu song song, khối lượng lớn, tính toán đều đặn – nó bộc lộ ba điểm nghẽn.

Thứ nhất, tính song song bị giới hạn bởi cửa sổ lệnh, nên nhiều phép toán ngoài cửa sổ phải chờ. Thứ hai, chi phí truy cập bộ nhớ cao vì lệnh và dữ liệu chen chúc trong cùng một bộ nhớ, càng nhiều luồng video càng lãng phí. Thứ ba, các nhân tính toán phải liên tục đồng bộ hóa với nhau, khiến việc chờ đợi tăng theo số nhân và ảnh hưởng tới thời gian thực.

Những hạn chế đó biến thành chi phí thực tế. Doanh nghiệp làm video AI thường tính phí theo token (đơn vị dữ liệu mà mô hình xử lý), nếu chi phí suy luận không giảm thì mô hình kinh doanh khó đứng vững. Còn ở các kịch bản giám sát, đô thị thông minh, kiểm tra công nghiệp, hàng nghìn luồng video cần phân tích đồng thời, kiến trúc GPU đa năng khó đáp ứng thời gian thực.

Chip AI RISC-V Jingang GC3 của Zhongke Tongliang có gì đặc biệt?

Jingang GC3, ra mắt hồi nửa đầu năm nay, là câu trả lời của Zhongke Tongliang – công ty Trung Quốc được đánh giá là một trong những đơn vị sớm đưa kiến trúc dataflow vào sản xuất. Chip này dùng dataflow làm động cơ tính toán, RISC-V làm bộ điều khiển và bộ nhớ hợp nhất để giảm khâu vận chuyển dữ liệu.

Khác với luồng điều khiển, dataflow bỏ bộ đếm chương trình: chương trình được mở ra thành một đồ thị, mỗi phép tính là một nút, mối quan hệ dữ liệu là đường nối giữa các nút. Một lệnh chạy khi toàn bộ dữ liệu đầu vào đã sẵn sàng, giống dây chuyền nhà máy: công nhân không chờ chỉ đạo trung tâm, có đủ linh kiện là làm ngay. Ông Wu tóm tắt triết lý: dữ liệu sẵn sàng là lệnh được thực thi.

Đây cũng là ý tưởng cốt lõi của LPU (Language Processing Unit) – đơn vị xử lý ngôn ngữ đang gây chú ý trong giới chip AI. Sự nổi lên của LPU cho thấy dataflow phù hợp với các bài toán suy luận mật độ cao, độ trễ thấp và đang từ hướng nghiên cứu trở thành lựa chọn của ngành.

Với video, dataflow giúp các phép tính song song chạy đồng thời, không bị nghẽn bởi cửa sổ lệnh, nhờ đó tăng hiệu suất sử dụng tính toán. Kết quả trung gian có thể chuyền thẳng giữa các khối tính toán thay vì ra vào bộ nhớ liên tục, cắt giảm băng thông và điện năng. Bộ nhớ hợp nhất 128GB LPDDR5 ECC cho phép một chip chứa trọn tham số mô hình và kết quả trung gian, tránh việc phải phân tán qua nhiều card và vận chuyển qua lại giữa chúng.

Con số 200 TOPS INT8 nghĩa là chip có thể thực hiện 200 nghìn tỷ phép tính số nguyên 8 bit mỗi giây. Ngoài ra, 12 lõi RISC-V đóng vai trò “keo dán” điều phối các khối tính toán, giúp phần cứng có thể cấu hình lại theo từng loại tác vụ. Cùng một chip có thể giải mã 128 luồng video 1080p cho tác vụ hiểu video, hoặc tái cấu hình để mã hóa video 8K, 120 khung hình/giây cho tác vụ tạo video.

Phương án này cũng nhằm đối phó với vòng đời mô hình ngày càng ngắn, hiện chỉ khoảng 3 tháng một bản. Theo ông Wu, 70-80% phép toán cấp thấp không thay đổi giữa các thế hệ mô hình, nên phần nặng như nhân ma trận có thể cứng hóa thành khối NPU (neural processing unit – bộ xử lý mạng nơ-ron), phần thay đổi sẽ do trình biên dịch và CPU xử lý.

Hướng thương mại: từ đám mây tới AI PC

Với một kiến trúc mới, hệ sinh thái là thách thức. Zhongke Tongliang thừa nhận dataflow có lý thuyết hiệu năng cao nhưng hệ sinh thái chưa đầy đủ, nên công ty đầu tư dài hạn vào trình biên dịch, công cụ phát triển, đồng thời mở mã nguồn phần mềm và xây dựng cộng đồng lập trình viên.

Công ty còn là nhà tài trợ bạch kim của OpenAtom Foundation – tổ chức mã nguồn mở – để đóng góp tài chính, nhân lực và mã nguồn. Kết quả là các hệ điều hành Kylin, openEuler, HarmonyOS đã có thể cài trực tiếp lên chip mới, tránh tình trạng có chip nhưng không có hệ điều hành dùng.

Về thương mại, GC3 được triển khai theo hướng cloud – edge (điện toán đám mây – điện toán biên). Ở phía cloud, chip dùng cho trung tâm trí tuệ nhân tạo mật độ cao, cung cấp dịch vụ token video giá rẻ cho nhà mạng và công ty nền tảng, đồng thời giúp xây dựng nền tảng token riêng cho các khu công nghiệp, nền tảng lớn. Ở phía edge, sản phẩm gồm AI PC và hộp tính toán thông minh Xiaojingang, trước mắt tập trung vào khách hàng nghiên cứu khoa học vì họ sẵn sàng dùng thử công nghệ mới.

Ông Wu không cho rằng GPU sẽ biến mất ngay: GPU có lượng cài đặt lớn, hiệu năng cao, hệ sinh thái mạnh và dễ dùng với người dùng cá nhân. Nhưng ở những nơi phải xử lý khối lượng tác vụ đồng thời rất lớn như internet công nghiệp hay nhà mạng, quá trình thay GPU bằng chip chuyên dụng đang diễn ra. Ông cũng nói video vẫn là mảng cốt lõi, nhưng khi năng lực chip tăng, mô hình ngôn ngữ và đa phương thức cũng nằm trong tầm với.

Nghiên cứu ngành cũng chỉ về hướng này: McKinsey dự báo đến năm 2030, các bộ tăng tốc AI dùng chip chuyên dụng (ASIC – Application-Specific Integrated Circuit) sẽ xử lý phần lớn khối lượng công việc AI. Hướng đi của GC3 nằm đúng trong xu thế chip hóa chuyên dụng cho từng loại hạ tầng.

Ý nghĩa với người dùng Việt Nam

Với người Việt dùng công cụ AI tạo video, điểm đáng chú ý là bài toán chi phí. Các công cụ tạo video bằng AI đang trở nên quen thuộc trong sáng tạo nội dung, quảng cáo và giáo dục, và giá dịch vụ thường gắn với chi phí token mà nhà cung cấp phải trả.

Nếu kiến trúc dataflow giúp giảm chi phí suy luận như Zhongke Tongliang kỳ vọng, người dùng cuối ở Việt Nam có thể hưởng lợi gián tiếp khi các nền tảng video AI trên thế giới hạ giá thành. Tuy nhiên, GC3 vẫn là chip chuyên dụng ở giai đoạn đầu, nên tác động thực tế còn phụ thuộc vào tốc độ hoàn thiện hệ sinh thái và thương mại hóa.

Theo Zhidx

Ảnh: Pachon in Motion / Pexels