Kể từ năm 2022, năm startup gồm Cerebras, Groq, SambaNova, Etched và Tenstorrent đã thiết kế chip chuyên dụng cho suy luận (inference) của mô hình ngôn ngữ lớn (LLM). Điểm chung của họ là cho rằng GPU của NVIDIA được tối ưu cho huấn luyện (training) với khả năng tính toán song song hàng tỷ tham số, trong khi suy luận lại tuân theo logic hoàn toàn khác: thực thi tuần tự, nhạy cảm với độ trễ và bị giới hạn bởi băng thông bộ nhớ. Đến năm 2026, Cerebras tuyên bố đạt 2.500 token/giây/người dùng trên Llama 3.1 405B; dữ liệu độc lập xác nhận Groq đạt 877 token/giây trên Llama 3 8B. Tuy nhiên, bức tranh phức tạp hơn: Groq bị NVIDIA mua lại tháng 12/2025, Etched huy động 620 triệu USD nhưng chưa giao chip cho khách hàng ngoài, Tenstorrent chỉ đạt 50% hiệu năng lý thuyết.
Tại sao GPU không phải chip lý tưởng cho suy luận?
Hãy tưởng tượng một xưởng sản xuất đồ nội thất. Nếu cần sản xuất 1.000 chiếc bàn giống hệt nhau, nhà máy lớn với 200 công nhân làm việc song song là lựa chọn tốt nhất – tương tự kịch bản huấn luyện LLM. Nhưng khi một khách hàng chỉ muốn một chiếc ghế tùy chỉnh, 200 công nhân đó không thể giúp gì: máy móc quá lớn, không phù hợp với tác vụ tuần tự; khách hàng vẫn phải đợi công nhân đầu tiên hoàn thành bước một mới đến bước tiếp theo. Đó chính là kịch bản suy luận LLM.
Nút thắt băng thông bộ nhớ: Suy luận LLM sinh từng token một theo kiểu tự hồi quy. Ở mỗi bước, mô hình phải đọc tất cả tham số từ bộ nhớ, cùng với bộ nhớ đệm KV (KV cache) tăng dần theo token đã sinh. Trên GPU NVIDIA H100, băng thông bộ nhớ HBM là 3,35 TB/s. Với mô hình Llama 3.1 70B dùng FP16, mỗi bước cần đọc khoảng 140 GB trọng số – độ trễ lý thuyết tối thiểu khoảng 42 mili giây mỗi token, tức một người dùng chỉ nhận được khoảng 24 token/giây ở chế độ giải mã.
Vấn đề cấu trúc: GPU được thiết kế cho huấn luyện, tối đa hóa mức sử dụng đơn vị tính toán (ví dụ: nhân ma trận trên batch lớn). Suy luận tự hồi quy không thể xử lý song song các token tương lai – vì chúng chưa được sinh ra. Khi suy luận với batch nhỏ, sức mạnh tính toán của GPU bị lãng phí rất nhiều.
Các chỉ số thường bị nhầm lẫn
Thông lượng (aggregate tokens/s): Tổng số token xử lý trên mọi yêu cầu. Là chỉ số chi phí trung tâm dữ liệu và máy chủ. Xử lý theo batch cải thiện chỉ số này – càng nhiều yêu cầu được nhóm lại, mức sử dụng chip càng cao.
Độ trệ người dùng đơn lẻ (tokens/s per user): Thông lượng mà một người dùng tương tác cảm nhận được. Xử lý batch không cải thiện chỉ số này; ngược lại, càng nhiều yêu cầu song song càng làm tăng độ trệ. Đây là chỉ số quan trọng cho ứng dụng đối thoại.
Thời gian token đầu tiên (TTFT): Độ trễ trước khi token đầu tiên xuất hiện. Quan trọng với ứng dụng tương tác.
Chi phí mỗi token: Chi phí hạ tầng để sinh một token. Phụ thuộc vào tổng chi phí sở hữu (TCO) và năng lượng.
Nói đơn giản: khi nhà cung cấp tuyên bố “1.000 token/giây”, câu hỏi then chốt là: 1.000 token đó là tổng từ 50 yêu cầu đồng thời (mỗi người 20 token/giây) hay một người dùng trực tiếp nhận 1.000 token? Sự khác biệt lên tới 50 lần. Hai chỉ số này có mục đích riêng, không thể thay thế cho nhau.
Cerebras WSE-3 – Toàn bộ tấm silicon wafer
Ý tưởng cốt lõi: loại bỏ bus bộ nhớ ngoài. Cerebras chọn giải pháp triệt để nhất cho nút thắt băng thông: loại bỏ hoàn toàn bộ nhớ ngoài. WSE-3 chiếm toàn bộ diện tích tấm wafer silicon 300 mm – 46.225 mm², trong khi H100 chỉ 814 mm² (lớn hơn 57 lần). Nó tích hợp trực tiếp: 4 nghìn tỷ bóng bán dẫn (TSMC 5nm), 900.000 lõi AI (lõi Sparse Linear Algebra), 44 MB SRAM trên chip, băng thông bộ nhớ 21 PB/s – gấp khoảng 7.000 lần băng thông HBM của H100.
Ý tưởng: bằng cách loại bỏ bus bộ nhớ ngoài, WSE-3 loại bỏ nút thắt giới hạn hiệu năng suy luận của GPU. H100 phải tải trọng số từ HBM với tốc độ 3,35 TB/s, còn WSE-3 đọc từ SRAM trên chip với tốc độ 21 PB/s, nhanh hơn 3-4 bậc độ lớn.
Kiểm chứng tam giác: Cerebras không tham gia MLPerf Inference – không có so sánh chuẩn hóa. Số liệu 969 và 2.522 token/giây đến từ truyền thông của Cerebras. Kiểm chứng tam giác duy nhất có được từ cộng đồng (Adam Holter, 2026) qua API công khai của Cerebras trên Llama4Scout xác nhận khoảng 2.600 token/giây.
Hạn chế kiến trúc: 44 GB SRAM trên chip không đủ cho mô hình rất lớn (Llama 3.1 405B ở FP16 khoảng 800 GB). Cerebras dùng kiến trúc suy luận phân tầng: tiền xử lý trên AWS Trainium để nạp dữ liệu trước, sau đó WSE-3 đảm nhận giải mã.
Lộ trình 2025-2026: Tháng 1/2026, OpenAI ký thỏa thuận nhiều năm, nhận 750 MW công suất Cerebras, hợp đồng ước tính trên 10 tỷ USD. Tháng 3/2026, AWS triển khai WSE-3 qua Amazon Bedrock, tích hợp nền tảng đám mây siêu quy mô đầu tiên. Tháng 4/2026, Cerebras nộp hồ sơ niêm yết Nasdaq, định giá tối thiểu 35 tỷ USD, doanh thu 2025 là 510 triệu USD.
Groq LPU – Thương vụ mua lại thay đổi cuộc chơi
Kiến trúc xác định: không quyết định thời gian chạy. Groq phát minh LPU (Language Processing Unit), một đột phá căn bản so với kiến trúc GPU. Trong khi GPU đưa ra quyết định mỗi chu kỳ (bộ lập lịch phần cứng quản lý tranh chấp tài nguyên, cache miss, dự đoán nhánh), LPU hoàn toàn biên dịch và xác định: trình biên dịch Groq (GXCC) tính toán trước đồ thị thực thi hoàn chỉnh, bao gồm giao tiếp giữa các chip, đến từng chu kỳ đồng hồ. Khi chạy, phần cứng không đưa ra bất kỳ quyết định nào.
Kiến trúc LPU nội bộ: SRAM là bộ nhớ làm việc chính (không có HBM hoặc cache phân tầng); băng thông SRAM hơn 80 TB/s (H100 HBM khoảng 8 TB/s); các mô-đun thực thi chuyên dụng: ma trận (tensor dày), vector (số học từng điểm), chuyển mạch (di chuyển dữ liệu có cấu trúc).
Điểm chuẩn (dữ liệu độc lập): So với một GPU H100 đơn lẻ giải mã Llama 3.1 70B khoảng 24 token/giây (một người dùng) – Groq trên cùng mô hình đạt hiệu năng gấp khoảng 12 lần. Tỷ lệ này tương ứng với lợi thế SRAM so với HBM về mặt kiến trúc.
Sự kết thúc của Groq độc lập: NVIDIA mua lại tháng 12/2025. Ngày 24/12/2025, NVIDIA mua Groq với giá 20 tỷ USD. Người sáng lập và hầu hết kỹ sư gia nhập NVIDIA. Kết quả: Groq 3 LPX – tích hợp làm đồng xử lý suy luận vào nền tảng Vera Rubin của NVIDIA. Thông số kệ LPX: 315 PFLOPS FP8 (256 chip Groq 3 LPU mỗi kệ), tổng 128 GB SRAM, băng thông SRAM trên chip đạt 40 PB/s. Kiến trúc AFD (Attention-FFN Disaggregation): GPU Vera Rubin đảm nhận tiền xử lý và tính toán attention; LPU đảm nhận giải mã, mạng nơ-ron kết nối đầy đủ và tác vụ MoE. NVIDIA tuyên bố “cải thiện 35 lần thông lượng suy luận mỗi megawatt so với giải pháp cạnh tranh”.
Nói đơn giản: Groq không còn là kẻ thách thức độc lập. Công nghệ LPU giờ là thành phần quan trọng trong nền tảng NVIDIA, củng cố vị thế thống lĩnh suy luận của NVIDIA thay vì thách thức nó. Khách hàng từng dùng Groq Cloud giờ chỉ có thể truy cập công nghệ này qua hệ sinh thái NVIDIA.
SambaNova SN40L/SN50 – Luồng dữ liệu khả cấu hình cho mô hình siêu lớn
RDU: biên dịch toàn bộ đồ thị, không chỉ từng nhân. Cách tiếp cận của SambaNova khác hai hãng trước. RDU (Reconfigurable Dataflow Unit) không chỉ tăng tốc từng thao tác đơn lẻ (nhân ma trận, cơ chế attention) mà biên dịch toàn bộ đồ thị thao tác thành một đường ống dữ liệu liên tục. Trong khi GPU thực thi một chuỗi các nhân độc lập (nhân ma trận, rồi Softmax, rồi chuẩn hóa lớp), RDU hợp nhất hàng trăm thao tác thành một lời gọi duy nhất.
SN40L (2023-2025, TSMC 5nm, 2.5D CoWoS chiplet): 1.040 đơn vị tính toán mẫu (PCU), đỉnh 638 BF16 TFLOPS; hệ thống bộ nhớ ba cấp: SRAM PMU trong chip 520 MiB (hàng trăm TB/s), HBM đóng gói chung 64 GiB (~2 TB/s), DDR DRAM lên tới 1,5 TiB (hơn 200 GB/s). 1,5 TiB DDR là điểm độc đáo, cho phép nhiều mô hình siêu lớn cùng tồn tại trong bộ nhớ và chuyển đổi giữa chúng nhanh hơn 31 lần so với hệ thống GPU tương đương – quan trọng cho triển khai CoE (hệ thống chuyên gia kết hợp) khi nhiều mô hình chuyên dụng được sử dụng luân phiên theo yêu cầu.
Hiệu năng SN40L: Dữ liệu ấn tượng nhất: chỉ với 16 chip SN40L, DeepSeek-R1 671B đạt 198 token/giây. Trong khi đó, hệ thống GPU tương đương cần khoảng 130 H100 để hỗ trợ mô hình 671B tham số này.
SN50: Ra mắt tháng 2/2026, huy động thêm 350 triệu USD: TSMC 3nm, thiết kế hai chiplet; mỗi chip hỗ trợ 3,2 PFLOPS FP8 và 1,6 PFLOPS BF16; 432 MB SRAM trên chip / 64 GB HBM2E / tối đa 2 TB DDR5. Nhà sản xuất tuyên bố: Llama 3.3 đạt 895 token/giây/người dùng (FP8), trong khi NVIDIA B200 đạt 184 token/giây. Hợp tác với nền tảng Xeon CPU của Intel. Dự kiến giao hàng nửa cuối năm 2026 – đã công bố nhưng chưa giao hàng tại thời điểm viết bài. Dữ liệu SN50 hoàn toàn do nhà sản xuất tuyên bố.
Etched Sohu – Đặt cược tối thượng vào Transformer
Thiết kế cứng (hardwired) chỉ dành cho kiến trúc Transformer. Trong so sánh này, Etched là phương án mang tính đột phá nhất. Cerebras dùng toàn bộ tấm wafer nhưng vẫn là bộ xử lý tương đối đa năng; còn Sohu là ASIC thuần Transformer: các khối multi-head attention (QKV projection, Softmax, output projection), mạng truyền thẳng (GELU/SiLU) và chuẩn hóa lớp đều được nối cứng trong silicon. Sohu không thể lập trình lại để thích ứng với loại mô hình khác.
Lợi thế lý thuyết: Mật độ tính toán Transformer cao nhất. Thông số công bố (TSMC 4nm): 144 GB HBM3E. Tuyên bố: trên Llama 70B, 8 máy chủ Sohu xử lý 500.000 token/giây. Theo Etched, “có thể thay thế 160 H100”.
Khiếm khuyết cấu trúc: canh bạc sinh tồn. Kiến trúc Transformer thống trị từ năm 2017, nhưng đó là quy ước, không phải định luật vật lý. Nếu kiến trúc này tiến hóa đáng kể (Post-Transformer, mô hình không gian trạng thái, phong cách Mamba hoặc kiến trúc lai), Sohu sẽ trở nên vô dụng. Đây là canh bạc sinh tồn về tính bền vững của Transformer.
Tình trạng tài chính và thực tế: Tính đến tháng 4/2026, không có đơn đặt hàng nào từ khách hàng. Dự đoán của Manifold Markets (“Sohu sẽ giao hàng trong vòng một năm sau khi công bố?”) cho kết quả phủ định vào giữa năm 2025. Tính đến tháng 3/2026, không có khách hàng bên ngoài nào nhận được Sohu thương mại. Etched đề cập “đặt trước hàng chục triệu USD” từ khách hàng ẩn danh. Không có điểm chuẩn độc lập: mọi dữ liệu hiệu năng được trích dẫn (500.000 token/giây, “gấp 20 lần H100”) đều là dự đoán lý thuyết từ mô phỏng nội bộ. Chưa có bên thứ ba nào kiểm tra Sohu trong điều kiện thực tế.
Nói đơn giản: Etched đã huy động 620 triệu USD nhưng chưa có sản phẩm giao hàng, cũng không có điểm chuẩn bên thứ ba, do đó hiệu năng của họ khó đánh giá nhất. Kiến trúc có thể xuất sắc hoặc thất bại thảm hại – hiện chưa có dữ liệu để phán đoán. Mọi dữ liệu hiệu năng công bố đều được coi là chưa được kiểm chứng (không có dữ liệu bên thứ ba).
Tenstorrent Blackhole – Mô hình mã nguồn mở
Chiến lược đa thị trường và công nghệ nguồn mở. Tenstorrent là người tham gia khác biệt nhất. Chiến lược do Jim Keller (từng làm việc tại Intel, AMD, Apple và Tesla) lãnh đạo, nhắm đồng thời nhiều thị trường: suy luận trung tâm dữ liệu, suy luận biên và nhúng, cũng như cấp phép IP RISC-V cho các nhà sản xuất khác. Ngăn xếp phần mềm (tt-metal) hoàn toàn mã nguồn mở – hiếm thấy trong hệ sinh thái ASIC chuyên nghiệp.
Kiến trúc Tensix: RISC-V + nhân ma trận. Mỗi lõi Tensix tích hợp CPU RISC-V 5 nhân (để lập lịch tác vụ), cùng đơn vị vector và ma trận. Trong Blackhole (2024, TSMC 6nm): 120 lõi Tensix mỗi chip, 32 GB GDDR6 mỗi chip (không phải HBM – lựa chọn kinh tế), 210 MB SRAM trong chip, hỗ trợ 774 TFLOPS FP8 (Blackhole p150). Thế hệ trước Wormhole n300 (vẫn có thể mua) tích hợp 128 lõi Tensix, 192 MB SRAM và 24 GB GDDR6.
Điểm chuẩn thực tế: 50% đỉnh lý thuyết. Tháng 11/2025, The Register công bố kiểm tra độc lập trên QuietBox, một trạm làm việc Tenstorrent Blackhole giá khoảng 12.000 USD. Hiệu năng thực tế: trên Llama 3.1 8B đạt khoảng 50% đỉnh lý thuyết; trong suy luận LLM, 76 trong số 120 lõi Tensix (trước khi hiệu chỉnh) không được sử dụng – nhân tối ưu cho Wormhole chưa được chuyển sang Blackhole. Hiệu năng một P150 ≈ Nvidia DGX Spark trên mô hình thử nghiệm, dù Blackhole có lợi thế lý thuyết gấp 2-3 lần. The Register đánh giá: “Thiếu nhân tối ưu cho suy luận LLM là một khiếm khuyết không thể tha thứ”.
Nói đơn giản: Tenstorrent cung cấp phần cứng, nhưng phần mềm để khai thác nó chưa đạt mức lý tưởng. Giống như có động cơ xe Công thức 1 nhưng chỉ gắn lốp xe đạp – sức mạnh tồn tại nhưng không thể phát huy. Quan trọng: tt-metal đang phát triển tích cực trên GitHub, dữ liệu tháng 11/2025 không phải kết quả cuối cùng.
Huy động vốn và lộ trình: Huy động 693 triệu USD (do AFW Partners và Samsung Securities dẫn đầu, LG, Fidelity và Bezos Expeditions tham gia) – định giá 2,6 tỷ USD. Khi huy động vốn đã ký hợp đồng trị giá 150 triệu USD. Tháng 11/2025: thảo luận vòng tiếp theo 800 triệu USD, định giá 3,2 tỷ USD (do Fidelity dẫn đầu). Lộ trình: cập nhật phần cứng hai năm một lần (Blackhole 2024 → thế hệ tiếp theo dự kiến khoảng 2026).
Điểm chuẩn độc lập thực tế cho thấy điều gì?
Khi so sánh các công ty này, tồn tại hạn chế cấu trúc: không ai trong số họ thường xuyên tham gia MLPerf Inference (điểm chuẩn chính thức của ngành, do bên thứ ba độc lập giám sát). Hiện không có dữ liệu so sánh chuẩn hóa. Dữ liệu có sẵn đến từ ba nguồn chất lượng khác nhau. Đáng tin cậy nhất là dữ liệu từ Artificial Analysis (dịch vụ điểm chuẩn đám mây độc lập).
Nói đơn giản: nếu không có MLPerf, điểm chuẩn so sánh chặt chẽ duy nhất có được vào tháng 4/2026 là từ Artificial Analysis cho Groq và SambaNova. Mọi dữ liệu khác cần được xem xét thận trọng.
Những điểm đáng chú ý năm 2026
Thị trường startup ASIC suy luận AI năm 2026 đang trải qua một cuộc sàng lọc bắt buộc. Ba tín hiệu:
Tín hiệu thứ nhất – Khoảng cách giữa xác nhận và cam kết. Khoảng cách giữa những người chơi đã được xác nhận trong môi trường sản xuất (Cerebras với OpenAI và AWS, SambaNova với DeepSeek và khách hàng doanh nghiệp) và những người chưa được xác nhận (Etched, Tenstorrent dựa trên suy luận thuần túy) đang gia tăng. Chừng nào chưa có khách hàng bên ngoài kiểm tra ASIC trong sản xuất thực tế, ASIC vẫn chỉ được coi là một lời hứa.
Tín hiệu thứ hai – Sáp nhập đã bắt đầu. Việc NVIDIA mua lại Groq với giá 20 tỷ USD không phải ngẫu nhiên, mà cho thấy công nghệ LPU đã đủ trưởng thành để NVIDIA tích hợp vào nền tảng Vera Rubin. Đồng thời, nó cũng chứng minh rằng ngay cả với hiệu năng trễ tốt nhất ngành, việc tồn tại độc lập khỏi NVIDIA là rất khó khăn.
Tín hiệu thứ ba – Câu hỏi thực sự quan trọng năm 2026. Hiệu quả suy luận của GPU Blackwell (H200, B200, B300) đang cải thiện nhanh hơn dự kiến. Câu hỏi thực sự bây giờ không còn là “mô hình của ai sinh token nhanh nhất”, mà là “liệu suy luận GPU có nhanh chóng kéo giảm chi phí đến mức các nhà cung cấp dịch vụ đám mây siêu quy mô vẫn muốn tiếp tục dùng sản phẩm của các startup này? Hay tất cả sẽ bị nội bộ hóa, giống như AWS (Trainium), Google (TPU) và Meta (MTIA)?”
Năm kiến trúc được mô tả ở trên đưa ra những câu trả lời khác nhau – nhưng phản ứng thị trường sẽ được thể hiện qua doanh thu giai đoạn 2026-2027.
Ảnh: Tanha Tamanna Syed / Pexels
