AI chạy trực tiếp trên thiết bị là gì?
Với AI chạy trên thiết bị, bước suy luận (inference) diễn ra trên phần cứng của chính máy người dùng. Suy luận là lúc mô hình tạo câu trả lời, nhận dạng ảnh hay nhận dạng giọng nói. Bước huấn luyện thì hãng làm trước, trên hệ thống của hãng. Máy người dùng chỉ nhận mô hình đã huấn luyện xong và đã nén.
Gemini Nano của Google là một ví dụ. Theo tài liệu Gemini Nano cho nhà phát triển Android, mô hình này đem AI tạo sinh, tức AI tạo ra chữ hay ảnh mới, đến máy mà không cần mạng. Dữ liệu cũng không phải gửi lên đám mây.
Google và Apple đều dùng chữ on-device. Meta mô tả hai mô hình Llama 3.2 cỡ nhỏ là vừa với thiết bị biên (edge devices) và thiết bị di động. Nhiều người đã dùng AI trên thiết bị mà không để ý. Theo Samsung Newsroom Australia, dữ liệu đưa vào tính năng dịch Live Translate, Interpreter và tính năng lọc âm Audio Eraser nằm lại trong điện thoại.
AI chạy ngay trên máy hoạt động như thế nào?
AI chạy ngay trên máy hoạt động bằng một mô hình mà hãng đã huấn luyện và nén sẵn. Mô hình nằm trong bộ nhớ của máy, còn NPU tính câu trả lời từ dữ liệu có trong máy.
- Huấn luyện: hãng huấn luyện mô hình trên hệ thống của mình, thường ở dạng số thực 32 bit (FP32), theo hướng dẫn Copilot+ PC của Microsoft Learn. Copilot+ PC là dòng máy Windows đạt chuẩn phần cứng AI mà Microsoft đặt ra.
- Nén: nhiều NPU chỉ tính được số nguyên ít bit như INT8, tức số nguyên 8 bit. Vì vậy mô hình phải qua bước lượng tử hóa, tức đổi các con số bên trong sang dạng ít bit hơn. Apple lượng tử hóa mô hình trên máy xuống 2 bit cho mỗi trọng số, tức mỗi con số mà mô hình học được. Meta dùng hai cách cắt tỉa và chưng cất để tạo hai mô hình Llama 3.2 cỡ 1 tỷ và 3 tỷ tham số. Cắt tỉa là bỏ bớt phần ít tác dụng, còn chưng cất là cho mô hình nhỏ học lại từ mô hình lớn.
- Cài vào máy: trên Android, dịch vụ hệ thống AICore lo phân phối Gemini Nano và các bản cập nhật. Việc tải mô hình đi qua ứng dụng nguồn mở Private Compute Services. Trên Copilot+ PC, bản NPU của mô hình Phi Silica có sẵn trong máy, theo tài liệu Phi Silica của Microsoft.
- Xử lý: khi bạn ra lệnh, mô hình tính kết quả bằng phần cứng của máy, không gọi máy chủ. Trên Windows, hệ thống dò bộ tăng tốc có trong máy và chọn cách chạy hiệu quả nhất. Nếu NPU không dùng được, việc chuyển sang GPU hoặc CPU.
Khi việc quá nặng, hệ thống lai, tức hệ thống kết hợp máy với máy chủ, chuyển yêu cầu lên máy chủ. Apple gọi phần máy chủ này là Private Cloud Compute. Theo trang Apple Intelligence và quyền riêng tư trên Mac, dữ liệu xử lý ở đó không bị lưu lại và Apple không truy cập được. Mô hình chỉ đi một chiều, từ hãng xuống máy người dùng. Khi việc vượt sức máy, thứ được gửi lên máy chủ là yêu cầu, không phải mô hình.

Mô hình AI nhỏ chạy trên điện thoại là gì?
Mô hình AI nhỏ chạy trên điện thoại là mô hình ngôn ngữ hoặc hình ảnh có ít tham số hơn nhiều so với mô hình trên đám mây. Hãng thu gọn mô hình cho vừa RAM và chạy được bằng pin của máy. Tham số giống những núm vặn mà mô hình tự chỉnh trong lúc học. Càng nhiều núm, mô hình càng chứa được nhiều kiến thức, nhưng càng chiếm nhiều bộ nhớ.
Bốn hãng lớn đều đã có mô hình nhỏ chạy trên máy:
- Mô hình nền trên thiết bị của Apple: theo Apple Machine Learning Research, mô hình có khoảng 3 tỷ tham số và chạy Apple Intelligence. Bản công bố tháng 6/2025 ghi mô hình hỗ trợ 15 ngôn ngữ. Nhà phát triển dùng được mô hình qua framework Foundation Models, tức bộ công cụ lập trình của Apple.
- Gemini Nano (Google): chạy trong AICore trên Android. Theo trang ML Kit GenAI của Google, máy hỗ trợ chia theo ba phiên bản nano-v2, nano-v3 và nano-v4.
- Phi Silica (Microsoft): mô hình ngôn ngữ chạy cục bộ trên NPU của Copilot+ PC. Mô hình có sẵn kỹ năng tóm tắt, viết lại và chuyển văn bản thành bảng. Tính năng này không có ở Trung Quốc.
- Llama 3.2 1B và 3B (Meta): hai mô hình chỉ xử lý chữ, chạy được trên phần cứng Qualcomm và MediaTek từ ngày ra mắt. Mô hình đọc được ngữ cảnh dài 128K token, mỗi token là một mẩu chữ mà mô hình đọc trong một lần.
Thu nhỏ có cái giá. Ít tham số hơn nghĩa là ít kiến thức hơn, nên mô hình trên máy kém hơn ở việc phức tạp. RAM trở thành điều kiện vì mô hình phải nằm trong bộ nhớ khi làm việc. Theo bài giới thiệu Pixel 11 của Google, Gemini Intelligence trên Pixel 11 cần Gemini Nano chạy trên máy, RAM từ 12 GB trở lên và chip đủ điều kiện.
AI trên thiết bị khác AI trên đám mây ở điểm nào?
AI trên thiết bị xử lý dữ liệu ngay trong máy, còn AI trên đám mây gửi yêu cầu lên máy chủ của hãng rồi trả kết quả về. Bốn hệ quả về tốc độ, độ riêng tư, sức mạnh mô hình và nhu cầu mạng nằm ở bài khác biệt giữa AI trên thiết bị và AI trên đám mây.
Vì sao các hãng đẩy mạnh AI chạy trên thiết bị?
Các hãng đẩy mạnh AI chạy trên thiết bị vì cả người dùng lẫn hãng cùng được lợi. Người dùng được máy nhanh và riêng tư hơn, còn hãng giảm được chi phí máy chủ và có thêm lý do bán máy mới. Theo Canalys, 16% điện thoại ra mắt toàn cầu năm 2024 có AI tạo sinh. Canalys dự báo tỷ lệ này lên 54% vào năm 2028.
Ở cả điện thoại lẫn laptop, chip đời mới đều đã có khối xử lý AI riêng. Đó là Neural Engine trong iPhone và NPU trong bộ xử lý laptop của Intel, AMD và Qualcomm.
Người dùng được gì: nhanh hơn, riêng tư hơn, dùng được khi mất mạng
Khi AI chạy ngay trên máy, người dùng được ba lợi ích chính: phản hồi nhanh hơn, dữ liệu riêng tư hơn và vẫn dùng được khi mất mạng.
- Nhanh hơn: máy không phải chờ dữ liệu đi lên máy chủ rồi quay về. Theo Google, cách chạy này bỏ được độ trễ mạng. Gemini Nano trong AICore còn dùng phần cứng của máy để giảm độ trễ suy luận, tức thời gian chờ kết quả. Đổi lại, tốc độ tùy vào phần cứng của từng máy.
- Riêng tư hơn: máy xử lý dữ liệu tại chỗ, không phải gửi đi. Theo Google, AICore tách riêng từng yêu cầu và không lưu dữ liệu đầu vào hay kết quả sau khi xử lý xong.
- Dùng được khi mất mạng: lợi ích này chỉ có ở tính năng chạy hoàn toàn trên máy. Theo thông cáo ra mắt Apple Watch Series 9, Siri trên đồng hồ này xử lý ngay trên máy. Vì thế lệnh bắt đầu bài tập hay đặt hẹn giờ không cần Wi-Fi hay mạng di động. Ngược lại, chú thích của Samsung ghi Live Translate vẫn cần kết nối mạng và tài khoản Samsung.
Các hãng được gì: giảm tải máy chủ và có thêm lý do để người dùng đổi máy
Các hãng được hai thứ: giảm chi phí vận hành máy chủ cho mỗi lượt dùng AI, và có thêm lý do để người dùng đổi sang máy đời mới. Theo Google, AI trên thiết bị giảm chi phí suy luận, và AICore giảm đáng kể chi phí dùng các mô hình lớn trong ứng dụng. Khi phần tính toán chuyển sang máy người dùng, nó chạy trên con chip mà người mua đã trả tiền.
Lý do thứ hai nằm ở danh sách máy hỗ trợ. Theo trang hướng dẫn Apple Intelligence, tính năng chỉ có từ iPhone 15 Pro, iPhone 15 Pro Max, iPhone Air và các đời iPhone 16 trở về sau. Trang Galaxy AI của Samsung tại Mỹ ghi điện thoại được hỗ trợ từ dòng Galaxy S24 trở đi.
Microsoft cho biết nhiều tính năng AI mới của Windows cần NPU đạt từ 40 TOPS, tức 40 nghìn tỷ phép tính mỗi giây. Máy nằm ngoài các danh sách này không có tính năng, nên muốn dùng thì người dùng phải đổi máy.
Bản cập nhật cũng góp phần. Theo Intel, máy dùng Core Ultra 200V được nhận tính năng Copilot+ PC qua bản cập nhật miễn phí từ tháng 11/2024.
Chip xử lý AI trong điện thoại: phần cứng giúp AI chạy ngay trên máy
Chip xử lý AI trong điện thoại thường là NPU, một khối chuyên tính toán cho mô hình AI nằm ngay trong vi xử lý chính. Vi xử lý chính này gọi là SoC, tức hệ thống trên một chip gồm CPU, GPU và các khối khác. Nhờ NPU, AI chạy nhanh mà ít tốn pin. Đây không phải con chip rời: theo Samsung Semiconductor, NPU của Exynos 2600 nằm chung với CPU và GPU.
Mỗi hãng gọi khối này bằng một tên riêng. Apple gọi là Neural Engine trong thông cáo ra mắt iPhone 18 Pro, Google gọi là TPU trong chip Tensor. Samsung và Intel gọi là NPU.

NPU trong điện thoại và máy tính là gì?
NPU (neural processing unit, bộ xử lý thần kinh) là khối xử lý chuyên chạy các phép tính của mạng nơ-ron. Khối này có trong vi xử lý của điện thoại và máy tính đời mới. Mạng nơ-ron là cấu trúc toán học bên trong mô hình AI, gồm rất nhiều phép tính nhỏ lặp lại. Theo trang giải thích NPU của Microsoft, NPU có kiến trúc mô phỏng mạng nơ-ron của não người và làm được hàng nghìn tỷ phép tính mỗi giây.
NPU hợp với các việc như lệnh giọng nói hay tạo ảnh nhanh, và để CPU, GPU rảnh tay cho việc khác. Microsoft lưu ý NPU là loại phần cứng mới, nên phần mềm phải lập trình riêng mới dùng được nó.
Máy không có NPU vẫn chạy được AI. Phi Silica chạy được trên máy Windows 11 thường nếu có GPU hỗ trợ, như NVIDIA GeForce RTX 30 trở lên hoặc AMD Radeon RX 9060 trở lên. Bộ nhớ đồ họa của máy cần từ 6 GB.
NPU khác CPU và GPU ra sao?
NPU khác CPU và GPU ở chỗ chỉ chuyên một loại phép tính của AI nên tiết kiệm điện hơn. CPU lo các việc chung của máy, còn GPU lo đồ họa và các phép tính song song. Theo Microsoft, NPU xử lý song song lượng dữ liệu lớn và tốn ít điện hơn CPU hay GPU cho việc AI, nhờ đó pin bền hơn.
| Tiêu chí | CPU | GPU | NPU |
|---|---|---|---|
| Việc làm tốt nhất | Việc chung của hệ thống và ứng dụng | Đồ họa và phép tính song song | Phép tính của mô hình AI |
| Cách xử lý | Lần lượt từng việc chung | Song song nhiều phép tính | Song song lượng dữ liệu lớn |
| Mức tốn điện khi chạy AI | Nhiều hơn NPU | Nhiều hơn NPU, có thể ảnh hưởng thời lượng pin laptop | Thấp nhất trong ba loại |
| Ví dụ việc trong máy | Nhận việc AI khi NPU và GPU không dùng được | Chạy Phi Silica trên máy Windows không phải Copilot+ PC | Lệnh giọng nói, tạo ảnh nhanh, Phi Silica trên Copilot+ PC |
Trên thực tế, hệ thống chia việc cho cả ba. Windows 11 giao mỗi việc cho bộ xử lý phù hợp nhất. Phần mềm phải viết riêng cho NPU, nên ứng dụng chưa làm việc này sẽ chạy AI bằng GPU hoặc CPU.
Theo Microsoft, hai kỹ thuật của Phi Silica chỉ chạy trên NPU. Kỹ thuật đầu là nén lời nhắc, tức rút gọn câu lệnh người dùng nhập. Kỹ thuật thứ hai là giải mã suy đoán: một mô hình nháp nhỏ đoán trước nhiều mẩu chữ để mô hình chính kiểm tra cùng lúc.
Chỉ số TOPS trong thông số chip nghĩa là gì?
TOPS (tera operations per second) là số nghìn tỷ phép tính mà chip AI làm được trong một giây, dùng để quảng cáo sức mạnh của NPU. Tera nghĩa là nghìn tỷ, operations là phép tính, per second là mỗi giây.
Copilot+ PC là một ngưỡng có thật trên thị trường. Theo trang thông số Windows 11 của Microsoft, máy cần NPU đạt từ 40 TOPS. RAM phải có 16 GB DDR5/LPDDR5 và bộ nhớ phải có 256 GB. Khi đọc số TOPS, bạn nên lưu ý ba điểm:
- TOPS là số hãng tự công bố, và mỗi hãng công bố một kiểu. Trang Exynos 2600 của Samsung không ghi số TOPS. Trang chỉ ghi NPU tăng hiệu năng AI tạo sinh 113% so với Exynos 2500, theo thử nghiệm nội bộ của Samsung. Vì thế không thể đặt chip của hai hãng cạnh nhau bằng một con số.
- Có hãng cộng nhiều bộ xử lý thành tổng TOPS của cả nền tảng. Intel công bố Core Ultra 200V đạt tới 120 TOPS khi cộng chung CPU, GPU và NPU. Trong khi đó, ngưỡng Copilot+ PC chỉ tính riêng NPU.
- TOPS cao chưa đủ để có tính năng. Copilot+ PC đòi NPU, RAM và bộ nhớ cùng đạt ngưỡng. Mô hình cũng phải chuyển sang dạng số mà NPU tính được, như số nguyên 8 bit.
Những dòng chip di động hỗ trợ AI trên thiết bị
Các dòng chip di động hỗ trợ AI trên thiết bị đến từ Apple, Qualcomm, MediaTek, Google và Samsung. Ở mảng laptop có thêm Intel và AMD. Theo công bố của Apple, chip A20 Pro trên iPhone 18 Pro có sức xử lý AI gấp đôi A19 Pro.
| Hãng chip | Dòng chip tiêu biểu | Tên khối xử lý AI | Thiết bị dùng |
|---|---|---|---|
| Apple | A20 Pro (tiến trình 2 nm); S9 SiP | Neural Engine: A20 Pro có Neural Engine kép 16 lõi, tổng 32 lõi, sức xử lý AI gấp đôi A19 Pro; S9 có Neural Engine 4 lõi | iPhone 18 Pro, iPhone 18 Pro Max; Apple Watch Series 9 |
| Qualcomm | Snapdragon X Elite, Snapdragon X series | NPU | Laptop Copilot+ PC |
| Tensor G6 | TPU, mạnh hơn 50% theo công bố của Google | Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL | |
| Samsung | Exynos 2600 (tiến trình 2 nm GAA) | NPU tích hợp cùng CPU và GPU | – |
| Intel | Core Ultra 200V và 300V series | NPU, thế hệ thứ tư trên Core Ultra 200V | Laptop Copilot+ PC |
| AMD | Ryzen AI 300 và 400 series | NPU đạt chuẩn Copilot+ PC | Laptop Copilot+ PC |
Nguồn: thông số theo công bố của từng hãng và danh sách Copilot+ PC của Microsoft.
Cách chắc nhất để biết thế hệ chip nào đủ chạy AI tạo sinh là xem danh sách do hãng phần mềm công bố. Microsoft nêu tên các máy Copilot+ PC như Surface Laptop, Surface Pro, HP OmniBook X 14, Dell XPS 13 và Lenovo Yoga Slim 7x. Google liệt kê máy của 14 hãng hỗ trợ API GenAI của ML Kit, tức giao diện để ứng dụng gọi tính năng AI của hệ thống. Danh sách có Google, Samsung, Xiaomi, OPPO, vivo, Motorola và các hãng khác.
Máy đời cũ hơn vẫn có một phần tính năng. Theo Google, chế độ nhận dạng giọng nói cơ bản của ML Kit có trên hầu hết máy Android đạt mức API 31 trở lên. Mức API là số hiệu Google gán cho từng phiên bản Android. Chế độ nâng cao chỉ có trên Pixel 10 và Pixel 11.
Chip AI ảnh hưởng thế nào đến giá bán thiết bị?
Chip AI ảnh hưởng đến giá bán thiết bị qua cấu hình đi kèm: chip, RAM và bộ nhớ trong. Tính năng AI tạo sinh chạy trên máy đòi chip đời mới, nhiều RAM và bộ nhớ, nên máy đủ điều kiện có cấu hình từ một mức trở lên.
Máy dùng chip AI mới nhất nằm ở phân khúc cao, từ khoảng 1.200 USD tại Mỹ với iPhone 18 Pro, theo Apple.
| Máy | Thị trường | Giá khởi điểm theo công bố của hãng |
|---|---|---|
| iPhone 18 Pro | Mỹ | 1.199 USD |
| iPhone 18 Pro Max | Mỹ | 1.299 USD |
| Pixel 11 | Úc | 1.499 AUD |
| Pixel 11 Pro | Úc | 1.849 AUD |
| Pixel 11 Pro XL | Úc | 2.099 AUD |
Nguồn: Apple Newsroom và bài giới thiệu Pixel 11 của Google cho thị trường Úc.
Với người dùng ở Việt Nam, điều đáng xét là bạn thật sự dùng tính năng nào và tính năng đó có chạy bằng tiếng Việt không. Theo trang hướng dẫn của Apple, tiếng Việt có trong danh sách ngôn ngữ của Apple Intelligence. Điều kiện là ngôn ngữ của máy và của Siri phải trùng nhau.
AI trên thiết bị đang có mặt ở đâu? 3 nhóm thiết bị chính
AI trên thiết bị đang có mặt ở 3 nhóm thiết bị chính: điện thoại và máy tính cá nhân; kính thông minh và thiết bị đeo; xe hơi và nhà thông minh. Điện thoại và máy tính dẫn đầu về số hệ sinh thái AI chạy trên máy. Ở kính, đồng hồ, xe hơi và thiết bị trong nhà, phần việc chạy tại chỗ nhiều hay ít tùy loại máy và tùy việc.

Điện thoại và máy tính cá nhân
Điện thoại và máy tính cá nhân là nhóm có nhiều tính năng AI chạy trên máy nhất. Các tính năng tập trung ở bốn hệ sinh thái: Apple Intelligence, Galaxy AI, Gemini Nano trên Android và Copilot+ PC.
- Apple Intelligence (iPhone, iPad, Mac): theo thông cáo iPhone 18 Pro, tính năng gồm Siri AI, chế độ Siri trong Camera, Clean Up nâng cấp và Image Playground. Trong đó, Siri AI và Image Playground dựa vào mô hình phía máy chủ. Apple Intelligence chạy bằng cả xử lý trên máy lẫn Private Cloud Compute. Ngoài iPhone, máy hỗ trợ gồm iPad mini (A17 Pro), iPad và Mac dùng chip M1 trở lên, MacBook Neo (A18 Pro) và Apple Vision Pro. Tính năng tự có khi máy cập nhật lên các bản phần mềm 27.0.
- Galaxy AI (Samsung): theo trang Galaxy AI của Samsung tại Mỹ, người dùng chọn được nơi xử lý dữ liệu, trên máy hay trên đám mây. Generative Edit là tính năng lai: có phần chạy trên máy, còn thao tác chỉnh nặng dùng AI đám mây.
- Gemini Nano trên Android: qua API GenAI của ML Kit, máy tóm tắt được bài viết và hội thoại. Máy cũng soát lỗi tin nhắn ngắn và viết lại tin nhắn theo giọng khác. Máy còn mô tả ảnh và chuyển giọng nói thành chữ, tất cả đều chạy trên máy.
- Copilot+ PC (Windows): máy đạt ngưỡng NPU của Microsoft nhận các tính năng AI thiết kế để chạy trên NPU qua các bản Windows 11 mới.
Kính thông minh và thiết bị đeo dùng AI ra sao?
Kính thông minh và thiết bị đeo dùng AI theo kiểu chia việc. Việc nhẹ như gọi điện hay trả lời tin nhắn rảnh tay chạy trên máy, còn việc nặng cần mô hình lớn thì chuyển lên đám mây. Theo Meta Engineering, kính AI của Meta cần mô hình lớn hơn nhiều so với sức chứa của một chiếc kính cho ba việc. Đó là phiên âm trực tiếp, tìm kiếm theo ngữ cảnh và ghi nhớ dài hạn. Các việc này còn cần chỗ lưu trạng thái riêng của từng người dùng, nên phải chạy trên đám mây.
Theo trang hướng dẫn của Apple, Apple Intelligence có trên Apple Watch Series 9 trở lên, Ultra 2 trở lên và SE 3. Đồng hồ phải ghép đôi với iPhone hỗ trợ Apple Intelligence.
Ở phía kính, Meta cũng công bố sẽ mở rộng Private Processing sang kính AI. Đây là hạ tầng chạy mô hình AI trong máy ảo bảo mật, nơi chính Meta cũng không truy cập được dữ liệu. Meta không nêu ngày ra mắt, nên đây là tính năng mới công bố, chưa phát hành.
AI trên thiết bị trong xe hơi và nhà thông minh là gì?
AI trên thiết bị trong xe hơi và nhà thông minh là phần AI xử lý ngay trên máy tính của xe hoặc trên camera, bộ điều khiển trong nhà. Nhờ vậy, xe và thiết bị trong nhà phản hồi được mà không phụ thuộc kết nối internet. Ngày 23/4/2026, Liquid AI công bố hợp tác nhiều năm với Mercedes-Benz. Mô hình Liquid Foundation Models chạy ngay trên xe để nhận dạng giọng nói, hiểu ngôn ngữ và suy luận. Mô hình phục vụ MBUX Virtual Assistant, trợ lý điều khiển bằng giọng nói của xe.
Trợ lý này lo cả các chức năng của xe mà không phụ thuộc đám mây. Ramin Hasani, đồng sáng lập kiêm CEO Liquid AI, nói mô hình của công ty được làm để chạy trên phần cứng có sẵn trong xe: "Liquid's models are built to run on the hardware already inside the vehicle".
Trong nhà, HomeKit Secure Video của Apple là một ví dụ. Theo tài liệu bảo mật nền tảng của Apple, camera gửi đoạn phim có chuyển động tới thiết bị trung tâm (home hub) qua mạng nội bộ riêng. Thiết bị này giải mã và phân tích khung hình tại chỗ để tìm sự kiện đáng chú ý. Chỉ đoạn có sự kiện mới được mã hóa bằng chuẩn AES-256-GCM và tải lên iCloud, nên phần lưu trữ vẫn cần đám mây.
Tính năng AI có sẵn khác gì ứng dụng AI tải thêm?
Tính năng AI có sẵn do hãng điện thoại hoặc hệ điều hành cài trong máy, dùng mô hình hệ thống như Gemini Nano hay Phi Silica. Ứng dụng AI tải thêm do nhà phát triển khác làm, và có thể gọi mô hình của hệ điều hành hoặc tự mang mô hình riêng. Hai loại khác nhau ở nguồn gốc, nơi xử lý, điều kiện máy và chi phí.
| Tiêu chí | Tính năng AI có sẵn | Ứng dụng AI tải thêm |
|---|---|---|
| Ai cung cấp | Hãng hệ điều hành và hãng máy: AICore của Android quản lý Gemini Nano, Phi Silica cài sẵn trên Copilot+ PC | Nhà phát triển ứng dụng |
| Nơi xử lý thường gặp | Trên máy; việc nặng có thể chuyển lên máy chủ của hãng, như Private Cloud Compute của Apple | Trên máy khi ứng dụng gọi mô hình hệ thống hoặc tự mang mô hình mở; Microsoft khuyên nhà phát triển có thể cho người dùng chọn phương án dự phòng trên đám mây khi họ đồng ý |
| Yêu cầu cấu hình máy | Theo danh sách máy của hãng, như Copilot+ PC hay danh sách máy có Gemini Nano | Như tính năng có sẵn khi dùng mô hình hệ thống; trên Android, chỉ chạy khi ứng dụng mở ở tiền cảnh và có hạn mức sử dụng |
| Chi phí | Galaxy AI: tính năng cơ bản miễn phí theo Samsung | Trên máy Galaxy, tính năng AI của bên thứ ba có thể áp dụng điều khoản riêng, theo chú thích của Samsung |
| Ví dụ | Gemini Nano qua AICore, Phi Silica trên Copilot+ PC | Ứng dụng dùng framework Foundation Models của Apple, ML Kit GenAI của Google, Windows AI APIs; ứng dụng tự mang Llama 3.2 1B, 3B |
Với người dùng, khác biệt này cho biết dữ liệu đi đâu, có cần mạng không và có mất phí không. Tính năng có sẵn và ứng dụng gọi mô hình hệ thống xử lý trên máy khi mô hình đủ sức. Ứng dụng tự mang mô hình mở như Llama 3.2 cũng chạy trên máy. Ứng dụng không dùng hai cách này thì gửi yêu cầu lên máy chủ của nhà phát triển, nên cần đọc chính sách dữ liệu của từng ứng dụng.
AI chạy trên thiết bị có những giới hạn nào? 4 điểm cần biết
AI chạy trên thiết bị có 4 giới hạn chính. Mô hình yếu hơn bản đám mây, máy phải đủ cấu hình, pin hao hơn khi việc không chạy trên NPU. Nhãn AI cũng không cho biết dữ liệu xử lý ở đâu, và tính năng còn bị giới hạn theo ngôn ngữ, khu vực.

- Mô hình yếu hơn bản đám mây. Theo Apple Machine Learning Research, việc nặng của Apple Intelligence chuyển lên mô hình máy chủ kiểu mixture-of-experts, tức mô hình gồm nhiều nhánh chuyên biệt. Mô hình này chạy trong Private Cloud Compute. Mô hình trên máy chỉ nhận những việc vừa sức nó.
- Đòi máy cấu hình cao và chiếm bộ nhớ. Theo trang hướng dẫn của Apple, Apple Intelligence cần tới 14 GB dung lượng trên iPhone 17 Pro, iPhone 17 Pro Max và iPhone Air. Mức này cũng áp dụng cho một số iPad, Mac và Vision Pro M5. Các iPhone, iPad, Mac, Vision Pro hỗ trợ khác cần tới 8 GB, còn Apple Watch cần tới 1,5 GB.
- Tốn pin hơn khi không chạy trên NPU. Microsoft cho biết chạy Phi Silica bằng GPU có độ trễ cao hơn, tốn điện hơn và có thể ảnh hưởng thời lượng pin laptop. Trên NPU, mô hình tiết kiệm điện và hợp dùng bằng pin.
- Nhãn AI không cho biết nơi xử lý. Theo Samsung, bật chế độ chỉ xử lý trên máy của Galaxy AI có thể làm hạn chế một số tính năng dựa vào xử lý trực tuyến. Apple cho biết tính năng có hay không tùy nền tảng, ngôn ngữ và khu vực. Khi đổi ngôn ngữ Siri, Apple Intelligence có thể tạm ngừng tới khi ngôn ngữ mới tải xong. Máy mua tại Trung Quốc đại lục không dùng được Apple Intelligence. Google cũng cho biết ngôn ngữ mà ML Kit GenAI hỗ trợ thay đổi theo cấu hình máy và mô hình đã tải.
Quyền riêng tư khi AI xử lý ngay trên máy
AI xử lý ngay trên máy giúp dữ liệu cá nhân ít phải rời thiết bị. Dù vậy, sự riêng tư chưa tuyệt đối, vì nhiều tính năng vẫn gửi một phần yêu cầu lên máy chủ. Những điểm người dùng cần tự kiểm tra nằm ở bài quyền riêng tư khi AI xử lý ngay trên máy.
Mỹ và châu Âu đang đưa AI về thiết bị như thế nào?
Ở Mỹ và châu Âu, AI trên thiết bị đến theo từng đợt, khác nhau theo thị trường, ngôn ngữ và đời máy. Người dùng iPhone, iPad tại Liên minh châu Âu (EU) chỉ có Apple Intelligence từ ngày 31/3/2025. EU còn có Đạo luật AI (AI Act) với các mốc áp dụng trải từ năm 2024 đến năm 2028.
Ở Mỹ, các mốc trong tài liệu chính thức gắn với tiếng Anh Mỹ và thị trường Bắc Mỹ. Theo thông cáo cùng ngày của Apple, Apple Vision Pro nhận nhóm tính năng Apple Intelligence đầu tiên bằng tiếng Anh Mỹ.
Cùng ngày, Apple Intelligence có thêm tiếng Pháp, Đức, Ý, Bồ Đào Nha (Brazil), Tây Ban Nha, Nhật, Hàn và Trung giản thể. Tiếng Anh bản địa cho Singapore và Ấn Độ cũng có từ hôm đó. Riêng tại EU, người dùng iOS 27 và iPadOS 27 có chỉnh ảnh nâng cao, Image Playground bản mới và duyệt web thông minh trên iPhone, iPad hỗ trợ.
Trên xe hơi, Liquid AI cho biết trợ lý làm cùng Mercedes-Benz nhắm tới xe có MBUX thế hệ 3 và 4 tại Bắc Mỹ. Mục tiêu là đưa trợ lý lên xe sản xuất từ nửa cuối năm 2026.
Về luật, Ủy ban châu Âu cho biết Đạo luật AI có hiệu lực từ 1/8/2024. Các hành vi AI bị cấm và nghĩa vụ hiểu biết về AI áp dụng từ 2/2/2025. Nghĩa vụ với mô hình AI đa dụng, tức mô hình dùng được cho nhiều việc, áp dụng từ 2/8/2025.
Đạo luật áp dụng từ 2/8/2026, trừ một số ngoại lệ. Quy tắc cho AI rủi ro cao nhóm Phụ lục III dời tới 2/12/2027. Nhóm Phụ lục I có thời gian chuyển tiếp tới 2/8/2028.
Với người dùng Việt, tính năng và ngôn ngữ cũng đến theo từng đợt, khác nhau theo khu vực.
Thiết bị nào vừa bổ sung tính năng AI chạy trên máy?
Tính đến tháng 10/2026, thông báo chính thức của các hãng ghi những thiết bị và bản cập nhật sau vừa có thêm AI chạy trên máy:
- Windows, theo tài liệu của Microsoft: mô hình trên máy Aion Instruct thay Phi Silica. Aion Instruct đến máy Windows Insider Preview, tức các máy chạy bản Windows thử nghiệm, từ tháng 11/2026. Máy bán lẻ nhận mô hình từ tháng 1/2027. Trạng thái: theo kế hoạch Microsoft công bố.
- Kính AI của Meta, ngày 23/9/2026: theo Meta, gọi điện và trả lời tin nhắn rảnh tay chạy hoàn toàn trên kính. Việc nặng như phiên âm trực tiếp chạy trên đám mây, nơi Meta sẽ mở rộng Private Processing, hạ tầng máy ảo bảo mật. Trạng thái: mới công bố, Meta không nêu ngày ra mắt.
- iPhone 18 Pro, iPhone 18 Pro Max, ngày 9/9/2026: chip A20 Pro với Neural Engine kép 16 lõi tăng tốc mô hình AI trên máy. Trạng thái: đã bán từ 18/9/2026.
- Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, ngày 13/8/2026: chip Tensor G6 chạy bản Gemini Nano mới nhất. Trạng thái: lên kệ từ 20/8/2026 theo thông báo cho thị trường Úc.
- Xe Mercedes-Benz có MBUX, ngày 23/4/2026: mô hình của Liquid AI chạy trên xe cho trợ lý giọng nói. Trạng thái: mới công bố, mục tiêu đưa lên xe sản xuất từ nửa cuối năm 2026.
Mốc gần nhất cần theo dõi là tháng 11/2026, khi Aion Instruct bắt đầu đến máy Windows Insider Preview. Chuyện tốc độ và sức mạnh mô hình so với đám mây nằm ở bài so sánh AI trên thiết bị với AI trên đám mây. Cách máy giữ dữ liệu cá nhân nằm ở bài dữ liệu cá nhân khi AI xử lý trên máy.
Cách đọc số liệu: Danh sách máy hỗ trợ, ngưỡng cấu hình, chính sách phí và ngôn ngữ lấy theo trang chính thức của từng hãng, tra cứu ngày 19/10/2026. Số TOPS và mức tăng hiệu năng là số do hãng tự công bố. Số liệu Canalys về điện thoại có AI tạo sinh lấy theo bài của VnExpress ngày 8/10/2024. Giá máy giữ đơn vị tiền mà hãng niêm yết tại Mỹ và Úc.
