Mô hình ngôn ngữ lớn tiếng Việt: bịa khi nào?

Mô hình ngôn ngữ lớn (LLM) là mô hình AI, thường là mạng nơ-ron, được huấn luyện trên lượng văn bản khổng lồ cho các tác vụ xử lý ngôn ngữ tự nhiên, đặc biệt là tạo sinh ngôn ngữ, theo Wikipedia. Nhiệm vụ cốt lõi của nó là dự đoán từ tiếp theo trong chuỗi, từ đó tạo ra câu trả lời hoặc văn bản theo yêu cầu.

LLM học dự đoán từ từ hàng trăm tỷ token

Các bài báo khoa học từ arXiv công bố thông số kỹ thuật của từng mô hình: PhoGPT-4B có độ dài ngữ cảnh 8192 token và bộ từ vựng 20480 token; VinaLLaMA-7B-chat được huấn luyện trên 1 triệu mẫu tổng hợp; Sailor dùng 200–400 tỷ token cho 7 ngôn ngữ Đông Nam Á.

Cơ chế dự đoán xác suất khiến LLM dễ bịa thông tin

Hiện tượng mô hình ngôn ngữ lớn đưa ra thông tin không có thật, hay còn gọi là bịa thông tin, có thể được giải thích từ chính cách mô hình sinh văn bản. Chính nhờ quá trình huấn luyện này, mô hình ngôn ngữ lớn có thể tạo sinh, tóm tắt, dịch và phân tích văn bản trong nhiều ngữ cảnh. Wikipedia cũng ghi rằng mô hình ngôn ngữ lớn là nền tảng cho nhiều chatbot hiện đại như ChatGPT, Claude, Gemini, Grok và DeepSeek.

Điều đó có nghĩa là khi người dùng trò chuyện với một chatbot, những gì họ nhận được đều đến từ một hệ thống được huấn luyện để đoán từ tiếp theo chứ không phải từ một công cụ tra cứu sự kiện chuyên dụng.

GPT là một trong những loại mô hình ngôn ngữ lớn phổ biến nhất. Theo Wikipedia, GPT được tiền huấn luyện để dự đoán từ tiếp theo, sau đó thường được tinh chỉnh để làm theo chỉ dẫn và hành xử như trợ lý. Nhiệm vụ dự đoán từ tiếp theo nghe có vẻ đơn giản, nhưng khi được thực hiện trên hàng loạt văn bản và với số tham số đủ lớn, nó giúp mô hình tích lũy được nhiều tri thức ngôn ngữ và tri thức thế giới.

Tuy nhiên, tri thức đó không nằm trong một cơ sở dữ liệu có cấu trúc để mô hình truy vấn mỗi khi được hỏi; nó chỉ tồn tại dưới dạng trọng số của mạng nơ-ron. Khi mô hình cần trả lời một câu hỏi, nó không tìm kiếm câu trả lời đúng trong một kho tài liệu đã được biên tập, mà trải qua một loạt bước tính xác suất để chọn chuỗi token phù hợp nhất với ngữ cảnh.

Nếu chủ đề nằm ngoài phạm vi dữ liệu huấn luyện, hoặc nếu dữ liệu có nhiều biến thể trái ngược nhau, xác suất của các token sai vẫn có thể rất cao.

Quá trình tinh chỉnh sau đó, theo Wikipedia, định hình hành vi của mô hình ngôn ngữ lớn thông qua các kỹ thuật như học tăng cường từ phản hồi của con người hoặc AI hiến pháp.

Kỹ thuật này giúp mô hình học cách trình bày câu trả lời ở dạng lịch sự, dễ đọc, phân đoạn rõ ràng, biết từ chối những yêu cầu không phù hợp; nhưng nó không cung cấp một nguồn thông tin mới để mô hình kiểm chứng xem điều sắp nói có khớp với thực tế hay không.

Vì vậy, một mô hình có thể nói về một sự kiện lịch sử với giọng điệu chắc chắn, trích dẫn tên nhân vật và mốc thời gian, trong khi các chi tiết đó thực chất do chính mô hình sắp xếp lại theo xác suất. Sự chắc chắn trong cách diễn đạt đến từ phong cách đã được tinh chỉnh, không đến từ độ tin cậy của nội dung.

Kiến trúc Transformer làm cho vấn đề khó nhận biết hơn. Theo Wikipedia, mô hình ngôn ngữ lớn thường được xây dựng dựa trên kiến trúc Transformer. Một đặc điểm nổi bật của kiến trúc này là cơ chế chú ý, cho phép mô hình xử lý mối quan hệ giữa mọi phần tử trong một chuỗi cùng lúc, bất kể khoảng cách giữa chúng.

Điều này giải thích vì sao một đoạn văn dài vẫn có thể giữ được chủ đề nhất quán: các từ ở đầu câu có thể ảnh hưởng trực tiếp đến các từ ở cuối đoạn, dù chúng cách xa nhau hàng trăm token. Nhờ khả năng đó, câu trả lời của mô hình ngôn ngữ lớn thường trôi chảy, mạch lạc và có cấu trúc giống văn bản do con người viết.

Chính sự trôi chảy này tạo ra cảm giác đáng tin cậy, khiến người đọc khó nhận ra những chỗ sai sự thật nếu chưa tra cứu kỹ.

Chất lượng dữ liệu huấn luyện là yếu tố quyết định. Wikipedia cảnh báo rằng dữ liệu huấn luyện thiên lệch hoặc không chính xác có thể khiến đầu ra của mô hình ngôn ngữ lớn kém tin cậy. Mô hình học từ các mẫu câu xuất hiện trong kho ngữ liệu; nếu kho ngữ liệu chứa những khẳng định sai nhưng được lặp lại nhiều lần, mô hình có thể xem chúng là tri thức phổ biến và tái tạo chúng khi cần.

Tương tự, nếu một nhóm quan điểm bị đại diện quá mức trong dữ liệu, trong khi các dữ kiện đối lập hiếm xuất hiện, thì câu trả lời của mô hình sẽ nghiêng theo phía xuất hiện nhiều hơn. Điều này không chỉ ảnh hưởng đến các câu hỏi về khoa học hay lịch sử mà còn ảnh hưởng đến văn phong, cách diễn đạt và những giả định ngầm trong câu trả lời.

Cuối cùng, cần phân biệt khả năng xử lý ngôn ngữ với độ chính xác thực tế. Wikipedia nêu rằng các bài đánh giá chuẩn cho mô hình ngôn ngữ lớn nhằm đo lường khả năng suy luận, độ chính xác thực tế, sự liên kết và an toàn của mô hình.

Những bài đánh giá này rất hữu ích để so sánh giữa các mô hình với nhau, chẳng hạn để xem mô hình nào trả lời đúng nhiều câu hỏi hơn hoặc mô hình nào ít vi phạm nguyên tắc an toàn hơn.

Nhưng kết quả đánh giá trên một bộ dữ liệu chuẩn không thể bảo đảm rằng mô hình sẽ không bao giờ bịa thông tin trong một cuộc hội thoại mở; thực tế, mỗi câu trả lời mới là một lần dự đoán xác suất mới, với dữ liệu đầu vào và ngữ cảnh khác nhau.

Các trọng số đã được tối ưu hóa trong quá trình huấn luyện sẽ tiếp tục được dùng để tạo ra các token mới, và những token đó không đi qua bất kỳ bước kiểm tra sự kiện nào trước khi được hiển thị cho người dùng.

Theo Wikipedia, một số mô hình ngôn ngữ lớn mã nguồn mở có thể được tải về và chạy cục bộ trên máy tính cá nhân hoặc máy chủ thay vì truy cập qua API từ xa. Việc chạy cục bộ cũng không làm thay đổi bản chất dự đoán xác suất nói trên.

Vì vậy, dù tương tác với một chatbot thương mại hay với một mô hình mã nguồn mở, người dùng vẫn nên đối chiếu những thông tin quan trọng với các nguồn độc lập trước khi sử dụng, đặc biệt khi câu trả lời liên quan đến các dữ kiện cụ thể, con số hay sự kiện có thể kiểm chứng.

Theo arXiv, SeaLLM-13b thể hiện hiệu suất vượt trội trên nhiều tác vụ ngôn ngữ và khả năng làm theo chỉ dẫn so với các mô hình mã nguồn mở tương đương. Theo arXiv, Sailor được tiếp tục tiền huấn luyện từ Qwen1.5. Bối cảnh rộng hơn của chủ đề này nằm ở bài Mô hình ngôn ngữ lớn là gì? Hoạt động và giới hạn.

LLM khác mô hình ngôn ngữ truyền thống, chatbot ở đầu vào

LLM được định nghĩa bằng việc dự đoán từ tiếp theo từ kho văn bản khổng lồ, theo Wikipedia. Mô hình ngôn ngữ truyền thống thường nhỏ hơn, chỉ xử lý văn bản ngắn, trong khi LLM như PhoGPT-4B có tới 3,7 tỷ tham số và ngữ cảnh 8192 token, theo arXiv. Chatbot là ứng dụng dùng LLM làm nền tảng, như ChatGPT, Claude, Gemini, Grok và DeepSeek, theo Wikipedia.

Điểm khác biệt then chốt: LLM thuần văn bản không nhận hình ảnh, còn mô hình đa phương thức như Gemini thì có. Một góc nhìn khác cùng chủ đề: Mô hình ngôn ngữ lớn là gì? Cách hoạt động.

LLM gồm dữ liệu, Transformer và tinh chỉnh theo hướng dẫn

Ba bộ phận cấu thành LLM: dữ liệu văn bản khổng lồ, kiến trúc Transformer và quá trình tinh chỉnh. Wikipedia cho biết Transformer dùng cơ chế chú ý để xử lý mối quan hệ giữa mọi phần tử trong chuỗi cùng lúc, bất kể khoảng cách. PhoGPT-4B là mô hình tiếng Việt đơn ngữ được tiền huấn luyện từ đầu trên 102 tỷ token, theo arXiv.

Sau đó, PhoGPT-4B-Chat được tinh chỉnh trên 70 nghìn cặp chỉ dẫn và 290 nghìn đoạn hội thoại để làm theo yêu cầu người dùng.

Tinh chỉnh định hình hành vi nhưng không sửa sai sự thật

Quá trình tinh chỉnh định hình hành vi của LLM thông qua học tăng cường từ phản hồi của con người hoặc AI hiến pháp, theo Wikipedia. VinaLLaMA-7B-chat được huấn luyện trên 1 triệu mẫu tổng hợp chất lượng cao để đạt kết quả SOTA trên các benchmark VLSP, VMLU và Vicuna Benchmark Vietnamese, theo arXiv. Tuy nhiên, tinh chỉnh chỉ giúp mô hình trả lời đúng định dạng, không bảo đảm nội dung đúng sự thật — nó vẫn có thể bịa khi thiếu dữ liệu.

Các chỉ số công bố giúp nhận diện LLM, tránh nhầm lẫn

Ba loại chỉ số nhận diện LLM: số tham số, độ dài ngữ cảnh và điểm benchmark. PhoGPT-4B có 3,7 tỷ tham số và ngữ cảnh 8192 token, theo arXiv. VMLU là bộ tiêu chuẩn đánh giá tiếng Việt gồm bốn tập dữ liệu: Vi-MQA, Vi-SQuAD, Vi-DROP và Vi-Dialog, theo VMLU. Vi-MQA phủ 58 môn học chia thành STEM, khoa học xã hội, nhân văn và nhóm 'Khác'. Các bài đánh giá chuẩn đo lường suy luận, độ chính xác thực tế, sự liên kết và an toàn, theo Wikipedia.

LLM không thay tra cứu sự kiện mới, phép tính chính xác

LLM không áp dụng khi bạn cần sự kiện xảy ra sau thời điểm huấn luyện hoặc phép tính cần độ chính xác tuyệt đối. Hỏi LLM về sự kiện hôm nay sẽ cho câu trả lời dựa trên dữ liệu cũ, có thể đã lỗi thời. Với phép tính, mô hình dự đoán từ không phải công cụ tính toán — nó có thể cho kết quả sai mà vẫn tự tin.

Người dùng chia hai nhóm: sáng tạo và tra cứu chính xác

LLM phù hợp nhất với người cần khởi thảo nội dung, tóm tắt, dịch hoặc phân tích văn bản — những việc Wikipedia xác nhận LLM làm tốt. Với nhóm cần dữ kiện kiểm chứng, như số liệu tham số hay benchmark, họ phải đối chiếu với nguồn gốc như arXiv hoặc VMLU. PhoGPT-4B có số tham số theo arXiv là con số có thể kiểm tra, nhưng câu trả lời văn xuôi của mô hình thì không. Đặt kỳ vọng đúng giúp tránh tin vào thông tin bịa.

Nguồn tham khảo

Wikipedia — Large language model (2025).

arXiv — PhoGPT: Generative Pre-training for Vietnamese (VinAI, 2023).

arXiv — VinaLLaMA: LLaMA-based Vietnamese Foundation Model (2023).

arXiv — SeaLLMs: Large Language Models for Southeast Asia (2024).

arXiv — Sailor: Open Language Models for South-East Asia (2024).

VMLU — Vietnamese Multitask Language Understanding Benchmark (2025).