Mô hình ngôn ngữ lớn có thể bịa chi tiết khi dự đoán văn bản

Mô hình ngôn ngữ lớn (LLM) là mô hình AI, thường là mạng nơ-ron, được huấn luyện trên lượng văn bản khổng lồ cho các tác vụ xử lý ngôn ngữ tự nhiên, đặc biệt là sinh ngôn ngữ (Wikipedia). Các sản phẩm như ChatGPT, Claude hay Gemini đều dùng LLM, và bài này sẽ phân tích cơ chế hoạt động, khả năng cùng giới hạn của chúng.

LLM dự đoán từ tiếp theo nên dễ bịa chi tiết

Không có chuỗi dữ liệu theo thời gian trong bộ dữ kiện. Các con số định lượng rời rạc: GPT-3 có 175 tỷ tham số, gấp 10 lần mô hình ngôn ngữ không thưa trước đó (arxiv.org, 2020); PaLM năm 2022 có 540 tỷ tham số với chi phí 8 triệu USD; Megatron-Turing NLG 530B chi phí khoảng 11 triệu USD; DeepSeek R1 tháng 1/2025 có 671 tỷ tham số (Wikipedia).

Từ GPT-3 175B đến DeepSeek R1 671B (2020–2025)

So sánh các mô hình tiêu biểu qua năm công bố, số tham số và chi phí huấn luyện làm rõ nghĩa của chữ “lớn”.

GPT-3 năm 2020 đạt mức tham số nói trên, gấp 10 lần mô hình không thưa trước đó (arxiv.org); PaLM năm 2022 có số tham số nói trên, huấn luyện tốn 8 triệu USD; Megatron-Turing NLG 530B năm 2021 tốn khoảng mức chi phí nói trên; đến tháng 1/2025, DeepSeek R1 là mô hình mã nguồn mở với số tham số nói trên, chi phí mỗi token thấp hơn nhiều so với OpenAI o1 (Wikipedia).

Bảng đối chiếu quy mô các mô hình ngôn ngữ lớn

Bảng cho thấy quy mô tham số tăng đều qua các năm, kéo theo chi phí huấn luyện hàng triệu USD.

Văn bản trôi chảy không bảo đảm độ chính xác

Sự lưu loát thường được xem là thế mạnh của các mô hình ngôn ngữ lớn, nhưng văn bản trơn tru chưa chắc đã có độ xác thực. Theo Wikipedia, dòng Generative Pre-trained Transformer (GPT) là loại LLM được tiền huấn luyện để đoán từ xuất hiện tiếp theo. GPT-3 có 175 tỷ tham số, theo arxiv.org, và nó từng tạo ra những mẫu tin tức giả mà người kiểm tra khó nhận biết so với bài viết thật của con người (arxiv.org, 2020).

Con số này gấp 10 lần mô hình ngôn ngữ không thưa trước đó (arxiv.org), cho thấy quy mô càng lớn càng dễ mô phỏng phong cách viết. Nhưng vì mô hình chỉ học cách đặt từ chứ không tìm kiếm chân lý, nên sự lưu loát không hàm ý mô hình hiểu đúng hoặc nắm vững sự kiện.

LLM suy ra quy luật ngôn ngữ từ văn bản kho ngữ liệu thay vì truy cập kho dữ kiện, do đó nó có thể mô tả một chi tiết bịa đặt một cách rất tự tin. Transformer là kiến trúc do Google công bố năm 2017 qua bài ‘Attention Is All You Need’ (Wikipedia), vận hành theo cơ chế chú ý nhưng không liên kết với tri thức bên ngoài.

Trong chế độ few-shot, GPT-3 không cần cập nhật gradient hoặc tinh chỉnh thêm; công việc cần làm được mô tả hoàn toàn bằng văn bản (arxiv.org). Nó thành thạo nhiều việc như dịch máy, hỏi đáp, điền chỗ trống, giải mã, dùng từ mới, làm toán với số có 3 chữ số (arxiv.org), nhưng lại gặp lỗi ở một số tập dữ liệu (arxiv.org). Điều đó cho thấy học nhanh không đi liền với hoạt động kiểm chứng.

Theo NIH, khi dữ liệu và tham số được mở rộng, LLM hình thành những khả năng mới nổi như nghe theo chỉ dẫn, học trong ngữ cảnh, lập luận theo chuỗi suy nghĩ. Tuy vậy, chúng vẫn chỉ hoạt động dưới hình thức dự đoán xác suất, không bám vào tiêu chuẩn đúng sai tuyệt đối. LLM gốc chỉ đọc được văn bản rời rạc nên không xử lý hình ảnh, tức là mù về thị giác (NIH).

Mô hình đa phương thức (MLLM) mượn LLM làm bộ não để giải quyết các tác vụ đa phương thức (NIH); GPT-4V là một trong những đại diện tiêu biểu (NIH). Dù nhận được ảnh đầu vào, khả năng suy luận của nó vẫn đến từ LLM dựa trên chữ viết, chứ không phải từ quan sát hình ảnh trực tiếp.

Vì vậy, văn bản trôi chảy dù ở hình thức nào cũng không tự khẳng định được độ chính xác. Các cơ quan quản lý đã yêu cầu kiểm soát: theo European Commission, mô hình AI đa mục đích (GPAI) phải chịu nghĩa vụ theo Đạo luật AI từ ngày 2 tháng 8 năm 2025, bao gồm công khai thông tin, tuân thủ bản quyền; mô hình có rủi ro hệ thống phải trải qua đánh giá và giảm thiểu (European Commission).

Như vậy, độ trôi chảy cao không bị coi là thước đo mức độ tin cậy; nó cần sự giám sát bên ngoài. Theo European Commission, các quy tắc quản trị và nghĩa vụ đối với mô hình AI đa mục đích (GPAI) theo Đạo luật AI bắt đầu được áp dụng từ ngày 2 tháng 8 năm 2025. Theo NIH, GPT-4V là một mô hình ngôn ngữ lớn đa phương thức tiêu biểu.

Bối cảnh rộng hơn của chủ đề này nằm ở bài Mô hình ngôn ngữ lớn là gì? Hoạt động và giới hạn.

Cỗ máy dự đoán từ tiếp theo sau quy luật ngôn từ

Ví dụ, từ “ngân hàng” trong “ngân hàng câu hỏi” và “ngân hàng máu” có nghĩa khác nhau, và mô hình phải dựa vào toàn bộ ngữ cảnh để chọn từ phù hợp. GPT-3 thực hiện các nhiệm vụ few-shot mà không cần cập nhật gradient hay tinh chỉnh, chỉ qua tương tác văn bản với mô hình (arxiv.org). Nhờ học từ lượng văn bản lớn, mô hình nắm được các khuôn mẫu ngôn từ, từ đó sinh ra câu chữ tự nhiên.

Một góc nhìn khác cùng chủ đề: Mô hình ngôn ngữ lớn tiếng Việt: bịa khi nào?.

Năng lực bịa đặt nằm ở điểm mù ngữ nghĩa

Điểm mù nằm ở chỗ mô hình không có biểu diễn sự thật khách quan: nó chỉ học phân bố xác suất của từ trong ngữ cảnh, nên dễ “bịa” ra những chi tiết nghe hợp lý. Theo NIH, khác với mô hình đa phương thức truyền thống, MLLM dùng LLM làm bộ não để suy luận trên nhiều loại dữ liệu như ảnh, âm thanh, nhưng phần sinh văn bản vẫn dựa trên dự đoán xác suất.

Vì vậy, ngay cả khi mô hình trả lời rành mạch về một cuốn sách hay tác giả không tồn tại, nó vẫn không hề “biết” mình sai.

So sánh khả năng và giới hạn của LLM qua ca cụ thể

GPT-3 đạt hiệu quả cao trên nhiều tập dữ liệu NLP như dịch máy, hỏi đáp, điền khuyết và suy luận linh hoạt (arxiv.org). Nhưng trên một số tập dữ liệu, GPT-3 vẫn gặp khó khăn khi học few-shot (arxiv.org, 2020). DeepSeek R1 ra mắt tháng 1/2025 với quy mô tham số lớn, hoạt động tương đương OpenAI o1 nhưng chi phí mỗi token thấp hơn nhiều (Wikipedia).

Điều đó cho thấy quy mô tham số lớn giúp tăng khả năng, nhưng không xóa bỏ giới hạn cơ bản về độ tin cậy.

Khi nào không nên tin câu trả lời của LLM?

Không nên dùng LLM cho các nhiệm vụ cần số liệu chính xác, thông tin thời sự, quyết định pháp lý hoặc y tế. Mô hình không được huấn luyện để cập nhật theo thời gian thực; chẳng hạn, GPT-3 đến năm 2025 vẫn chỉ khả dụng qua API, không cho tải về chạy cục bộ (Wikipedia), và nó không biết các sự kiện xảy ra sau ngày huấn luyện.

Nếu hỏi một mô hình câu cần số liệu mới, bạn phải đối chiếu với trang cung cấp dữ liệu quốc tế thay vì tin câu trả lời, vì mô hình không có cơ chế kiểm chứng.

LLM hữu ích trong soạn thảo nếu bạn kiểm chứng nguồn

Với người viết nội dung, lập trình viên và nhà nghiên cứu, LLM là công cụ đỡ đần tốt nhưng không thể thay thế kiểm chứng. Người viết có thể dùng LLM để soạn email, tóm tắt cuộc họp hoặc tạo bản nháp nhanh; GPT-3 đã chứng minh khả năng tạo mẫu tin tức khó phân biệt với người viết (arxiv.org). Lập trình viên dùng LLM để giải thích code hoặc sinh mã mẫu, nhưng phải chạy thử trước khi dùng.

Nhà nghiên cứu cần đối chiếu nguồn gốc, vì mô hình có thể trích dẫn tài liệu không có thật. Mọi nhóm đều phải kiểm tra thông tin từ nguồn tin cậy trước khi sử dụng.

Nguồn

Các dữ kiện được lấy từ Wikipedia, arxiv.org, NIH và European Commission. Chi tiết xem trong bài.