Mô hình ngôn ngữ lớn là gì? Hoạt động và giới hạn

Mô hình ngôn ngữ lớn (LLM) là hệ thống AI học cách dự đoán từ tiếp theo dựa trên xác suất, không tra cứu tri thức như máy tìm kiếm. Theo NIH, LLM đạt tiến bộ vượt bậc nhờ tăng quy mô dữ liệu và kích thước mô hình, tạo văn bản trôi chảy nhưng không đảm bảo độ chính xác.

LLM sở hữu hàng trăm tỉ tham số và token huấn luyện

Mô hình ngôn ngữ học phân bố xác suất của token tiếp theo dựa trên chuỗi token trước đó, theo people.cs.rutgers.edu. Sau huấn luyện, mô hình sinh văn bản bằng cách lặp lại việc chọn token tiếp theo từ phân bố xác suất đã học.

LLM khác máy tìm kiếm ở cơ chế sinh văn bản

Google Search truy xuất trang web có thật, còn LLM như GPT-3 sinh từng token dựa trên xác suất, theo arxiv.org.

LLM bịa khi gặp dữ kiện ngoài dữ liệu huấn luyện

Mô hình ngôn ngữ lớn (LLM), theo people.cs.rutgers.edu, là mô hình ngôn ngữ thần kinh lớn, được coi là bước đột phá lớn trong xử lý ngôn ngữ tự nhiên những năm gần đây. Các mô hình ngôn ngữ hiện đại nhất đều dựa trên kiến trúc Transformer, chứa từ hàng triệu đến hàng tỷ tham số và được huấn luyện trên kho văn bản quy mô lớn với từ hàng tỷ đến hàng nghìn tỷ token.

Khác với cách hiểu phổ biến cho rằng máy tính tra cứu sự thật, LLM thực chất là bộ dự đoán phân bố xác suất của token tiếp theo trong chuỗi: nó học cách tối thiểu hóa tổng log xác suất có điều kiện của token đúng dựa trên các token trước đó. Sau khi huấn luyện, mô hình sinh văn bản theo vòng lặp, mỗi bước chọn token tiếp theo từ phân bố xác suất đã học; người dùng chỉ cần đưa vài token đầu tiên làm prompt.

Có nhiều chiến lược giải mã: lấy mẫu ngẫu nhiên đơn giản theo phân bố xác suất, greedy search chọn token có xác suất cao nhất, top-k sampling lấy mẫu từ k token có xác suất cao nhất, còn top-p sampling lấy mẫu từ nhóm token có xác suất cao nhất tạo thành p% xác suất tích lũy. Các chiến lược này làm thay đổi độ đa dạng của văn bản, nhưng không chiến lược nào xác minh câu trả lời có đúng với thực tế hay không.

Nói cách khác, LLM được tối ưu để tạo ra chuỗi token trôi chảy, không phải để khẳng định một mệnh đề chân thực. Khi nhận được câu hỏi nằm ngoài phạm vi dữ liệu huấn luyện, mô hình không có cơ chế để thông báo “tôi không biết”; nó vẫn phải ước lượng token có xác suất cao nhất rồi tiếp tục như bình thường.

Cứ lặp lại như vậy, đầu ra sẽ là một đoạn văn có cấu trúc hoàn chỉnh, ngữ pháp tốt, thậm chí rất thuyết phục, nhưng nội dung có thể là tổ hợp của những thông tin không có trong tập dữ liệu hoặc được ghép sai ngữ cảnh. people.cs.rutgers.edu mô tả cơ chế học phân bố token, trong khi arxiv.org gọi GPT-3 là mô hình ngôn ngữ tự hồi quy; tự hồi quy có nghĩa token sinh ra sau dựa trên chính những token đã sinh trước đó.

Vì vậy không có bước “suy nghĩ trước khi nói” kiểu người, cũng không có bước tra cứu sau khi sinh token; chất lượng của câu trả lời chỉ được đánh giá bằng xác suất ngôn từ, không phải bằng độ phù hợp với dữ kiện khách quan. Đây là lý do các hệ thống LLM dễ mắc lỗi bịa thông tin khi gặp dữ kiện ngoài dữ liệu huấn luyện.

Theo NIH, thuật ngữ LLM dùng để chỉ các mô hình ngôn ngữ đạt tiến bộ vượt bậc nhờ tăng quy mô dữ liệu và kích thước mô hình.

Nhờ quy mô đủ lớn, LLM sở hữu các khả năng mới nổi như làm theo hướng dẫn, học trong ngữ cảnh và chuỗi suy nghĩ; các khả năng này không được lập trình trực tiếp mà xuất hiện khi mô hình đạt một độ lớn nhất định, tương tự như một hệ quả của việc học thống kê trên lượng văn bản khổng lồ. Do đó, NIH mô tả LLM có thể suy luận zero-shot và few-shot trên hầu hết các tác vụ xử lý ngôn ngữ tự nhiên.

Zero-shot là làm một việc chưa từng được huấn luyện riêng; few-shot là đưa một vài ví dụ ngay trong prompt rồi để mô hình suy ra quy luật. arxiv.org mô tả chính thiết kế đó ở GPT-3: mô hình được triển khai mà không cần cập nhật gradient hay tinh chỉnh, nhiệm vụ và các minh họa few-shot được xác định hoàn toàn qua tương tác văn bản.

Nhờ vậy, người dùng không cần tạo bộ dữ liệu riêng cho từng bài toán, chỉ cần đặt câu hỏi hoặc đưa ví dụ là có thể dùng mô hình. Nhưng khả năng làm theo hướng dẫn không đi kèm khả năng kiểm tra độ xác thực: nếu prompt gợi ý một giả định sai, LLM vẫn có thể tiếp tục phát triển theo giả định đó để tạo văn bản trôi chảy.

arxiv.org cung cấp thêm dữ liệu để thấy vai trò của quy mô: GPT-3 là mô hình tự hồi quy có 175 tỷ tham số, gấp 10 lần bất kỳ mô hình ngôn ngữ không thưa nào trước đó. Nhờ quy mô này, GPT-3 đạt hiệu suất mạnh trên nhiều bộ dữ liệu NLP, bao gồm dịch máy, trả lời câu hỏi và các bài tập điền khuyết.

Việc tăng quy mô cũng làm cải thiện đáng kể khả năng học few-shot không phụ thuộc vào tác vụ, nghĩa là mô hình càng lớn thì càng dễ thích nghi với dạng câu hỏi mới chỉ bằng vài ví dụ trong prompt. Sức mạnh này thể hiện rõ qua việc GPT-3 có thể tạo ra mẫu tin bài khiến người đánh giá khó phân biệt với bài viết của con người.

Nếu chỉ nhìn bề ngoài, những bài như vậy có vẻ đáng tin, nhưng thực chất toàn bộ quy trình chỉ là lựa chọn token theo xác suất. people.cs.rutgers.edu bổ sung rằng GPT-3 có 175 tỷ tham số và được huấn luyện trước trên kho văn bản 500 tỷ token; PaLM, mô hình ngôn ngữ lớn dựa trên Transformer, có 540 tỷ tham số và được huấn luyện trước trên kho văn bản chất lượng cao gồm 780 tỷ token.

So sánh các con số này có thể thấy xu hướng liên tục mở rộng cả tham số lẫn dữ liệu; tuy nhiên, mở rộng dữ liệu chủ yếu cải thiện khả năng mô hình hóa ngôn ngữ, chứ không tạo ra một tầng tri thức riêng có thể kiểm chứng từng phát biểu.

Cũng theo people.cs.rutgers.edu, các mô hình ngôn ngữ lớn được chứng minh là ghi nhớ một phần dữ liệu huấn luyện của chúng; khi được đưa prompt phù hợp, chúng có thể phát ra chính xác dữ liệu đã thấy. Việc ghi nhớ này giải thích vì sao LLM đôi khi trả lời rất chính xác khi gặp câu hỏi quen thuộc, nhưng cũng cho thấy ranh giới mỏng giữa tri thức và chép lại.

Mô hình không có sự phân biệt giữa một câu đúng và một câu sai nếu cả hai đều xuất hiện phổ biến trong văn bản huấn luyện. Bên cạnh đó, LLM thuần văn bản bị giới hạn về phương thức đầu vào: theo NIH, LLM vốn không xử lý được hình ảnh vì chỉ hiểu văn bản dạng rời rạc.

Nếu cần xử lý ảnh hoặc tín hiệu đa phương thức, người ta phải xây dựng mô hình ngôn ngữ lớn đa phương thức (MLLM) dựa trên LLM, có khả năng tiếp nhận, suy luận và xuất ra thông tin đa phương thức. Sự phân lớp này cho thấy vốn tri thức gốc của LLM không đến từ quan sát thế giới mà đến từ tần suất đồng xuất hiện của các token trong kho ngữ liệu.

Một mô hình mạnh đến đâu vẫn chỉ dự đoán token chứ không xác minh sự thật; do đó người dùng cần đối chiếu đầu ra với nguồn độc lập trước khi dùng cho quyết định quan trọng. Bối cảnh rộng hơn của chủ đề này nằm ở bài Mô hình ngôn ngữ lớn là gì? Cách hoạt động và giới hạn.

GPT-3, PaLM, LLaMA 2 thuộc nhóm LLM, BERT thì không

Theo people.cs.rutgers.edu, PaLM là mô hình Transformer có 540 tỉ tham số, GPT-3 có 175 tỉ tham số. Theo arxiv.org, GPT-3 có số tham số gấp 10 lần bất kỳ mô hình ngôn ngữ không thưa nào trước đó.

Transformer và tham số lớn giúp LLM nhớ ngữ cảnh dài

Các mô hình ngôn ngữ hiện đại dựa trên kiến trúc Transformer, theo people.cs.rutgers.edu. Cơ chế self-attention cho phép cân nhắc toàn bộ ngữ cảnh, trong khi quy mô tham số lớn giúp lưu trữ nhiều mẫu ngôn ngữ hơn. GPT-3 năm 2020 có 175 tỉ tham số, theo arxiv.org, đủ sức tạo văn bản mà người đánh giá khó phân biệt với bài viết của con người. Một góc nhìn khác cùng chủ đề: Mô hình ngôn ngữ lớn (LLM) là gì?.

LLM có khả năng suy luận zero-shot và few-shot

Theo NIH, LLM thể hiện khả năng suy luận zero-shot và few-shot trên hầu hết tác vụ xử lý ngôn ngữ tự nhiên. GPT-3 được triển khai mà không cần cập nhật gradient hay tinh chỉnh; nhiệm vụ và minh họa few-shot được xác định hoàn toàn qua tương tác văn bản, theo arxiv.org. Tăng quy mô mô hình giúp cải thiện đáng kể khả năng học few-shot không phụ thuộc vào tác vụ.

Không dùng LLM để tra cứu số liệu cần độ chính xác

Khi cần trích dẫn pháp lý, số liệu tài chính hoặc kiểm tra sự kiện, LLM không chỉ nguồn và không có cơ chế đối chiếu. Vụ Mata v. Avianca năm 2023 cho thấy hậu quả khi tin vào án lệ bịa: luật sư Steven Schwartz bị phạt. Theo NIH, LLM vốn không xử lý được hình ảnh vì chỉ hiểu văn bản dạng rời rạc, nên không phù hợp cho tác vụ đa phương thức khi chưa có lớp mở rộng.

Người dùng phân loại rủi ro trước khi tin đầu ra LLM

Nhóm sáng tạo nội dung có thể chấp nhận sai sót để đổi lấy tốc độ, nhưng nhóm làm tài chính, y tế hoặc pháp lý phải coi đầu ra LLM là giả thuyết cần tự kiểm chứng. Theo NIH, LLM sở hữu khả năng mới nổi như làm theo hướng dẫn, học trong ngữ cảnh và chuỗi suy nghĩ, nhưng những khả năng này không đi kèm cam kết về độ đúng sự thật.

Nguồn tham khảo

arxiv.org, NIH, people.cs.rutgers.edu.