Mô hình ngôn ngữ lớn là gì? Cách hoạt động

Mô hình ngôn ngữ lớn (LLM) là mô hình học sâu dùng kiến trúc transformer, được huấn luyện dự đoán từ tiếp theo trên hàng tỷ token và có chức năng sinh nội dung mới. OpenAI trình làng GPT-3 năm 2020 với 175 tỷ tham số, theo arxiv.org.

LLM học xác suất từ, không phân biệt đúng sai

Quy mô tham số LLM, theo arxiv.org (2020) và SIGMOD 2023: GPT-3 đạt 175 tỷ tham số; PaLM đạt 540 tỷ tham số.

LLM dễ bịa khi dữ liệu hiếm, cần kiểm tra chéo

Vì bản chất của mô hình ngôn ngữ lớn là một mô hình ngôn ngữ tự hồi quy được tối ưu hóa để dự đoán token tiếp theo, không có khái niệm đúng sai trong vòng lặp huấn luyện, nên khi dữ liệu đầu vào hoặc chủ đề cần sinh nằm ngoài phạm vi phân bố đã học, mô hình vẫn tạo ra câu trả lời trôi chảy thay vì thừa nhận không biết.

Theo people.cs.rutgers.edu, mô hình ngôn ngữ học phân bố xác suất của token tiếp theo dựa trên chuỗi các token trước đó; điều này có nghĩa toàn bộ kiến thức của nó là thống kê trên văn bản, không phải một cơ sở dữ liệu tra cứu.

Với một câu hỏi hiếm, không có mẫu đủ gần để khớp, mô hình buộc phải tổng hợp từ những mảnh văn bản tương tự; sự tổng hợp ấy có thể biến thành thông tin bịa đặt mà vẫn đúng ngữ pháp và đúng phong cách. Ngay cả GPT-3, dù là mô hình tự hồi quy với 175 tỷ tham số, theo arxiv.org, và có số tham số gấp 10 lần bất kỳ mô hình ngôn ngữ không thưa nào trước đó, cũng không thoát khỏi hiện tượng này.

GPT-3 nhận nhiệm vụ và các ví dụ học vài mẫu thông qua tương tác văn bản, không cần cập nhật gradient hay tinh chỉnh khi thực hiện nhiệm vụ, nhưng theo chính arxiv.org, nó vẫn gặp khó khăn trên một số tập dữ liệu học vài mẫu. Điều này đặt ra giới hạn quan trọng: quy mô tham số khổng lồ, khả năng học trong ngữ cảnh và cách ra lệnh bằng văn bản không biến mô hình thành một nguồn chân lý.

Từ góc độ phát triển, NIH coi mô hình ngôn ngữ lớn là mô hình có quy mô dữ liệu và kích thước mô hình lớn, làm xuất hiện những khả năng nổi trội mới như làm theo chỉ dẫn, học trong ngữ cảnh và chuỗi suy nghĩ. Chính nhờ quy mô lớn, mô hình đạt hiệu suất suy luận zero-shot và few-shot đáng kinh ngạc trên hầu hết các nhiệm vụ xử lý ngôn ngữ tự nhiên, theo NIH.

Tuy nhiên, cần phân biệt giữa năng lực ngôn ngữ và năng lực suy luận đáng tin cậy. Một mô hình có thể đạt điểm cao trong hỏi đáp hay dịch máy là vì các mẫu ngôn ngữ trong kho dữ liệu cho phép nó dự đoán những câu trả lời có xác suất cao, chứ không phải vì nó có ý thức về tính nhất quán với thế giới thực.

Chính vì thế, GPT-3 có thể tạo ra các bài báo tin tức mà người đánh giá khó phân biệt với bài viết của con người, theo arxiv.org; sự trôi chảy đó lại chính là thứ khiến người dùng dễ tin, dù thông tin bên trong có thể sai. Các khả năng như làm theo chỉ dẫn, học trong ngữ cảnh và chuỗi suy nghĩ được NIH ghi nhận là những năng lực nổi trội, nhưng chúng không đi kèm cam kết về độ chính xác tuyệt đối.

Trong thực tế, nếu chuỗi suy nghĩ sinh ra không dựa trên sự kiện, nó có thể hợp lý về mặt hình thức nhưng rỗng về mặt nội dung.

Để hiểu tại sao vấn đề này khó tránh, có thể nhìn vào chính các kiến trúc và quy trình huấn luyện. people.cs.rutgers.edu mô tả các mô hình ngôn ngữ hiện đại nhất dựa trên kiến trúc Transformer, chứa từ hàng triệu đến hàng tỷ tham số và được huấn luyện trên các kho văn bản lớn với từ hàng tỷ đến hàng nghìn tỷ token.

Mô hình PaLM, cũng theo nguồn này, có 540 tỷ tham số và được tiền huấn luyện trên kho văn bản chất lượng cao gồm 780 tỷ token. GPT-3, theo people.cs.rutgers.edu, có 175 tỷ tham số và được tiền huấn luyện trên kho dữ liệu gồm 500 tỷ token. Hỏa Tốc 24h tính từ dữ kiện đã dẫn cho thấy số tham số của PaLM gấp 3,09 lần GPT-3.

Những con số này cho thấy xu hướng gia tăng đáng kể về quy mô, nhưng gia tăng quy mô không đồng nghĩa với việc mô hình có một bộ nhớ hoàn hảo về mọi sự kiện. Trái lại, mọi tri thức đều được mã hóa gián tiếp qua trọng số và qua phân bố xác suất; nếu một chi tiết quá hiếm, nó sẽ bị lấn át bởi các quy luật thống kê phổ biến hơn.

Do đó, khi mô hình được dùng cho các ứng dụng thực tế phức tạp, một lĩnh vực NIH cho thấy mô hình ngôn ngữ lớn cũng đạt hiệu suất tốt, thì người dùng cần nhớ rằng sự tốt đó chỉ mang tính tương đối và phụ thuộc vào ngữ cảnh.

Kể cả khi mô hình ngôn ngữ lớn được dùng làm bộ não trong các mô hình ngôn ngữ lớn đa phương thức để thực hiện nhiệm vụ đa phương thức, theo NIH, thì các bộ phận bổ sung có thể giúp mô hình nhận diện hình ảnh hoặc âm thanh, nhưng phần văn bản được sinh ra vẫn mang đầy đủ rủi ro bịa của một mô hình ngôn ngữ.

Chính vì LLM vốn mù với hình ảnh vì chỉ hiểu được văn bản rời rạc, theo NIH, việc thêm đầu vào hình ảnh chỉ làm thay đổi dạng thức đầu vào, không làm thay đổi bản chất dự đoán token. Đối với người dùng đang cần tra cứu thông tin để ra quyết định, điều kiện áp dụng an toàn là phải coi văn bản từ LLM như một gợi ý chứ không phải chứng cứ.

Có thể dùng nó để đặt câu hỏi, khám phá hướng giải quyết, soạn thảo ý chính, rồi kiểm tra từng dữ kiện với nguồn chính thống. Cần đối chiếu số liệu, tên riêng, mốc thời gian, trích dẫn và cả cách lập luận, nhất là khi mô hình trả lời với độ tự tin cao. Một mô hình có 175 tỷ tham số hay 540 tỷ tham số vẫn có thể vẽ ra một sự thật trơn tru mà không có gì hậu thuẫn.

Văn phong của LLM có thể làm cho thông tin trở nên thuyết phục hơn, nhưng mức độ thuyết phục phụ thuộc vào xác suất ngôn ngữ, không phụ thuộc vào chân trị.

Người dùng cũng nên biết rằng hiệu suất tốt của GPT-3 trên dịch máy, hỏi đáp, điền từ, giải mã từ, sử dụng từ mới và số học ba chữ số, theo arxiv.org, chỉ ra những tác vụ có cấu trúc rõ ràng; với những chủ đề mở, không có cấu trúc hoặc nằm ở vùng dữ liệu thưa, thành tích đó không tự động lặp lại.

Hơn nữa, các nhiệm vụ học vài mẫu mà GPT-3 vẫn gặp khó khăn, theo arxiv.org, là lời nhắc về độ tin cậy của kỹ thuật few-shot; trong khi NIH ghi nhận mô hình ngôn ngữ lớn đạt suy luận zero-shot và few-shot đáng kinh ngạc, từ đáng kinh ngạc không có nghĩa là hoàn hảo.

Phải đọc kỹ các văn bản hướng dẫn của nhà cung cấp mô hình, biết rõ phạm vi huấn luyện và những hạn chế đã công bố, rồi mới áp dụng vào quyết định quản lý, pháp lý, y tế hay tài chính. Bối cảnh rộng hơn của chủ đề này nằm ở bài Mô hình ngôn ngữ lớn là gì? Hoạt động và giới hạn.

Transformer và tham số quyết định năng lực LLM

Mô hình ngôn ngữ lớn là bước đột phá chính của xử lý ngôn ngữ tự nhiên nhờ chuyển sang kiến trúc Transformer, theo nghiên cứu SIGMOD 2023. Các mô hình hiện đại chứa từ hàng triệu đến hàng tỷ tham số và được huấn luyện trên kho văn bản từ hàng tỷ đến hàng nghìn tỷ token, theo cùng nguồn. GPT-3 tiêu biểu cho phân khúc này: 175 tỷ tham số và 500 tỷ token tiền huấn luyện, theo arxiv.org.

Một góc nhìn khác cùng chủ đề: Mô hình ngôn ngữ lớn là gì? Cách hoạt động và giới hạn.

Cơ chế dự đoán token tạo ra trí thông minh nổi trội

Vì bản chất học xác suất của token tiếp theo dựa trên chuỗi token trước đó, LLM lớn bộc lộ các khả năng nổi trội mới: làm theo chỉ dẫn, học trong ngữ cảnh và chuỗi suy nghĩ, theo NIH tháng 11/2024. Nhờ đó GPT-3 thực hiện nhiệm vụ mà không cần cập nhật gradient hay tinh chỉnh, và đạt hiệu suất tốt trên các bài toán dịch máy, hỏi đáp, điền từ và số học ba chữ số, theo arxiv.org (2020).

LLM chỉ hiểu văn bản rời rạc, mù với hình ảnh

Cơ chế xác suất token khiến LLM vốn mù hình ảnh vì chỉ hiểu văn bản dạng chuỗi, theo NIH tháng 11/2024. Tuy vậy, các khối này vẫn đạt hiệu suất tốt trong ứng dụng thực tế phức tạp khi được dùng làm bộ não trong mô hình đa phương thức, theo cùng nguồn.

LLM khác mô hình n-gram thống kê và thuộc AI tạo sinh

Mô hình n-gram truyền thống chỉ đếm cụm từ cố định trong khi LLM học phân bố xác suất token và sinh văn bản mới. Với hai mô hình có cùng dữ liệu, mô hình 70B tối ưu có thể thắng mô hình 175B, nên số tham số không phải thước đo duy nhất. GPT-3, theo arxiv.org, tạo được bài báo tin tức mà người đánh giá khó phân biệt với bài của con người — minh chứng cho vị trí của LLM trong nhóm AI tạo sinh.

Khi nào không nên dùng mô hình ngôn ngữ lớn?

Không nên dùng LLM cho nhiệm vụ cần độ chính xác tuyệt đối như tính toán, chẩn đoán y khoa hay tư vấn pháp lý, vì bản chất xác suất không loại trừ khả năng bịa thông tin. Bản thân GPT-3 vẫn gặp khó khăn trên một số tập dữ liệu học vài mẫu, theo arxiv.org. Khi ấy hãy dùng mô hình nhỏ được tinh chỉnh riêng hoặc hệ thống chạy nội bộ, thay vì đặt câu hỏi cho một LLM lớn không kiểm soát được dữ liệu đầu vào.

Người mới đọc cả bài, chuyên gia AI đọc số liệu

Người mới bắt đầu nên đọc từ định nghĩa đến trục ngầm và phần không nên áp dụng để hiểu giới hạn trước khi dùng. Chuyên gia AI có thể xem nhanh các con số tham số và dữ liệu huấn luyện: GPT-3 đạt 175 tỷ tham số, PaLM đạt 540 tỷ, theo arxiv.org và SIGMOD 2023 — nhưng bài học chính vẫn là đánh giá bằng benchmark và kiểm tra nguồn, không phải tin vào độ dài câu trả lời.

Nguồn tham khảo

arxiv.org, bài báo GPT-3, công bố tháng 7/2020.

people.cs.rutgers.edu, nghiên cứu SIGMOD 2023.

NIH, bài tổng quan LLM, tháng 11/2024.