CƠ CHẾ HOẠT ĐỘNG CỦA MÔ HÌNH NGÔN NGỮ LỚN (LLMs) (1) Các mô hình

CƠ CHẾ HOẠT ĐỘNG CỦA MÔ HÌNH NGÔN NGỮ LỚN (LLMs)

(1) Các mô hình ngôn ngữ lớn (Large Language Models - LLMs) như GPT-4 hay Claude hoạt động dựa trên kiến trúc mạng nơ-ron có tên là Transformer. Đơn vị cơ bản mà các mô hình này xử lý không phải là từ (word) mà là Token. Token có thể là một từ, một phần của từ hoặc một ký tự. Ví dụ, từ "apple" là một token, nhưng "smartphones" có thể bị tách thành hai token "smart" và "phones". Khả năng "hiểu" ngữ cảnh của mô hình đến từ cơ chế sự chú ý (Attention Mechanism), cho phép nó đánh trọng số quan trọng cho các từ khác nhau trong câu để dự đoán từ tiếp theo hợp lý nhất.

(2) Quá trình huấn luyện LLMs diễn ra qua hai giai đoạn chính. Giai đoạn 1 là Tiền huấn luyện (Pre-training): mô hình được "đọc" một lượng dữ liệu khổng lồ (hàng nghìn tỷ token) từ internet để học quy luật ngôn ngữ và kiến thức tổng quát. Giai đoạn 2 là tinh chỉnh (Fine-tuning), trong đó quan trọng nhất là phương pháp RLHF (Reinforcement Learning from Human Feedback). Tại đây, con người đánh giá các câu trả lời của AI để dạy nó cách phản hồi an toàn, hữu ích và đúng trọng tâm hơn.

(3) Mặc dù rất mạnh mẽ, LLMs vẫn tồn tại những hạn chế cố hữu. Phổ biến nhất là hiện tượng ảo giác (Hallucination), khi AI tự tin đưa ra những thông tin hoàn toàn sai lệch hoặc bịa đặt nhưng nghe rất thuyết phục. Nguyên nhân là do bản chất của LLM là mô hình xác suất: nó chỉ dự đoán chuỗi ký tự tiếp theo có khả năng xuất hiện cao nhất chứ không thực sự "biết" sự thật hay kiểm chứng được tính đúng sai của dữ liệu.

(Nguồn: Tổng hợp và biên soạn dựa trên bài viết chuyên sâu từ Tạp chí Tia Sáng và VnExpress Số hóa.)

Trả lời cho các câu 1, 2, 3, 4, 5 dưới đây:

Câu hỏi số 1:

Nhận biết

Ghép các thuật ngữ cơ bản với định nghĩa tương ứng.

1. Transformer

2. Token

3. Attention Mechanism

Đáp án đúng là: 1-c; 2-a; 3-b

Xem lời giải

Câu hỏi:863091

Phương pháp giải

Định vị từ khóa trong đoạn (1) để tìm định nghĩa của từng thuật ngữ.

Giải chi tiết

Đoạn (1): "...kiến trúc mạng nơ-ron có tên là Transformer" $\rightarrow$ 1 ghép với c.

Đoạn (1): "Đơn vị cơ bản... là Token. Token có thể là một từ, một phần của từ..." $\rightarrow$ 2 ghép với a.

Đoạn (1): "...cơ chế sự chú ý, cho phép nó đánh trọng số quan trọng..." $\rightarrow$ 3 ghép với b.

Đáp án cần chọn là: 1-c; 2-a; 3-b

Câu hỏi số 2:

Thông hiểu

Ghép các giai đoạn huấn luyện với mục tiêu/đặc điểm chính.

1. Pre-training (Tiền huấn luyện)

2. RLHF (Học tăng cường từ phản hồi người)

3. Transformer (Kiến trúc nền tảng)

Đáp án đúng là: 1-b; 2-c; 3-a

Xem lời giải

Câu hỏi:863092

Phương pháp giải

Định vị và phân loại thông tin từ đoạn (1) và (2).

Giải chi tiết

1 ghép b: Đoạn (2) mô tả Pre-training là giai đoạn "đọc lượng dữ liệu khổng lồ... học quy luật ngôn ngữ".

2 ghép c: Đoạn (2) mô tả RLHF (trong giai đoạn Tinh chỉnh) là lúc "con người đánh giá... dạy nó cách phản hồi an toàn, hữu ích".

3 ghép a: Đoạn (1) giới thiệu LLMs hoạt động dựa trên "kiến trúc mạng nơ-ron có tên là Transformer" và xử lý đơn vị là "Token".

Đáp án cần chọn là: 1-b; 2-c; 3-a

Câu hỏi số 3:

Thông hiểu

Hãy ghép các thành phần/giai đoạn với chức năng/đặc điểm tương ứng.

1. Token

2. Attention Mechanism (Cơ chế chú ý)

3. Pre-training (Tiền huấn luyện)

4. RLHF (Học tăng cường từ phản hồi người)

Đáp án đúng là: 1-c; 2-a; 3-b; 4-d

Xem lời giải

Câu hỏi:863093

Phương pháp giải

Định vị thông tin và đọc hiểu chức năng.

Giải chi tiết

1-c: Đoạn (1) định nghĩa Token là "Đơn vị cơ bản... có thể là một từ, một phần của từ".

2-a: Đoạn (1) mô tả Attention Mechanism cho phép "đánh trọng số quan trọng cho các từ... để dự đoán".

3-b: Đoạn (2) mô tả Tiền huấn luyện là lúc mô hình "đọc lượng dữ liệu khổng lồ... để học quy luật".

4-d: Đoạn (2) mô tả RLHF dùng để "dạy nó cách phản hồi an toàn, hữu ích".

Đáp án cần chọn là: 1-c; 2-a; 3-b; 4-d

Câu hỏi số 4:

Vận dụng

Hãy ghép các tình huống/ví dụ thực tế với khái niệm kỹ thuật giải thích cho tình huống đó

1. Từ "bank" trong câu "river bank" được AI hiểu là "bờ sông" chứ không phải "ngân hàng".

2. Một từ dài như "unhappiness" được AI tách thành "un", "happi", "ness" để xử lý.

3. Chatbot từ chối hướng dẫn người dùng cách chế tạo chất nổ gây nguy hiểm.

4. AI tự tin khẳng định "Quang Trung và Nguyễn Huệ là hai anh em ruột" (sai lịch sử).

Đáp án đúng là: 1-b; 2-a; 3-d; 4-c

Xem lời giải

Câu hỏi:863094

Phương pháp giải

Vận dụng kiến thức vào ví dụ cụ thể.

Giải chi tiết

1-b: Hiểu nghĩa từ dựa trên ngữ cảnh là chức năng của Attention Mechanism.

2-a: Tách từ thành các phần nhỏ là ví dụ của Token.

3-d: Từ chối nội dung độc hại là kết quả của việc dạy an toàn qua RLHF (Tinh chỉnh).

4-c: Đưa ra thông tin sai nhưng tự tin là biểu hiện của ảo giác.

Đáp án cần chọn là: 1-b; 2-a; 3-d; 4-c

Câu hỏi số 5:

Vận dụng

Ghép các đặc điểm kỹ thuật cốt lõi của LLM với hệ quả thực tế/hạn chế tương ứng.

1. Điểm cắt dữ liệu huấn luyện: Mô hình chỉ được học dữ liệu đến một mốc thời gian cố định.

2. Cơ chế dự đoán từ theo xác suất: Mô hình chọn từ tiếp theo dựa trên khả năng xuất hiện cao nhất, không phải dựa trên cơ sở dữ liệu chân lý.

3. Phương pháp RLHF (Học tăng cường từ phản hồi người): Mô hình được tinh chỉnh dựa trên sự chấm điểm chủ quan của con người.

4. Giới hạn cửa sổ ngữ cảnh: Mô hình chỉ có thể xử lý một lượng token nhất định trong bộ nhớ đệm tại một thời điểm.

Đáp án đúng là: 1-b; 2-a; 3-d; 4-c

Xem lời giải

Câu hỏi:863095

Phương pháp giải

Phân tích quan hệ nhân - quả dựa trên bản chất kỹ thuật.

Giải chi tiết

1 ghép b: Đặc điểm "Mốc thời gian cố định" $\rightarrow$ Hệ quả trực tiếp là "Không biết sự kiện mới (ngày hôm qua)". Đây là hạn chế về tính cập nhật.

2 ghép a: Đặc điểm "Dự đoán xác suất" (không kiểm chứng sự thật) $\rightarrow$ Hệ quả là "Ảo giác" (nghe trôi chảy nhưng sai sự thật). Đây là hạn chế về tính chính xác.

3 ghép d: Đặc điểm "Dựa trên chấm điểm chủ quan của con người" $\rightarrow$ Hệ quả là nhiễm "Thiên kiến/Định kiến" của con người đó. Đây là hạn chế về tính khách quan.

4 ghép c: Đặc điểm "Giới hạn bộ nhớ đệm/token" $\rightarrow$ Hệ quả là "Quên thông tin khi hội thoại dài". Đây là hạn chế về dung lượng xử lý.

Đáp án cần chọn là: 1-b; 2-a; 3-d; 4-c

Quảng cáo

Group 2K8 ôn Thi ĐGNL & ĐGTD Miễn Phí

Câu hỏi trước Câu tiếp theo

>> 2K8 Chú ý! Lộ Trình Sun 2026 - 3IN1 - 1 lộ trình ôn 3 kì thi (Luyện thi 26+ TN THPT, 90+ ĐGNL HN, 900+ ĐGNL HCM, 70+ ĐGTD - Click xem ngay) tại Tuyensinh247.com.Đầy đủ theo 3 đầu sách, Thầy Cô giáo giỏi, luyện thi theo 3 giai đoạn: Nền tảng lớp 12, Luyện thi chuyên sâu, Luyện đề đủ dạng đáp ứng mọi kì thi.