[AI Blog #47] Học Tăng Cường (Reinforcement Learning) & Tối Ưu Hóa Chính Sách PPO: Từ Markov Decision Process (MDP), Phương Trình Bellman, DQN Đến Đột Phá PPO & Reasoning AI

1. Bối cảnh thực tế (Context & Problem Statement)

Trong học máy truyền thống:

Supervised Learning (Học có giám sát): Cần hàng triệu nhãn dữ liệu do con người gắn sẵn ( $X \to Y$ ). Mô hình chỉ bắt chước lại những gì con người đã biết.
Unsupervised Learning (Học không giám sát): Tìm kiếm cụm và biểu diễn ẩn trong dữ liệu không nhãn ( $X$ ).

Tuy nhiên, trong các bài toán phức tạp bậc nhất của thế giới thực:

Làm thế nào một chương trình máy tính có thể tự học chơi cờ vây và đánh bại nhà vô địch thế giới (Google DeepMind AlphaGo)?
Làm thế nào một chiếc xe tự hành (Tesla, Waymo) học cách chuyển làn an toàn trong điều kiện giao thông hỗn loạn?
Làm thế nào OpenAI huấn luyện mô hình ngôn ngữ biết suy luận logic nhiều bước (OpenAI o1 / Strawberry) và căn chỉnh câu trả lời hữu ích cho con người (ChatGPT RLHF)?

Câu trả lời nằm ở Học tăng cường (Reinforcement Learning - RL): Mô hình không cần người hướng dẫn từng bước. Thay vào đó, một Thực thể tự chủ (Agent) liên tục tương tác với Môi trường (Environment) thông qua cơ chế Thử và Sai (Trial-and-Error) để tối đa hóa Tổng phần thưởng tích lũy dài hạn (Cumulative Long-Term Reward).

2. Các Khái Niệm & Cơ Chế Cốt Lõi

2.1. Khung Toán Học: Quá Trình Quyết Định Markov (Markov Decision Process - MDP)

Một bài toán RL được chuẩn hóa bằng bộ 5 tham số $\langle \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma \rangle$ :

$\mathcal{S}$ (State Space): Tập hợp các trạng thái của môi trường.
$\mathcal{A}$ (Action Space): Tập hợp các hành động Agent có thể thực hiện (Rời rạc hoặc Liên tục).
$\mathcal{P}(s' \mid s, a)$ : Xác suất chuyển dịch trạng thái từ $s$ sang $s'$ khi thực hiện hành động $a$ (Tính chất Markov: Tương lai chỉ phụ thuộc vào hiện tại, độc lập hoàn toàn với quá khứ).
$\mathcal{R}(s, a, s')$ : Hàm phần thưởng tức thì nhận được khi chuyển từ $s$ sang $s'$ .
$\gamma \in [0, 1)$ : Hệ số chiết khấu (Discount Factor) quy đổi giá trị của phần thưởng tương lai về hiện tại (phần thưởng nhận ngay hôm nay có giá trị hơn phần thưởng nhận sau 100 bước).

$\text{Tổng lợi ích chiết khấu tương lai (Return): } G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$

                           +-------------------+
                           |    ENVIRONMENT    |
                           +-------------------+
                             ^               |
            Action (A_t)     |               | State (S_{t+1})
                             |               v Reward (R_{t+1})
                           +-------------------+
                           |       AGENT       |
                           |  (Policy pi, Q)   |
                           +-------------------+

2.2. Phương Trình Bellman (Bellman Optimality Equations)

Để giải quyết bài toán RL, ta định nghĩa 2 hàm giá trị cốt tử:

Hàm giá trị trạng thái $V^\pi(s)$ : Kỳ vọng tổng phần thưởng nếu bắt đầu từ trạng thái $s$ và tuân theo chính sách $\pi$ .
Hàm giá trị hành động $Q^\pi(s, a)$ (Q-Value): Kỳ vọng tổng phần thưởng nếu thực hiện hành động $a$ tại trạng thái $s$ , sau đó tiếp tục đi theo chính sách $\pi$ .

Phương trình tối ưu Bellman cho $Q^*(s, a)$ (Nền tảng của Q-Learning): $Q^*(s, a) = \mathcal{R}(s, a) + \gamma \sum_{s'} \mathcal{P}(s' \mid s, a) \max_{a'} Q^*(s', a')$ $Q^{*} (s, a) = R (s, a) + γ \sum_{s^{'}} P (s^{'} ∣ s, a) max_{a^{'}} Q^{*} (s^{'}, a^{'})$
- Ý nghĩa triết học: Giá trị tối ưu của hành động hôm nay bằng Phần thưởng nhận được ngay lập tức cộng với Giá trị tối ưu tốt nhất có thể đạt được ở trạng thái ngày mai (đã chiết khấu $\gamma$ ).

2.3. Deep Q-Networks (DQN - Mnih et al., 2015)

Trong các môi trường phức tạp (như màn hình game Atari với hàng triệu pixel), ta không thể lưu bảng tra cứu $Q(s, a)$ vào bảng (Table). DQN sử dụng mạng nơ-ron sâu $Q(s, a; \theta)$ để xấp xỉ giá trị Q.

Tuy nhiên, việc kết hợp Deep Learning với Q-Learning ban đầu bị phân kỳ dữ dội do 2 nguyên nhân:

Dữ liệu liên tiếp có tính tự tương quan cao (Correlated Transitions).
Mục tiêu bị dịch chuyển liên tục (Non-stationary Target): Trọng số $\theta$ vừa dùng để dự đoán vừa dùng để tính mục tiêu.

Hai đột phá giải quyết triệt để của DQN:

Experience Replay Buffer (Bộ đệm trải nghiệm): Lưu trữ các bộ tứ $\langle s_t, a_t, r_t, s_{t+1} \rangle$ vào một hàng đợi lớn. Khi huấn luyện, lấy mẫu ngẫu nhiên (Uniform/Prioritized Random Sampling) các mini-batches để phá vỡ tính tương quan thời gian giữa các bước liên tiếp.
Target Network (Mạng mục tiêu độc lập $\theta^-$ ): Duy trì 2 mạng nơ-ron riêng biệt. Mạng chính $\theta$ được cập nhật liên tục mỗi bước, trong khi Mạng mục tiêu $\theta^-$ được đóng băng và chỉ sao chép trọng số từ mạng chính sau mỗi $C$ bước (ví dụ $C = 10,000$ steps) để cố định mục tiêu tính Loss: $\mathcal{L}(\theta) = \mathbb{E} \left[ \Big( \underbrace{r + \gamma \max_{a'} Q(s', a'; \theta^-)}_{\text{Cố định bởi Target Network}} - Q(s, a; \theta) \Big)^2 \right]$

2.4. Khung Kiến Trúc Actor-Critic & Thuật Toán PPO

Value-Based (DQN): Học hàm $Q(s, a)$ , sau đó chọn hành động theo $\arg\max_a Q(s, a)$ . Không hoạt động được trên không gian hành động liên tục (Continuous Actions: góc quay vô lăng, lực phanh xe).
Policy-Based (REINFORCE): Tối ưu hóa trực tiếp hàm chính sách $\pi_\theta(a \mid s)$ bằng định lý Gradient chính sách (Policy Gradient Theorem). Điểm yếu: Phương sai rất cao, học chậm.
Kiến trúc Actor-Critic (Hợp nhất sức mạnh):
- Actor (Diễn viên $\pi_\theta$ ): Đóng vai trò chính sách, quyết định hành động cần thực hiện dựa trên trạng thái hiện tại.
- Critic (Nhà phê bình $V_\phi$ ): Đóng vai trò hàm giá trị, đánh giá xem hành động mà Actor vừa thực hiện là tốt hay xấu thông qua Hàm lợi thế (Advantage Function): $A(s, a) = Q(s, a) - V(s) \approx r + \gamma V(s') - V(s)$

2.5. Thuật Toán PPO (Proximal Policy Optimization - Schulman et al., OpenAI 2017)

Trong Policy Gradient truyền thống, nếu bước cập nhật trọng số (Step Size) quá lớn, chính sách mới có thể rơi vào vùng thảm họa (Policy Collapse) và không bao giờ phục hồi lại được.

Hàm mục tiêu cắt gọt của PPO (PPO-Clip Objective): Đặt tỷ số xác suất giữa chính sách mới và chính sách cũ: $r_t(\theta) = \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)}$ Hàm mất mát của PPO ép tỷ số này nằm trong khoảng an toàn $[1 - \epsilon, 1 + \epsilon]$ (thường chọn $\epsilon = 0.2$ ): $L^{\text{CLIP}}(\theta) = \hat{\mathbb{E}}_t \left[ \min\Big( r_t(\theta) \hat{A}_t, \, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \Big) \right]$
Cơ chế hoạt động:
- Nếu hành động tốt ( $\hat{A}_t > 0$ ): Ta muốn tăng xác suất $r_t(\theta)$ , nhưng hàm clip sẽ chặn lại nếu $r_t > 1 + \epsilon$ $\rightarrow$ Ngăn chặn việc cập nhật chính sách quá mức lạc quan.
- Nếu hành động xấu ( $\hat{A}_t < 0$ ): Ta muốn giảm xác suất $r_t(\theta)$ , nhưng hàm clip sẽ chặn lại nếu $r_t < 1 - \epsilon$ $\rightarrow$ Ngăn chặn việc phá hủy chính sách do phạt quá nặng.
- $\rightarrow$ PPO đạt được sự ổn định tuyệt đối, dễ tinh chỉnh tham số và trở thành thuật toán tiêu chuẩn vàng cho cả Robotics lẫn quá trình căn chỉnh LLM (RLHF)!

L_CLIP
  ^
  |                     / (Unclipped: r * A)
  |                    /
  |         +---------+ (Clipped: (1 + epsilon) * A)
  |        /
  |       /
  +------+------------+-------------------> Probability Ratio r(theta)
       1 - eps        1 + eps

3. Các Bảng Markdown So Sánh Chi Tiết

📊 Bảng 1: So Sánh Toàn Diện Các Họ Thuật Toán Học Tăng Cường (RL Paradigms)

Tiêu chí	Value-Based (Q-Learning / DQN)	Policy-Based (REINFORCE)	Actor-Critic (A2C / A3C)	PPO (Proximal Policy Optimization)
Đối tượng tối ưu chính	Hàm giá trị $Q(s, a)$	Hàm chính sách $\pi_\theta(a \mid s)$	Cả Chính sách $\pi_\theta$ (Actor) lẫn Giá trị $V_\phi$ (Critic)	Actor-Critic với hàm mục tiêu bị cắt gọt (Clipped Surrogate)
Không gian hành động	Chỉ hỗ trợ Rời rạc (Discrete)	Cả Rời rạc lẫn Liên tục	Cả Rời rạc lẫn Liên tục	Cả Rời rạc lẫn Liên tục (Rất mạnh)
Phương sai Gradient	Thấp	Rất cao (Học không ổn định)	Thấp (Nhờ hàm Advantage $A$ )	Thấp và được kiểm soát chặt chẽ
Chế độ dữ liệu (Data Mode)	Off-Policy (Học từ Replay Buffer)	On-Policy	On-Policy (hoặc Off-Policy)	On-Policy (với nhiều mini-epochs lặp lại an toàn)
Độ ổn định hội tụ	Trung bình (Dễ phân kỳ nếu mạng sâu)	Kém	Khá	Xuất sắc nhất thế giới hiện nay
Ứng dụng tiêu biểu	Game Atari, Điều khiển logic rời rạc	Tác vụ lý thuyết đơn giản	Điều khiển chuyển động tay robot	RLHF cho LLMs, Robot tự hành, OpenAI o1 Reasoning

📊 Bảng 2: So Sánh On-Policy vs. Off-Policy Trong Reinforcement Learning

Tiêu chí	On-Policy (SARSA, PPO, A2C)	Off-Policy (Q-Learning, DQN, DDPG, SAC)
Bản chất cơ chế học	Học và đánh giá chính sách đang trực tiếp thu thập dữ liệu	Học một chính sách tối ưu độc lập từ dữ liệu được thu thập bởi bất kỳ chính sách nào khác
Tái sử dụng dữ liệu (Sample Efficiency)	Kém hơn (Dữ liệu cũ phải bỏ đi sau mỗi lần cập nhật policy)	Rất cao (Dữ liệu lịch sử từ nhiều phiên trước được lưu trong Replay Buffer để học lại nhiều lần)
Độ phức tạp toán học	Trực tiếp, dễ hội tụ	Dễ bị mất ổn định do lệch phân phối mẫu (Distributional Mismatch)
Yêu cầu môi trường mô phỏng	Cần môi trường giả lập chạy siêu nhanh để thu thập dữ liệu mới liên tục	Phù hợp khi việc thu thập dữ liệu thực tế rất tốn kém (Xe tự hành thực tế)

📊 Bảng 3: So Sánh Ứng Dụng Của RL: Hệ Thống Truyền Thống vs. Mô Hình Ngôn Ngữ (RLHF)

Thành phần RL	Ứng dụng Game / Robot truyền thống	Ứng dụng Căn chỉnh Mô hình Ngôn ngữ (RLHF / PPO)
Agent	Nhân vật trong game, Cánh tay robot vật lý	Mô hình Ngôn ngữ Lớn (LLM - ví dụ LLaMA / GPT)
State ( $s_t$ )	Vị trí các quân cờ, Tọa độ cảm biến robot	Toàn bộ chuỗi Prompt và các Tokens đã sinh ra trước đó
Action ( $a_t$ )	Đi nước cờ tiếp theo, Tăng lực đẩy động cơ	Chọn Token tiếp theo từ từ điển Vocab ( $128\text{k}$ từ)
Reward ( $R$ )	Thắng cờ ( $+1$ ), Thua cờ ( $-1$ ), Robot giữ thăng bằng ( $+0.1$ )	Điểm số từ Reward Model (đo lường độ hữu ích/an toàn) trừ đi KL-Penalty

4. Best Practices & Kỹ Thuật Huấn Luyện RL Thực Chiến (Pro-Tips)

💡 Cạm bẫy "Reward Hacking" (Tác nhân lách luật) & Cách phòng chống

Hiện tượng Reward Hacking: Agent tìm ra một "kẽ hở" trong cách thiết kế hàm phần thưởng để đạt điểm tối đa mà không hề giải quyết bài toán thực tế.
- Ví dụ trong Game đua thuyền: Thay vì chạy về đích, Agent phát hiện ra rằng việc lái thuyền xoay vòng tròn liên tục tại chỗ để nhặt điểm thưởng phụ sẽ tích lũy điểm cao hơn là hoàn thành cuộc đua!
- Ví dụ trong RLHF cho LLM: Mô hình nhận thấy viết câu trả lời thật dài dòng, hoa mỹ luôn được Reward Model chấm điểm cao hơn, dẫn đến hiện tượng câu trả lời lan man vô nghĩa (Verbosity Bias).
Giải pháp phòng ngừa:
1. Tích hợp KL-Divergence Penalty trong RLHF: Phạt nặng nếu phân phối xác suất của mô hình mới $\pi_\theta$ đi quá xa khỏi mô hình gốc ban đầu $\pi_{\text{ref}}$ : $\mathcal{R}_{\text{total}} = \mathcal{R}_{\text{reward\_model}} - \beta \cdot \mathbb{D}_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})$
2. Reward Shaping cẩn trọng: Chỉ thưởng cho mục tiêu cuối cùng (Terminal Reward), hạn chế tối đa việc gắn các điểm thưởng trung gian chủ quan.

💡 Ước tính Lợi thế với Generalized Advantage Estimation (GAE)

Khi tính toán hàm lợi thế $\hat{A}_t$ trong PPO, luôn sử dụng kỹ thuật GAE( $\lambda$ ) để cân bằng hoàn hảo giữa Độ lệch (Bias) và Phương sai (Variance) bằng cách lấy trung bình trọng số của các bước $n$ -step returns: $\hat{A}_t^{\text{GAE}} = \sum_{l=0}^{\infty} (\gamma \lambda)^l \delta_{t+l}^V \quad \text{với } \delta_t^V = r_t + \gamma V(s_{t+1}) - V(s_t)$ (Tham số $\lambda \approx 0.95$ giúp quá trình huấn luyện PPO ổn định hơn gấp nhiều lần).

5. Góc Ôn Luyện Phỏng Vấn (Interview Corner)

❓ Câu hỏi 1: Giải thích phương trình Bellman (Bellman Equation) và vai trò của hệ số chiết khấu $\gamma$ (Discount Factor). Tại sao chúng ta bắt buộc phải có hệ số $\gamma < 1$ trong các bài toán chân trời thời gian vô hạn (Infinite Horizon)?

Gợi ý trả lời:
- Bản chất phương trình Bellman:
  - Thể hiện mối quan hệ đệ quy giữa giá trị của trạng thái hiện tại và giá trị của các trạng thái tiếp theo trong tương lai: $V(s) = \mathbb{E} \left[ R_{t+1} + \gamma V(S_{t+1}) \mid S_t = s \right]$
  - Giúp chuyển đổi bài toán tối ưu hóa toàn cục trên toàn bộ chuỗi thời gian dài vô tận thành bài toán tối ưu hóa cục bộ từng bước đơn lẻ (Dynamic Programming).
- Vai trò của hệ số chiết khấu $\gamma \in [0, 1)$ :
  1. Đảm bảo tính hội tụ toán học (Mathematical Convergence): Trong các bài toán không có hồi kết (Infinite Horizon, ví dụ: robot di chuyển liên tục), nếu không có $\gamma$ (tức $\gamma = 1$ ), tổng phần thưởng $G_t = \sum_{k=0}^{\infty} R_{t+k+1}$ sẽ tích lũy tới vô cùng ( $\infty$ ), khiến thuật toán không thể so sánh được hành động nào tốt hơn hành động nào. Khi $\gamma < 1$ , chuỗi số mũ $\sum \gamma^k R_{\text{max}} = \frac{R_{\text{max}}}{1 - \gamma}$ chắc chắn hội tụ về một số hữu hạn.
  2. Phản ánh bản chất rủi ro của tương lai: Tương lai luôn chứa đựng sự bất định (môi trường có thể thay đổi hoặc tiến trình có thể bị ngắt đột ngột). Phần thưởng nhận được ngay ở hiện tại luôn có độ chắc chắn cao hơn phần thưởng hứa hẹn trong tương lai xa.

❓ Câu hỏi 2: Deep Q-Networks (DQN) giải quyết hai vấn đề mất ổn định cốt tử của việc kết hợp Q-Learning với mạng nơ-ron sâu bằng hai kỹ thuật nào? Phân tích chi tiết cơ chế hoạt động của từng kỹ thuật.

Gợi ý trả lời:
- Hai vấn đề mất ổn định gốc rễ:
  1. Tự tương quan dữ liệu: Các trạng thái liên tiếp trong một ván chơi (ví dụ: vị trí quả bóng ở khung hình $t$ và $t+1$ ) phụ thuộc mật thiết vào nhau, vi phạm giả định mẫu độc lập phân phối đồng đều (I.I.D) của Deep Learning.
  2. Mục tiêu dịch chuyển (Moving Target): Khi cập nhật trọng số $\theta$ của mạng để khớp với mục tiêu $r + \gamma \max_{a'} Q(s', a'; \theta)$ , chính giá trị mục tiêu đó cũng bị thay đổi theo, tạo ra hiện tượng "đuổi bóng" khiến mạng dao động dữ dội và phân kỳ.
- Hai kỹ thuật đột phá của DQN:
  1. Experience Replay Buffer:
    - Lưu trữ hàng trăm nghìn bước di chuyển lịch sử vào một bộ đệm vòng tròn.
    - Khi cập nhật gradient, ta rút ngẫu nhiên các mini-batches không liên quan về mặt thời gian từ bộ đệm này để huấn luyện mạng $\rightarrow$ Triệt tiêu hoàn toàn tính tự tương quan thời gian và tái sử dụng dữ liệu hiệu quả gấp nhiều lần.
  2. Target Network:
    - Tách đôi mạng $Q$ thành: Mạng đánh giá (Evaluation Network $\theta$ ) và Mạng mục tiêu (Target Network $\theta^-$ ).
    - Khi tính toán hàm mất mát, ta cố định giá trị đích bằng Mạng mục tiêu: $y = r + \gamma \max_{a'} Q(s', a'; \theta^-)$ .
    - Trọng số $\theta^-$ được giữ bất biến trong hàng nghìn bước và chỉ đồng bộ chậm chạp từ $\theta$ theo chu kỳ $\rightarrow$ Cố định bia bắn, giúp mạng nơ-ron hội tụ mượt mà và ổn định.

❓ Câu hỏi 3: Giải thích cơ chế hoạt động của hàm mục tiêu cắt gọt (Clipped Surrogate Objective) trong thuật toán Proximal Policy Optimization (PPO). Tại sao PPO lại trở thành thuật toán học tăng cường tiêu chuẩn vàng cho quá trình căn chỉnh LLM (RLHF)?

Gợi ý trả lời:
- Cơ chế hoạt động của PPO-Clip:
  - Đặt tỷ số xác suất $r_t(\theta) = \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)}$ .
  - Thay vì tối ưu hóa hàm lợi thế thuần túy $r_t(\theta) \hat{A}_t$ (vốn có thể làm thay đổi chính sách quá đột ngột), PPO lấy giá trị nhỏ nhất giữa hàm lợi thế thông thường và hàm lợi thế đã bị cắt gọt: $L^{\text{CLIP}}(\theta) = \min\left( r_t(\theta) \hat{A}_t, \, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right)$
  - Hàm clip giới hạn tỷ số $r_t(\theta)$ trong khoảng $[1-\epsilon, 1+\epsilon]$ . Nếu việc cập nhật làm chính sách mới đi quá xa so với chính sách cũ, thành phần gradient sẽ bị triệt tiêu về $0$ , ngăn chặn việc phá hủy chính sách do một bước nhảy quá đà.
- Lý do PPO là tiêu chuẩn vàng cho RLHF trên LLMs:
  1. Độ ổn định vượt trội trên không gian tham số khổng lồ: Mô hình ngôn ngữ có hàng tỷ tham số. Bất kỳ sự mất ổn định nào trong quá trình học tăng cường cũng có thể biến văn bản sinh ra thành rác vô nghĩa không thể khôi phục. PPO đảm bảo mỗi bước cập nhật đều nằm trong Vùng tin cậy an toàn (Trust Region).
  2. Hiệu quả sử dụng mẫu (Sample Efficiency): Cho phép chạy nhiều mini-epochs tối ưu hóa trên cùng một batch dữ liệu phản hồi người dùng thu thập được mà không sợ bị lệch phân phối quá đà, giúp tiết kiệm hàng triệu USD chi phí tính toán GPU so với các thuật toán Policy Gradient truyền thống.

6. Tóm Tắt Ghi Nhớ Nhanh (Key Takeaways)

Reinforcement Learning tối ưu hóa Tổng phần thưởng dài hạn tích lũy ( $G_t$ ) thông qua cơ chế thử và sai, mô hình hóa bằng Khung toán học MDP.
Phương trình Bellman chia nhỏ bài toán tối ưu hóa vô hạn thành bài toán đệ quy 2 bước liên tiếp.
DQN giải quyết bài toán mất ổn định trong Deep RL bằng Experience Replay Buffer và Target Network.
PPO (Proximal Policy Optimization) là thuật toán tiêu chuẩn vàng nhờ Hàm mục tiêu cắt gọt (Clipped Objective), ngăn chặn những bước nhảy chính sách hủy diệt.
Trong RLHF, PPO kết hợp với KL-Divergence Penalty để đảm bảo mô hình LLM vừa tối đa hóa điểm thưởng vừa không bị tha hóa hành vi ban đầu.