Giải Mã Toán Học
ML · Deep Learning · Transformer

(The Unified Machine Learning Math Map)

1. Tại Sao Toán Học Trong Machine Learning Thường Bị Rời Rạc?

Khi đọc cuốn "The Hundred-Page Machine Learning Book" (và các tài liệu học máy nói chung), người học thường gặp phải một cảm giác bối rối:

• Ở Chương 2, tác giả giới thiệu một loạt ký hiệu: vectơ $\mathbf{x}$, tích vô hướng $\mathbf{w}\mathbf{x}$, chuẩn $\|\mathbf{w}\|$, đạo hàm $\nabla f$, kỳ vọng $\mathbb{E}$, quy tắc Bayes, và MLE.
• Sang Chương 3, xuất hiện hàng loạt thuật toán trông có vẻ chẳng liên quan gì đến nhau: Hồi quy tuyến tính thì cực tiểu hóa bình phương sai số, Hồi quy logistic thì dùng hàm Sigmoid và Log-Likelihood, Cây quyết định thì dùng Entropy, SVM thì giải bài toán quy hoạch toàn phương với nhân tử Lagrange và Kernel Trick, còn $k$-NN thì đo khoảng cách Euclid.
• Sang Chương 4, tác giả gom tất cả lại thành "Ba khối xây dựng cốt lõi" rồi nhảy vào Gradient Descent.
• Sang Chương 6, Mạng nơ-ron lại xuất hiện dưới dạng các hàm lồng nhau $g(\mathbf{W}\mathbf{x} + \mathbf{b})$.

Vấn đề là gì?
Cuốn sách rất ngắn gọn nên đã lược bỏ "sợi chỉ đỏ" liên kết các khái niệm này. Thực chất, trong toán học của Machine Learning:

1. Không có công thức nào ra đời một cách ngẫu hứng.
2. Nhiều thuật toán phân loại và hồi quy kinh điển có thể được hiểu qua một nền tảng hình học (không gian vectơ, khoảng cách, siêu phẳng), một nguyên lý xác suất (likelihood/Bayes), hoặc cả hai. Cây quyết định và các phương pháp dựa trên láng giềng là những ví dụ quan trọng cho thấy không nên ép mọi thuật toán vào đúng một khuôn.
3. Phần lớn hệ thống học máy có thể được phân tích bằng một bộ ba sư phạm hữu ích: không gian hàm/mô hình, tiêu chí đánh giá và thủ tục tìm nghiệm. Đây là bản đồ tư duy, không phải định nghĩa duy nhất của mọi phương pháp.

2. Bức Tranh Toàn Cảnh: Sợi Dây Liên Kết Xuyên Suốt 11 Chương

Dưới đây là sơ đồ dòng chảy toán học liên kết toàn bộ các chương trong cuốn sách (được phân tầng rõ ràng từ Nền tảng $\to$ Thuật toán cốt lõi $\to$ Mở rộng phi tuyến & Học sâu):

Bốn Tuyến Luồng Toán Học Cốt Lõi:

1. Tuyến 1: Trục Hình Học & Siêu Phẳng (Đại số tuyến tính)

   • $\mathbf{x}, \mathbf{w} \in \mathbb{R}^D$ (Ch 2) $\implies$ Tích vô hướng $\mathbf{w}\mathbf{x}$ (đo lường độ tương đồng và phép chiếu trực giao).
   • Phương trình Siêu phẳng $\mathbf{w}\mathbf{x} + b = 0$ chia đôi không gian $D$ chiều:
     • Hồi quy Tuyến tính (Ch 3.1): Siêu phẳng đi qua giữa đám mây điểm (cực tiểu hóa khoảng cách thẳng đứng).
     • Hồi quy Logistic (Ch 3.2): Siêu phẳng đóng vai trò ranh giới đẳng xác suất 50% qua hàm Sigmoid $\sigma(\mathbf{w}\mathbf{x}+b)$.
     • Support Vector Machine (Ch 3.4): Siêu phẳng tối đa hóa khoảng cách trực giao an toàn $2/\|\mathbf{w}\|$.
     • Mạng Nơ-ron (Ch 6): Xếp chồng nhiều siêu phẳng qua ma trận trọng số $\mathbf{W}\mathbf{x} + \mathbf{b}$ kết hợp hàm kích hoạt phi tuyến.

2. Tuyến 2: Trục Xác Suất & Cội Nguồn Các Hàm Mất Mát

   • Định lý Bayes & Phân phối xác suất (Ch 2) $\implies$ Nguyên lý ước lượng MLE và MAP:
     • Giả định Nhiễu Gauss $\implies$ Sinh ra hàm mất mát Bình phương MSE (Hồi quy Tuyến tính).
     • Giả định Phân phối Bernoulli $\implies$ Sinh ra hàm mất mát Binary Cross-Entropy (Hồi quy Logistic & Nơ-ron).
     • Tiên nghiệm Gauss $\mathbf{w} \sim \mathcal{N}$ $\implies$ Sinh ra Điều chuẩn $L_2$ (Ridge) (Ch 5.4).
     • Tiên nghiệm Laplace $\implies$ Sinh ra Điều chuẩn $L_1$ (Lasso) với cơ chế ép trọng số về 0 (tính thưa).
     • Biến ẩn Bayes & Hỗn hợp Gauss $\implies$ Mô hình GMM và thuật toán EM (Ch 9.2.4).

3. Tuyến 3: Trục Giải Tích & Tối Ưu Hóa

   • Đạo hàm riêng & Gradient $\nabla f$ (Ch 2.1.9) là hướng hàm số tăng nhanh nhất $\implies -\nabla f$ là hướng hàm số giảm nhanh nhất.
   • Thuật toán Hạ dốc (Gradient Descent - Ch 4): $\mathbf{w} \leftarrow \mathbf{w} - \alpha \nabla \mathcal{L}$.
   • Phả hệ tối ưu: $\text{Batch GD} \to \text{SGD (Lấy mẫu)} \to \text{Momentum (Quán tính)} \to \text{Adam (Thích ứng)}$.
   • Quy tắc chuỗi (Chain Rule) áp dụng đệ quy ngược $\implies$ Thuật toán Lan truyền ngược (Backpropagation) trong Deep Learning (Ch 6).

4. Tuyến 4: Trục Chinh Phục Không Gian Phi Tuyến

   • Giới hạn của siêu phẳng: Bất lực trước bài toán phi tuyến tính (cổng logic XOR).
   • Hướng giải quyết 1 (Kernel Trick - Ch 3.4): Ánh xạ ngầm định qua tích vô hướng $k(\mathbf{x}, \mathbf{z}) = \langle \phi(\mathbf{x}), \phi(\mathbf{z}) \rangle \to$ Kernel RBF tương đương không gian Hilbert vô hạn chiều. Cùng chia sẻ bản chất này là Hồi quy Kernel (Ch 7.1) và Ước lượng mật độ KDE (Ch 9.1).
   • Hướng giải quyết 2 (Deep Learning - Ch 6): Tự động học các biểu diễn phi tuyến bằng cách xếp chồng nhiều tầng ẩn với hàm kích hoạt phi tuyến (ReLU).

3. Bộ Ba Giải Phẫu Cốt Lõi (The Anatomy Triad)

Một cách rất hiệu quả để mổ xẻ các thuật toán học có giám sát trong sách là tách chúng thành 3 thành phần toán học:

$$\mathbf{\text{Thuật toán Học máy}} = \Big\langle \mathcal{H} \text{ (Không gian Giả thuyết)}, \quad \mathcal{L} \text{ (Hàm Mất mát / Chi phí)}, \quad \mathcal{O} \text{ (Thuật toán Tối ưu)} \Big\rangle$$

1. Không gian Giả thuyết $\mathcal{H}$ (Hypothesis Space):
   Dạng toán học của hàm dự đoán $f(\mathbf{x})$.
   

   • Dạng tuyến tính: $f(\mathbf{x}) = \mathbf{w}\mathbf{x} + b$.
   • Dạng phi tuyến qua phi tuyến hóa tham số: $f(\mathbf{x}) = \sigma(\mathbf{w}\mathbf{x} + b)$.
   • Dạng hàm lồng nhau: $f(\mathbf{x}) = g_L(\mathbf{W}_L \dots g_1(\mathbf{W}_1\mathbf{x} + \mathbf{b}_1))$.
   • Dạng phân hoạch từng mảnh: $f(\mathbf{x}) = \sum_{m} c_m \mathbb{I}(\mathbf{x} \in R_m)$ (Cây quyết định).

2. Hàm Mất mát / Chi phí $\mathcal{L}$ (Loss / Cost Function):
   Thước đo toán học chấm điểm xem dự đoán $\hat{y} = f(\mathbf{x})$ lệch so với nhãn thật $y$ bao nhiêu.
   

   • Bài toán hồi quy: Sai số bình phương $(\hat{y} - y)^2$, sai số tuyệt đối $|\hat{y} - y|$.
   • Bài toán phân loại: Binary Cross-Entropy, Hinge Loss $\max(0, 1 - y f(\mathbf{x}))$.

3. Quy trình Tối ưu hóa $\mathcal{O}$ (Optimization Routine):
   Thuật toán tìm bộ tham số tối ưu $(\mathbf{w}^*, b^*)$ để cực tiểu hóa $\mathcal{L}$.

   • Nghiệm giải tích dạng đóng (Closed-form solution): Cho gradient bằng 0 ($\nabla \mathcal{L} = 0$) rồi biến đổi đại số ma trận (ví dụ: Normal Equation trong Hồi quy Tuyến tính).
   • Nghiệm xấp xỉ số lặp (Iterative numerical methods): Gradient Descent, SGD, Adam, Newton-Raphson.
   • Quy hoạch toàn phương (Quadratic Programming): SVM với bài toán đối ngẫu Lagrange.
   • Tìm kiếm tham lam theo heuristic (Greedy search): Cây quyết định ID3/CART.

model   = torch.nn.Linear(D, 1)                     # H: không gian giả thuyết, f(x) = w·x + b
loss_fn = torch.nn.BCEWithLogitsLoss()              # L: hàm mất mát = negative log-likelihood Bernoulli
opt     = torch.optim.Adam(model.parameters(), 1e-3)  # O: thuật toán tối ưu

4. Bảng Từ Điển Đối Chiếu Ký Hiệu Xuyên Suốt Cuốn Sách

Để không bị nhầm lẫn khi đọc giữa các chương, dưới đây là bảng quy chuẩn ký hiệu:

5. Ba Trục Tư Duy Chính Khi Học Toán Machine Learning

Khi tiếp cận bất kỳ công thức toán nào trong các module tiếp theo, bạn chỉ cần đặt 3 câu hỏi:

1. Góc nhìn Hình học (Geometry):

   • Đối tượng này là gì trong không gian? (Là một điểm, một vectơ mũi tên, một mặt phẳng, một mặt cầu, hay một đường cong?)
   • Khoảng cách được đo như thế nào? (Khoảng cách thẳng đứng hay khoảng cách trực giao vuông góc?)

2. Góc nhìn Xác suất & Thống kê (Probability & Statistics):

   • Ta đang giả định dữ liệu được sinh ra từ phân phối nào? (Phân phối Chuẩn Gaussian, phân phối nhị thức Bernoulli, hay phân phối Đa thức?)
   • Hàm mục tiêu được rút ra từ nguyên lý MLE hay MAP?

3. Góc nhìn Tối ưu hóa (Optimization):

   • Hàm này có đạo hàm liên tục không? Có lồi (Convex) không?
   • Ta có thể tìm nghiệm trực tiếp bằng đại số ma trận hay phải bước từng bước dò dốc bằng Gradient Descent?

Trong các module tiếp theo, chúng ta sẽ lần lượt mổ xẻ tường tận từng góc nhìn này với các chứng minh trực quan, ví dụ số từng bước và mã nguồn Python minh họa.

6. Cách Dùng Cẩm Nang Cùng Sách Chính

Cẩm nang này không thay sách mà đi kèm sách: mỗi module giải thích vì sao công thức có dạng như vậy, còn sách chính cho bạn nghịch với nó. Có hai loại hộp đặc biệt:

• Phòng thí nghiệm M1–M13 (trong cẩm nang này): mọi con số trong mục Việc cần làm đều được tính thật bằng mô phỏng, không phải hình minh hoạ.
  • M1 (Module 2): kéo $\mathbf{w}, b$ rồi bấm Tìm nghiệm SVM để thấy lề cực đại thật và các vectơ hỗ trợ.
  • M2 (Module 3): xoay elip mất mát để thấy khi nào $L_1$ chạm đỉnh (thưa) và khi nào chạm cạnh (không thưa).
  • M3 (Module 4): đọc giá trị và đạo hàm của 5 hàm mất mát tại cùng một lề $z$.
  • M4 (Module 5): mô hình kernel ridge khớp thật, có nhiễu, có lưới kiểm tra để đo quá khớp/dưới khớp.
• Ô "Ứng dụng trong ML/DL" và các dòng "Xem phòng … sách chính": nối từng công thức tới nơi nó xuất hiện trong thực tế (attention, weight decay, cross-entropy của LLM, ResNet…) và tới 32 phòng thí nghiệm của sách chính — ví dụ phòng 10b cho GD/Momentum/Adam chạy đua trên bề mặt mất mát 3D thật.

7. Bản Đồ Mở Rộng: Từ Một Tích Vô Hướng Đến Transformer

(Linear Algebra and the Geometry of Machine Learning)

1. Vectơ và Tích Vô Hướng: Cội Nguồn Của Mọi Thuật Toán Tuyến Tính

Trong Chương 2, cuốn sách định nghĩa: $$\mathbf{w}\mathbf{x} \stackrel{\text{def}}{=} \sum_{j=1}^D w^{(j)} x^{(j)}$$ Nhưng tại sao phép toán đơn giản này lại xuất hiện ở khắp mọi nơi: từ Hồi quy Tuyến tính $\mathbf{w}\mathbf{x} + b$, Hồi quy Logistic $\sigma(\mathbf{w}\mathbf{x} + b)$, SVM $y(\mathbf{w}\mathbf{x} - b) \ge 1$, cho tới Mạng nơ-ron $\mathbf{W}\mathbf{x} + \mathbf{b}$?

1.1. Bản chất Hình học: Phép Chiếu và Độ Tương Đồng

Ngoài định nghĩa đại số ở trên, tích vô hướng còn có định nghĩa hình học kinh điển:

$$\mathbf{w}\mathbf{x} = \|\mathbf{w}\| \cdot \|\mathbf{x}\| \cdot \cos \theta$$

Trong đó:

• $\|\mathbf{w}\| = \sqrt{\sum (w^{(j)})^2}$ là độ dài (chuẩn $L_2$) của vectơ $\mathbf{w}$.
• $\|\mathbf{x}\|$ là độ dài của vectơ $\mathbf{x}$.
• $\theta$ là góc kẹp giữa hai vectơ.

Từ công thức này, ta suy ra Độ dài hình chiếu trực giao của vectơ dữ liệu $\mathbf{x}$ lên phương của vectơ trọng số $\mathbf{w}$:

$$\text{proj}_{\mathbf{w}}(\mathbf{x}) = \|\mathbf{x}\| \cos \theta = \frac{\mathbf{w}\mathbf{x}}{\|\mathbf{w}\|}$$

Ý nghĩa trực giác sống còn: 1. Nếu $\mathbf{w}$ và $\mathbf{x}$ cùng hướng ($\theta \approx 0^\circ$): $\cos \theta \approx 1 \implies \mathbf{w}\mathbf{x} > 0$ và đạt giá trị dương rất lớn. Điều này biểu thị $\mathbf{x}$ rất tương đồng và phù hợp với tiêu chí mà $\mathbf{w}$ tìm kiếm. 2. Nếu $\mathbf{w}$ và $\mathbf{x}$ vuông góc trực giao ($\theta = 90^\circ$): $\cos \theta = 0 \implies \mathbf{w}\mathbf{x} = 0$. Riêng đối với phép chấm điểm theo hướng $\mathbf{w}$, thành phần của $\mathbf{x}$ trên hướng đó bằng 0. Trực giao hình học không đồng nghĩa với độc lập thống kê. 3. Nếu $\mathbf{w}$ và $\mathbf{x}$ ngược hướng ($\theta \approx 180^\circ$): $\cos \theta \approx -1 \implies \mathbf{w}\mathbf{x} < 0$. Thành phần chiếu của mẫu đi ngược hướng $\mathbf{w}$, vì vậy score tuyến tính mang giá trị âm.

Do đó, tích vô hướng là một điểm số về mức thẳng hàng giữa $\mathbf{x}$ và hướng $\mathbf{w}$. Nó phụ thuộc cả góc lẫn độ dài nên không phải metric theo nghĩa chặt; sau khi chuẩn hoá hai vectơ, nó trở thành cosine similarity.

Ví dụ số: $\mathbf{w} = [3, 4]^T$, $\mathbf{x} = [2, 5]^T$. Tích vô hướng $\mathbf{w}\mathbf{x} = 3\cdot 2 + 4 \cdot 5 = 26$; $\|\mathbf{w}\| = 5$, $\|\mathbf{x}\| = \sqrt{29} \approx 5{,}39$. Hình chiếu của $\mathbf{x}$ lên $\mathbf{w}$ dài $26/5 = 5{,}2$; $\cos\theta = 26/(5 \cdot 5{,}39) \approx 0{,}965$ nên $\theta \approx 15^\circ$: hai vectơ gần như cùng hướng, $\mathbf{x}$ "khớp mẫu" mà $\mathbf{w}$ đang tìm. Nếu thay $\mathbf{x} = [4, -3]^T$ thì $\mathbf{w}\mathbf{x} = 12 - 12 = 0$: vuông góc; riêng qua score $\mathbf{w}^T\mathbf{x}$, điểm này và gốc tọa độ đều cho giá trị 0. Các hướng trực giao với $\mathbf{w}$ bị phép chiếu một chiều này bỏ qua.

2. Siêu Phẳng (Hyperplane): Ranh Giới Quyết Định Tuyến Tính

Phương trình cơ bản nhất trong học máy có giám sát là:

$$\mathbf{w}\mathbf{x} + b = 0$$

Tập hợp tất cả các điểm $\mathbf{x} \in \mathbb{R}^D$ thỏa mãn phương trình này tạo thành một Siêu phẳng (Hyperplane):

• Khi $D = 1$: Là một điểm trên trục số ($w x + b = 0 \implies x = -b/w$).
• Khi $D = 2$: Là một đường thẳng trên mặt phẳng ($w_1 x^{(1)} + w_2 x^{(2)} + b = 0$).
• Khi $D = 3$: Là một mặt phẳng 2D trong không gian 3 chiều ($w_1 x^{(1)} + w_2 x^{(2)} + w_3 x^{(3)} + b = 0$).
• Khi $D > 3$: Là một siêu phẳng $(D-1)$ chiều chia không gian $D$ chiều thành hai nửa không gian riêng biệt.

2.1. Chứng minh Toán học: Tại sao $\mathbf{w}$ luôn vuông góc với Siêu phẳng?

Nhiều bạn đọc sách thường thắc mắc: "Tại sao vectơ trọng số $\mathbf{w}$ lại được gọi là vectơ pháp tuyến (normal vector) của siêu phẳng?"

Chứng minh: Lấy hai điểm bất kỳ $\mathbf{x}_A$ và $\mathbf{x}_B$ cùng nằm trên siêu phẳng. Theo định nghĩa: $$\mathbf{w}\mathbf{x}_A + b = 0 \quad \text{và} \quad \mathbf{w}\mathbf{x}_B + b = 0$$

Lấy phương trình thứ nhất trừ phương trình thứ hai: $$(\mathbf{w}\mathbf{x}_A + b) - (\mathbf{w}\mathbf{x}_B + b) = 0$$ $$\iff \mathbf{w}(\mathbf{x}_A - \mathbf{x}_B) = 0$$

Vì $\mathbf{x}_A$ và $\mathbf{x}_B$ là hai điểm nằm trên siêu phẳng, nên vectơ hiệu $(\mathbf{x}_A - \mathbf{x}_B)$ chính là một vectơ nằm hoàn toàn dọc theo bề mặt của siêu phẳng. Mà tích vô hướng của $\mathbf{w}$ với vectơ này bằng 0 ($\mathbf{w} \cdot (\mathbf{x}_A - \mathbf{x}_B) = 0$), chứng tỏ:

$$\mathbf{w} \perp \text{Siêu phẳng}$$

Kết luận: Vectơ trọng số $\mathbf{w}$ luôn là mũi tên chỉ thẳng vuông góc ra khỏi siêu phẳng, hướng về phía "nửa không gian dương" $(\mathbf{w}\mathbf{x} + b > 0)$.

Nói cách khác, $\mathbf{w}$ là hướng nhìn của mô hình: nó chỉ đo dữ liệu chiếu lên hướng này bao nhiêu, còn mọi dịch chuyển vuông góc với $\mathbf{w}$ (trượt dọc theo siêu phẳng) đều vô hình với mô hình. Một mô hình tuyến tính trong $D$ chiều thực chất chỉ nhìn thế giới qua một trục duy nhất — đó vừa là sức mạnh (đơn giản, dễ giải thích) vừa là giới hạn (Module 5: bài toán XOR).

2.2. Vai trò Hình học của Hệ số Tự do (Bias $b$)

Nếu $b = 0$, phương trình trở thành $\mathbf{w}\mathbf{0} + 0 = 0$, nghĩa là siêu phẳng bắt buộc phải đi qua gốc tọa độ. Khi $b \ne 0$, siêu phẳng được tịnh tiến dịch chuyển song song ra xa gốc tọa độ.

Khoảng cách hình học từ gốc tọa độ $\mathbf{0}$ đến siêu phẳng là:

$$\text{dist}(\mathbf{0}, \text{Hyperplane}) = \frac{|b|}{\|\mathbf{w}\|}$$

2.3. Khoảng Cách Có Dấu từ Điểm Bất Kỳ Đến Siêu Phẳng

Cho một điểm dữ liệu $\mathbf{x}_0$ bất kỳ trong không gian, khoảng cách đại số có dấu từ $\mathbf{x}_0$ đến siêu phẳng $\mathbf{w}\mathbf{x} + b = 0$ được tính bằng công thức:

$$d(\mathbf{x}_0) = \frac{\mathbf{w}\mathbf{x}_0 + b}{\|\mathbf{w}\|}$$

• Nếu $d(\mathbf{x}_0) > 0$: Điểm $\mathbf{x}_0$ nằm ở phía mà $\mathbf{w}$ đang chỉ vào (nửa không gian dương $\mathcal{H}^+$).
• Nếu $d(\mathbf{x}_0) < 0$: Điểm $\mathbf{x}_0$ nằm ở phía ngược lại (nửa không gian âm $\mathcal{H}^-$).
• Nếu $d(\mathbf{x}_0) = 0$: Điểm $\mathbf{x}_0$ nằm chính xác trên siêu phẳng.
• Khoảng cách hình học thực tế (độ dài) là giá trị tuyệt đối $|d(\mathbf{x}_0)|$.

3. So Sánh Hình Học: Hồi Quy Tuyến Tính vs. SVM vs. Hồi Quy Logistic

Cả ba mô hình này đều sử dụng biểu thức tuyến tính $\mathbf{w}\mathbf{x} + b$, nhưng cách chúng hiểu và sử dụng siêu phẳng này hoàn toàn khác nhau về mặt hình học:

Trực quan hóa Sự Khác Biệt về Đo Khoảng Cách:

Một cách nhớ: hồi quy tuyến tính sống trong không gian có thêm trục $y$, nên "sai số" là đoạn thẳng đứng; SVM và logistic sống trong không gian đặc trưng thuần, nên thứ duy nhất có nghĩa là khoảng cách vuông góc tới ranh giới $d(\mathbf{x}) = (\mathbf{w}\mathbf{x}+b)/\|\mathbf{w}\|$ (mục 2.3). SVM ép khoảng cách đó lớn hơn một ngưỡng; logistic đổi nó thành xác suất qua sigmoid. Với $\mathbf{w}$ càng dài, sigmoid càng dốc: cùng một khoảng cách hình học nhưng mô hình "tự tin" hơn — đó là lý do điều chuẩn $L_2$ (Module 3) làm mềm xác suất dự đoán.

4. Giải Mã Toán Học Đằng Sau Lề (Margin) Của SVM

Trong Chương 3, cuốn sách đưa ra công thức tối ưu hóa của SVM: $$\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \quad \text{s.t.} \quad y_i(\mathbf{w}\mathbf{x}_i - b) \ge 1$$ (Lưu ý: trong tài liệu gốc của Burkov, ông dùng dấu $- b$; thông thường trong đại số ta viết $+ b$, bản chất toán học là như nhau khi đổi dấu biến).

Tại sao tối đa hóa khoảng cách an toàn (margin) lại tương đương với cực tiểu hóa $\frac{1}{2}\|\mathbf{w}\|^2$?

4.1. Bước 1: Khoảng cách hình học tới siêu phẳng

Nhãn phân loại của SVM là $y_i \in \{-1, +1\}$. Khoảng cách hình học trực giao từ điểm $\mathbf{x}_i$ tới siêu phẳng phân tách $\mathbf{w}\mathbf{x} + b = 0$ là:

$$\gamma_i = y_i \cdot \frac{\mathbf{w}\mathbf{x}_i + b}{\|\mathbf{w}\|}$$

Nếu phân loại đúng, $y_i$ và $(\mathbf{w}\mathbf{x}_i + b)$ cùng dấu nên $\gamma_i > 0$.

4.2. Bước 2: Tự do tỷ lệ (Scale Invariance)

Nếu ta nhân cả $\mathbf{w}$ và $b$ với một số dương $c > 0$, phương trình siêu phẳng không hề thay đổi: $$(c\mathbf{w})\mathbf{x} + (cb) = 0 \iff \mathbf{w}\mathbf{x} + b = 0$$ Khoảng cách $\gamma_i$ cũng không đổi: $$\frac{c\mathbf{w}\mathbf{x}_i + cb}{\|c\mathbf{w}\|} = \frac{c(\mathbf{w}\mathbf{x}_i + b)}{c\|\mathbf{w}\|} = \frac{\mathbf{w}\mathbf{x}_i + b}{\|\mathbf{w}\|}$$

Do có sự tự do về tỷ lệ này, ta hoàn toàn có quyền chọn tỷ lệ cho $(\mathbf{w}, b)$ sao cho đối với những điểm nằm gần siêu phẳng nhất (gọi là các Vectơ Hỗ trợ - Support Vectors), giá trị tuyệt đối của biểu thức đại số bằng đúng $1$:

$$\min_{i=1 \dots N} |\mathbf{w}\mathbf{x}_i + b| = 1$$

Khi đó, đối với mọi điểm trong tập dữ liệu: $$y_i(\mathbf{w}\mathbf{x}_i + b) \ge 1, \quad \forall i = 1, \dots, N$$

4.3. Bước 3: Xác định độ rộng của Lề (Margin)

Khoảng cách từ siêu phẳng ranh giới đến điểm gần nhất của lớp $+1$ (nơi $\mathbf{w}\mathbf{x} + b = 1$) là: $$d_+ = \frac{1}{\|\mathbf{w}\|}$$

Khoảng cách từ siêu phẳng ranh giới đến điểm gần nhất của lớp $-1$ (nơi $\mathbf{w}\mathbf{x} + b = -1$) là: $$d_- = \frac{1}{\|\mathbf{w}\|}$$

Tổng bề rộng của dải phân cách an toàn (Margin) là:

$$\text{Margin} = d_+ + d_- = \frac{2}{\|\mathbf{w}\|}$$

Để ranh giới phân tách an toàn và chống nhiễu tốt nhất, ta cần cực đại hóa Margin:

$$\max_{\mathbf{w}, b} \frac{2}{\|\mathbf{w}\|} \iff \min_{\mathbf{w}, b} \frac{\|\mathbf{w}\|}{2} \iff \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2$$

Phát hiện thú vị:
Phép bình phương $\|\mathbf{w}\|^2 = \mathbf{w}^T\mathbf{w}$ và hệ số $\frac{1}{2}$ được đưa vào nhằm mục đích kỹ thuật: khi tính đạo hàm $\nabla_{\mathbf{w}} \left(\frac{1}{2} \|\mathbf{w}\|^2\right) = \mathbf{w}$, số $2$ ở số mũ và số $\frac{1}{2}$ triệt tiêu lẫn nhau rất đẹp, biến bài toán thành Quy hoạch Toàn phương Lồi (Convex Quadratic Programming). Vì bài toán lồi, mọi cực tiểu cục bộ đều là cực tiểu toàn cục; trong hard-margin SVM chuẩn, phần $\mathbf{w}$ thường là duy nhất, còn $b$ có thể không duy nhất ở một số cấu hình suy biến.

4.4. Vì Sao Chỉ Vài Điểm Quyết Định Siêu Phẳng? Nhân Tử Lagrange và Bài Toán Đối Ngẫu

Sách (Ch 3.4.1) nêu bài toán đối ngẫu mà không dẫn ra; đây là mắt xích nối lề (mục này), vectơ hỗ trợ (Module 4) và thủ thuật kernel (Module 5), nên ta làm rõ trong bốn bước.

Bước 1 — Lagrangian. Gắn mỗi ràng buộc $y_i(\mathbf{w}\mathbf{x}_i + b) \ge 1$ với một nhân tử $\alpha_i \ge 0$:

$$\mathcal{L}(\mathbf{w}, b, \boldsymbol{\alpha}) = \frac12\|\mathbf{w}\|^2 - \sum_{i=1}^N \alpha_i\big[y_i(\mathbf{w}\mathbf{x}_i + b) - 1\big]$$

Bước 2 — Cho đạo hàm theo $\mathbf{w}$ và $b$ bằng 0:

$$\frac{\partial\mathcal{L}}{\partial\mathbf{w}} = \mathbf{w} - \sum_i \alpha_i y_i \mathbf{x}_i = \mathbf{0} \implies \boxed{\mathbf{w} = \sum_{i=1}^N \alpha_i y_i \mathbf{x}_i}, \qquad \frac{\partial\mathcal{L}}{\partial b} = -\sum_i \alpha_i y_i = 0$$

Kết quả đầu tiên đã nói lên tất cả: vectơ pháp tuyến là tổ hợp tuyến tính của các điểm dữ liệu, với hệ số $\alpha_i y_i$.

Bước 3 — Thế ngược vào $\mathcal{L}$ (dùng $\sum\alpha_i y_i = 0$ để triệt tiêu số hạng chứa $b$), ta được bài toán đối ngẫu chỉ còn ẩn $\boldsymbol{\alpha}$:

$$\max_{\boldsymbol{\alpha} \ge 0}\ \sum_{i=1}^N \alpha_i - \frac12\sum_{i=1}^N\sum_{k=1}^N \alpha_i\alpha_k\, y_i y_k\, (\mathbf{x}_i\cdot\mathbf{x}_k) \quad\text{s.t.}\quad \sum_i \alpha_i y_i = 0$$

và hàm dự đoán $f(\mathbf{x}) = \mathbf{w}\mathbf{x} + b = \sum_i \alpha_i y_i (\mathbf{x}_i\cdot\mathbf{x}) + b$. Dữ liệu chỉ còn xuất hiện qua tích vô hướng $\mathbf{x}_i\cdot\mathbf{x}_k$ — cánh cửa để Module 5 thay nó bằng $k(\mathbf{x}_i, \mathbf{x}_k)$.

Bước 4 — Điều kiện KKT (bù trừ): tại nghiệm tối ưu, $\alpha_i\big[y_i(\mathbf{w}\mathbf{x}_i + b) - 1\big] = 0$ với mọi $i$. Vậy hoặc $\alpha_i = 0$, hoặc $y_i(\mathbf{w}\mathbf{x}_i + b) = 1$ (điểm nằm đúng mép lề). Điểm nằm xa lề bắt buộc có $\alpha_i = 0$ và biến mất khỏi $\mathbf{w}$; chỉ các điểm chạm lề — vectơ hỗ trợ — còn lại trong tổng. Đó là lý do trong phòng thí nghiệm M1 nghiệm có đúng 5 điểm chạm mép lề, và trong phòng 01 sách chính kéo một điểm ở xa thì siêu phẳng không nhúc nhích. Với lề mềm, ràng buộc thêm thành $0 \le \alpha_i \le C$: điểm vi phạm lề bị "kẹp" ở $\alpha_i = C$, khớp với đạo hàm $-1$ của hinge loss ở Module 4.

5. Ví Dụ Số Tính Toán Cụ Thể Từng Bước (2D Numerical Walkthrough)

Để củng cố lý thuyết, xét bài toán phân loại 2 chiều ($D=2$): Cho vectơ trọng số $\mathbf{w} = [3, 4]^T$ và hệ số tự do $b = -6$.

1. Độ dài của $\mathbf{w}$: $$\|\mathbf{w}\| = \sqrt{3^2 + 4^2} = \sqrt{9 + 16} = \sqrt{25} = 5$$

2. Phương trình ranh giới quyết định: $$3 x^{(1)} + 4 x^{(2)} - 6 = 0$$

3. Xét điểm $\mathbf{x}_A = [2, 5]^T$ (Nhãn thực tế $y_A = +1$):

   • Giá trị đại số: $$\mathbf{w}\mathbf{x}_A + b = 3(2) + 4(5) - 6 = 6 + 20 - 6 = 20$$
   • Khoảng cách hình học có dấu: $$d(\mathbf{x}_A) = \frac{20}{\|\mathbf{w}\|} = \frac{20}{5} = +4.0$$
   • Dự đoán Hồi quy Logistic: $$P(y=1 \mid \mathbf{x}_A) = \sigma(20) = \frac{1}{1 + e^{-20}} \approx 0.999999998$$ (Mô hình cực kỳ tự tin $\mathbf{x}_A$ thuộc lớp 1 vì nó nằm sâu trong nửa dương một đoạn cách ranh giới 4 đơn vị).

4. Xét điểm $\mathbf{x}_B = [0, 1]^T$ (Nhãn thực tế $y_B = -1$):

   • Giá trị đại số: $$\mathbf{w}\mathbf{x}_B + b = 3(0) + 4(1) - 6 = -2$$
   • Khoảng cách hình học có dấu: $$d(\mathbf{x}_B) = \frac{-2}{5} = -0.4$$
   • Điểm này nằm ở nửa không gian âm, cách ranh giới $0.4$ đơn vị.
   • Với SVM: $y_B(\mathbf{w}\mathbf{x}_B + b) = (-1) \cdot (-2) = 2 \ge 1 \implies$ Thỏa mãn điều kiện lề an toàn!
   • Dự đoán Hồi quy Logistic: $P(y=1 \mid \mathbf{x}_B) = \sigma(-2) \approx 0{,}119$. Mô hình nghiêng về lớp 0 nhưng chưa chắc chắn — đúng với việc điểm chỉ cách ranh giới 0,4 đơn vị, khác hẳn $\mathbf{x}_A$ ở sâu 4 đơn vị với xác suất $\approx 1$.

5. Cùng một siêu phẳng, ba cách đọc: với $\mathbf{x}_A$, hồi quy tuyến tính (nếu $y$ là số thực) sẽ dự đoán giá trị $20$; SVM chỉ nhìn dấu và lề $z = 20 \ge 1$; logistic đổi $20$ thành xác suất $0{,}99999999$. Ba thuật toán, một phép tính $\mathbf{w}\mathbf{x} + b$ — chỉ khác ở hàm mất mát đặt lên kết quả đó (Module 3 và 4).

(Probabilistic Foundations & The Origins of Loss Functions)

1. Tại Sao Xác Suất Là Trái Tim Của Machine Learning?

Khi bắt đầu học ML, nhiều người thường nhìn các hàm mất mát như:

• Sai số toàn phương trung bình (MSE): $\frac{1}{N}\sum (y_i - \hat{y}_i)^2$
• Mất mát Cross-Entropy: $-\sum [y_i \ln \hat{y}_i + (1-y_i) \ln(1-\hat{y}_i)]$
• Số hạng phạt điều chuẩn $L_2$: $\lambda \|\mathbf{w}\|_2^2$
• Số hạng phạt điều chuẩn $L_1$: $\lambda \|\mathbf{w}\|_1$

như những công thức do các nhà khoa học "tự nghĩ ra theo cảm tính".

Thực tế hoàn toàn ngược lại:
Tất cả các hàm mất mát và kỹ thuật điều chuẩn này đều có nguồn gốc toán học chặt chẽ bắt nguồn từ Lý thuyết Xác suất, cụ thể là hai nguyên lý nền tảng:

1. Ước lượng Hợp lý Cực đại (Maximum Likelihood Estimation - MLE)
2. Ước lượng Cực đại Hậu nghiệm (Maximum A Posteriori - MAP)

2. Từ Định Lý Bayes Đến MLE và MAP

Trong Chương 2.4 và 2.5 của sách, định lý Bayes được phát biểu:

$$P(\boldsymbol{\theta} \mid \mathcal{D}) = \frac{P(\mathcal{D} \mid \boldsymbol{\theta}) \cdot P(\boldsymbol{\theta})}{P(\mathcal{D})}$$

Trong đó:

• $\mathcal{D} = \{(\mathbf{x}_i, y_i)\}_{i=1}^N$ là tập dữ liệu quan sát được.
• $\boldsymbol{\theta} = (\mathbf{w}, b)$ là các tham số của mô hình cần tìm.
• $P(\boldsymbol{\theta})$ là Xác suất Tiên nghiệm (Prior): Niềm tin ban đầu của ta về tham số trước khi nhìn thấy dữ liệu.
• $P(\mathcal{D} \mid \boldsymbol{\theta})$ là Hàm Hợp lý (Likelihood): Khả năng dữ liệu $\mathcal{D}$ xuất hiện nếu mô hình có tham số $\boldsymbol{\theta}$.
• $P(\boldsymbol{\theta} \mid \mathcal{D})$ là Xác suất Hậu nghiệm (Posterior): Niềm tin về tham số sau khi đã quan sát dữ liệu.
• $P(\mathcal{D})$ là hằng số chuẩn hóa (không phụ thuộc vào $\boldsymbol{\theta}$).

Hai câu hỏi tương ứng với hai nguyên lý:

• MLE hỏi: "Bộ tham số nào làm dữ liệu đã thấy trở nên ít bất ngờ nhất?" — chỉ nhìn $P(\mathcal{D}\mid\boldsymbol{\theta})$ và không đưa phân phối tiên nghiệm trên $\boldsymbol{\theta}$ vào hàm mục tiêu.
• MAP hỏi thêm: "… và bộ tham số đó có hợp lý từ trước không?" — nhân thêm $P(\boldsymbol{\theta})$. Lấy log thì phép nhân thành phép cộng: hàm mất mát = $-\ln P(\mathcal{D}\mid\boldsymbol{\theta})$, số hạng điều chuẩn = $-\ln P(\boldsymbol{\theta})$. Toàn bộ sơ đồ dưới đây chỉ là các cách chọn hai phân phối ấy.

3. Chứng Minh Tường Minh 1: Tại Sao Hồi Quy Tuyến Tính Dùng MSE?

Trong Chương 3.1.2, cuốn sách nói rằng hồi quy tuyến tính cực tiểu hóa tổng bình phương sai số: $$\min_{\mathbf{w}, b} \frac{1}{N} \sum_{i=1}^N (y_i - (\mathbf{w}\mathbf{x}_i + b))^2$$ Tại sao lại là bình phương $(y - \hat{y})^2$ mà không phải là bậc 4, bậc 6 hay giá trị tuyệt đối?

3.1. Thiết lập Giả định Xác suất

Dữ liệu thực thường chứa sai số đo, biến chưa quan sát hoặc biến thiên ngẫu nhiên. Ta gom phần chưa được mô hình tuyến tính giải thích vào nhiễu $\epsilon_i$:

$$y_i = \mathbf{w}\mathbf{x}_i + b + \epsilon_i$$

Giả sử nhiễu $\epsilon_i$ là các biến ngẫu nhiên độc lập cùng phân phối (i.i.d.), tuân theo Phân phối Chuẩn Gaussian với kỳ vọng bằng 0 và phương sai $\sigma^2$: $$\epsilon_i \sim \mathcal{N}(0, \sigma^2)$$

Khi đó, có điều kiện khi biết $\mathbf{x}_i$, biến mục tiêu $y_i$ sẽ tuân theo phân phối chuẩn với tâm là $\mathbf{w}\mathbf{x}_i + b$: $$y_i \mid \mathbf{x}_i; \mathbf{w}, b \sim \mathcal{N}(\mathbf{w}\mathbf{x}_i + b, \sigma^2)$$

Hàm mật độ xác suất (PDF) của từng điểm dữ liệu là: $$P(y_i \mid \mathbf{x}_i; \mathbf{w}, b) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( - \frac{(y_i - (\mathbf{w}\mathbf{x}_i + b))^2}{2\sigma^2} \right)$$

3.2. Thiết lập Hàm Hợp Lý (Likelihood)

Vì các mẫu dữ liệu độc lập với nhau, xác suất đồng thời để toàn bộ tập dữ liệu $N$ mẫu xuất hiện là tích của các xác suất thành phần:

$$L(\mathbf{w}, b) = \prod_{i=1}^N P(y_i \mid \mathbf{x}_i; \mathbf{w}, b) = \prod_{i=1}^N \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( - \frac{(y_i - (\mathbf{w}\mathbf{x}_i + b))^2}{2\sigma^2} \right)$$

3.3. Lấy Log-Likelihood và Biến đổi

Để biến phép nhân thành phép cộng (tránh tràn số dưới - underflow), ta lấy logarit tự nhiên:

$$\ln L(\mathbf{w}, b) = \sum_{i=1}^N \left[ \ln\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right) - \frac{(y_i - (\mathbf{w}\mathbf{x}_i + b))^2}{2\sigma^2} \right]$$ $$\ln L(\mathbf{w}, b) = - N \ln(\sqrt{2\pi}\sigma) - \frac{1}{2\sigma^2} \sum_{i=1}^N (y_i - (\mathbf{w}\mathbf{x}_i + b))^2$$

Mục tiêu của MLE là tìm $(\mathbf{w}^*, b^*)$ để cực đại hóa $\ln L(\mathbf{w}, b)$. Nhận xét:

• Số hạng $- N \ln(\sqrt{2\pi}\sigma)$ là hằng số đối với $\mathbf{w}$ và $b$.
• Hệ số $\frac{1}{2\sigma^2}$ là số dương cố định.
• Dấu trừ đằng trước có nghĩa là: Cực đại hóa biểu thức mang dấu trừ tương đương với Cực tiểu hóa biểu thức bên trong!

Do đó: $$\arg\max_{\mathbf{w}, b} \ln L(\mathbf{w}, b) \iff \arg\min_{\mathbf{w}, b} \sum_{i=1}^N (y_i - (\mathbf{w}\mathbf{x}_i + b))^2$$

Chia thêm cho hằng số $N$ không làm thay đổi vị trí cực tiểu: $$\implies \arg\min_{\mathbf{w}, b} \frac{1}{N} \sum_{i=1}^N (y_i - (\mathbf{w}\mathbf{x}_i + b))^2 = \text{MSE}$$

Định lý cốt lõi:
Việc tối thiểu hóa hàm mất mát bình phương (MSE) trong Hồi quy Tuyến tính chính là nghiệm ước lượng hợp lý cực đại (MLE) dưới giả định nhiễu ngẫu nhiên tuân theo phân phối chuẩn Gaussian!

4. Chứng Minh Tường Minh 2: Tại Sao Hồi Quy Logistic Dùng Binary Cross-Entropy?

Trong Chương 3.2.2, cuốn sách nêu hàm Log-Likelihood của Hồi quy Logistic: $$\text{LogL} = \sum_{i=1}^N [y_i \ln f(\mathbf{x}_i) + (1 - y_i) \ln(1 - f(\mathbf{x}_i))]$$

4.1. Thiết lập Giả định Xác suất

Trong bài toán phân loại nhị phân, biến mục tiêu chỉ nhận 1 trong 2 giá trị: $y_i \in \{0, 1\}$.
Phân phối xác suất tự nhiên và duy nhất để mô hình hóa một biến nhị phân là Phân phối Bernoulli với tham số thành công $p_i \in (0, 1)$:

$$P(y_i = 1 \mid \mathbf{x}_i) = p_i = \sigma(\mathbf{w}\mathbf{x}_i + b) = \frac{1}{1 + e^{-(\mathbf{w}\mathbf{x}_i + b)}}$$ $$P(y_i = 0 \mid \mathbf{x}_i) = 1 - p_i = 1 - \sigma(\mathbf{w}\mathbf{x}_i + b)$$

Ta có thể viết gọn xác suất của $y_i$ vào một công thức duy nhất: $$P(y_i \mid \mathbf{x}_i) = p_i^{y_i} (1 - p_i)^{1 - y_i}$$ (Kiểm tra: Nếu $y_i = 1$, $p_i^1 (1-p_i)^0 = p_i$. Nếu $y_i = 0$, $p_i^0 (1-p_i)^1 = 1-p_i$. Rất chính xác!)

4.2. Thiết lập Likelihood và Log-Likelihood

Hàm Likelihood trên toàn bộ $N$ mẫu độc lập: $$L(\mathbf{w}, b) = \prod_{i=1}^N p_i^{y_i} (1 - p_i)^{1 - y_i}$$

Lấy logarit tự nhiên: $$\ln L(\mathbf{w}, b) = \sum_{i=1}^N \left[ y_i \ln p_i + (1 - y_i) \ln(1 - p_i) \right]$$

4.3. Chuyển đổi sang Hàm Mất mát (Binary Cross-Entropy Loss)

Trong tối ưu hóa toán học và học máy, theo quy ước chuẩn, người ta luôn thích phát biểu bài toán dưới dạng Cực tiểu hóa hàm mất mát (Minimizing Loss) thay vì Cực đại hóa. Do đó, ta lấy dấu âm của Log-Likelihood chia cho $N$, thu được hàm Negative Log-Likelihood (NLL), hay còn gọi là Binary Cross-Entropy (BCE):

$$\mathcal{L}_{\text{BCE}}(\mathbf{w}, b) = - \frac{1}{N} \sum_{i=1}^N \left[ y_i \ln \hat{y}_i + (1 - y_i) \ln(1 - \hat{y}_i) \right]$$ (với $\hat{y}_i = \sigma(\mathbf{w}\mathbf{x}_i + b)$).

Định lý cốt lõi:
Hàm mất mát Binary Cross-Entropy không phải là một công thức tùy ý, mà chính là Negative Log-Likelihood của phân phối xác suất Bernoulli.

Ví dụ số (một mẫu có nhãn $y = 1$): mô hình dự đoán $\hat y = 0{,}9 \Rightarrow$ phạt $-\ln 0{,}9 = 0{,}105$; $\hat y = 0{,}5 \Rightarrow 0{,}693$; $\hat y = 0{,}1 \Rightarrow 2{,}303$; $\hat y = 0{,}001 \Rightarrow 6{,}9$. Mức phạt tăng theo logarit: đoán sai một chút bị phạt nhẹ, nhưng tự tin mà sai bị phạt không giới hạn ($\hat y \to 0$ thì phạt $\to \infty$). Đó là lý do cross-entropy dạy mô hình phải "biết mình không chắc".

5. Nguồn Gốc Xác Suất Của Điều Chuẩn (Regularization via MAP)

Trong Chương 5.4, tác giả giới thiệu điều chuẩn $L_1$ và $L_2$ như một cách cộng thêm thành phần phạt: $$\text{Cost} = \text{Loss} + \lambda \Omega(\mathbf{w})$$ Tại sao lại cộng thêm chuẩn của trọng số? Nguyên lý xác suất nào đứng sau điều này?

Câu trả lời nằm ở Nguyên lý Ước lượng Cực đại Hậu nghiệm (MAP): $$\boldsymbol{\theta}^* = \arg\max_{\boldsymbol{\theta}} P(\boldsymbol{\theta} \mid \mathcal{D}) = \arg\max_{\boldsymbol{\theta}} \left[ \ln P(\mathcal{D} \mid \boldsymbol{\theta}) + \ln P(\boldsymbol{\theta}) \right]$$

Số hạng thứ hai $\ln P(\boldsymbol{\theta})$ chính là Niềm tin tiên nghiệm về bộ trọng số!

5.1. Điều chuẩn $L_2$ (Ridge / Weight Decay) $\iff$ Tiên nghiệm Gaussian

Giả sử trước khi nhìn thấy dữ liệu, ta tin rằng các trọng số $\mathbf{w}$ không nên quá lớn, chúng nên tập trung quanh giá trị 0 theo Phân phối Chuẩn Gaussian: $$\mathbf{w} \sim \mathcal{N}\left(\mathbf{0}, \sigma_0^2 \mathbf{I}\right) \implies P(\mathbf{w}) = \prod_{j=1}^D \frac{1}{\sqrt{2\pi\sigma_0^2}} \exp\left( - \frac{(w^{(j)})^2}{2\sigma_0^2} \right)$$

Lấy logarit tự nhiên của xác suất tiên nghiệm: $$\ln P(\mathbf{w}) = - \frac{1}{2\sigma_0^2} \sum_{j=1}^D (w^{(j)})^2 + \text{const} = - \frac{1}{2\sigma_0^2} \|\mathbf{w}\|_2^2 + \text{const}$$

Đưa vào công thức MAP và đổi dấu thành bài toán cực tiểu hóa: $$\min_{\mathbf{w}} \left[ -\ln P(\mathcal{D} \mid \mathbf{w}) + \frac{1}{2\sigma_0^2} \|\mathbf{w}\|_2^2 \right]$$ Đặt $\lambda = \frac{1}{2\sigma_0^2}$, ta thu được chính xác công thức Điều chuẩn $L_2$ (Ridge): $$\min_{\mathbf{w}} \left[ \text{Loss}(\mathbf{w}) + \lambda \|\mathbf{w}\|_2^2 \right]$$

5.2. Điều chuẩn $L_1$ (Lasso) $\iff$ Tiên nghiệm Laplace

Bây giờ, nếu ta giả định các trọng số tuân theo Phân phối Laplace (phân phối có đỉnh nhọn hoắt tại 0 và đuôi nặng hơn Gaussian): $$P(w^{(j)}) = \frac{1}{2b_0} \exp\left( - \frac{|w^{(j)}|}{b_0} \right)$$

Lấy logarit tự nhiên: $$\ln P(\mathbf{w}) = - \frac{1}{b_0} \sum_{j=1}^D |w^{(j)}| + \text{const} = - \frac{1}{b_0} \|\mathbf{w}\|_1 + \text{const}$$

Đưa vào bài toán MAP, ta thu được chính xác công thức Điều chuẩn $L_1$ (Lasso): $$\min_{\mathbf{w}} \left[ \text{Loss}(\mathbf{w}) + \lambda \|\mathbf{w}\|_1 \right] \quad \text{với } \lambda = \frac{1}{b_0}$$

6. Bản Chất Hình Học Của $L_1$ vs $L_2$: Tại Sao $L_1$ Triệt Tiêu Trọng Số Về 0?

Cuốn sách nêu ở Chương 5.4.2 rằng $L_1$ tạo ra mô hình thưa (sparse model) bằng cách ép các trọng số không quan trọng về đúng bằng $0$, hoạt động như một thuật toán chọn lọc đặc trưng (Feature Selection).
Nhưng tại sao $L_1$ làm được điều đó còn $L_2$ thì không?

Trực quan hóa Bài toán Tối ưu có Ràng buộc:

Bài toán cộng số hạng phạt $\lambda \Omega(\mathbf{w})$ tương đương về mặt toán học với bài toán tối ưu hóa Lagrange có ràng buộc: $$\min \text{Loss}(\mathbf{w}) \quad \text{thỏa mãn} \quad \Omega(\mathbf{w}) \le C$$

($\lambda$ càng lớn thì $C$ càng nhỏ; hai cách viết cho cùng một tập nghiệm.) Bức tranh trong không gian trọng số: hàm mất mát của hồi quy tuyến tính là một cái bát bậc hai có đáy tại nghiệm không phạt $\mathbf{w}^*$, và các đường đồng mức của nó là những elip đồng tâm. Nghiệm có phạt là điểm của vùng ràng buộc mà elip chạm tới đầu tiên khi nở ra từ $\mathbf{w}^*$.

1. Với Điều chuẩn $L_2$ ($\|\mathbf{w}\|_2^2 \le C$):

   • Vùng khả thi là một hình tròn (2D) hoặc hình cầu (nhiều chiều).
   • Hình tròn có đường biên trơn và hoàn toàn đối xứng, không có góc nhọn.
   • Khi các đường đồng mức elip của hàm Loss (xuất phát từ tâm nghiệm không điều chuẩn $\mathbf{w}^*$) phình to dần ra, điểm đầu tiên nó chạm vào hình tròn có thể là bất kỳ điểm nào trên đường cong.
   • Xác suất để điểm tiếp xúc rơi trúng chính xác vào các trục tọa độ ($w_1 = 0$ hoặc $w_2 = 0$) là xấp xỉ bằng $0$. Do đó, $L_2$ chỉ kéo các trọng số bé đi, chứ không triệt tiêu về 0.

2. Với Điều chuẩn $L_1$ ($\|\mathbf{w}\|_1 \le C$):

   • Vùng khả thi là một hình thoi (2D) hoặc khối đa diện góc cạnh (nhiều chiều).
   • Hình thoi có các đỉnh nhọn nằm ngay trên các trục tọa độ (nơi một hoặc nhiều thành phần bằng $0$).
   • Khi đường đồng mức của hàm Loss nở rộng, do hình học không gian, nó có xu hướng chạm vào các góc nhọn nhô ra trước tiên.
   • Điểm tiếp xúc rơi vào góc nhọn $\implies$ Tại điểm đó, thành phần $w_2$ hoặc $w_1$ bằng đúng $0$!
   • Trong không gian hàng nghìn chiều, khối đa diện $L_1$ có vô số đỉnh và cạnh nằm trên các siêu phẳng tọa độ, khiến hàng loạt trọng số bị triệt tiêu về $0$ chính xác.

7. Phân Rã Sai Số Bias-Variance (Đánh Đổi Độ Chệch - Phương Sai)

Trong Chương 5.3, cuốn sách đưa ra công thức: $$\text{Tổng sai số} = \text{Bias}^2 + \text{Variance} + \text{Irreducible Error}$$

Dưới đây là chứng minh toán học tường minh thông qua kỳ vọng thống kê:

Giả sử nhãn thực tế được sinh ra bởi: $y = f(\mathbf{x}) + \epsilon$, với $\mathbb{E}[\epsilon] = 0$ và $\text{Var}(\epsilon) = \sigma^2$.
Mô hình ước lượng được huấn luyện trên tập dữ liệu là $\hat{f}(\mathbf{x})$.

Kỳ vọng sai số bình phương dự đoán trên một điểm kiểm tra $\mathbf{x}$: $$\mathbb{E}\left[ (y - \hat{f}(\mathbf{x}))^2 \right] = \mathbb{E}\left[ (f(\mathbf{x}) + \epsilon - \hat{f}(\mathbf{x}))^2 \right]$$ $$= \mathbb{E}\left[ \left((f(\mathbf{x}) - \mathbb{E}[\hat{f}(\mathbf{x})]) + (\mathbb{E}[\hat{f}(\mathbf{x})] - \hat{f}(\mathbf{x})) + \epsilon\right)^2 \right]$$

Khai triển bình phương 3 số hạng (các tích chéo triệt tiêu vì $\epsilon$ độc lập với mô hình và $\mathbb{E}[\hat{f} - \mathbb{E}[\hat{f}]] = 0$):

$$\mathbb{E}\left[ (y - \hat{f}(\mathbf{x}))^2 \right] = \underbrace{\left(f(\mathbf{x}) - \mathbb{E}[\hat{f}(\mathbf{x})]\right)^2}_{\text{Độ chệch bình phương (Bias}^2\text{)}} + \underbrace{\mathbb{E}\left[\left(\hat{f}(\mathbf{x}) - \mathbb{E}[\hat{f}(\mathbf{x})]\right)^2\right]}_{\text{Phương sai (Variance)}} + \underbrace{\sigma^2}_{\text{Nhiễu không thể giảm}}$$

• $\text{Bias}^2$: Đo mức độ sai lệch giữa trung bình các dự đoán của mô hình so với chân lý thật $f(\mathbf{x})$. (Mô hình quá đơn giản $\rightarrow$ High Bias $\rightarrow$ Underfitting).
• $\text{Variance}$: Đo mức độ dao động của dự đoán khi mô hình được huấn luyện trên các tập dữ liệu khác nhau. (Mô hình quá phức tạp $\rightarrow$ High Variance $\rightarrow$ Overfitting).
• $\sigma^2$: Nhiễu nội tại của tự nhiên trong quá trình thu thập dữ liệu, không thuật toán nào có thể vượt qua giới hạn này.

Trực giác "bắn bia": tưởng tượng huấn luyện cùng một thuật toán trên 100 tập dữ liệu khác nhau rồi chấm 100 dự đoán lên bia. Bias là khoảng cách từ tâm đám đạn tới hồng tâm (mô hình quá đơn giản thì cả đám lệch về một phía). Variance là độ tản của đám đạn (mô hình quá phức tạp thì mỗi tập dữ liệu cho một kết quả khác hẳn). Kỳ vọng $\mathbb{E}[\cdot]$ trong chứng minh trên chính là "lấy trung bình trên 100 tập dữ liệu" đó.

(The Classification Loss Family Tree & The Art of Optimization)

1. Cội Nguồn: Tại Sao Ta Cần Các Hàm Mất Mát "Đại Diện" (Surrogate Losses)?

Trong bài toán phân loại nhị phân ($y_i \in \{-1, +1\}$), dự đoán của mô hình có dạng $f(\mathbf{x}) = \mathbf{w}\mathbf{x} + b$. Mục tiêu tối thượng của ta là: Phân loại chính xác nhãn của các điểm dữ liệu.

1.1. Khái niệm Lề Phân Loại (Functional Margin $z$)

Ta định nghĩa đại lượng lề chức năng:

$$z \stackrel{\text{def}}{=} y \cdot f(\mathbf{x}) = y(\mathbf{w}\mathbf{x} + b)$$

• Nếu $z > 0$: $y$ và $f(\mathbf{x})$ cùng dấu $\implies$ Mô hình dự đoán đúng! $z$ càng lớn thì dự đoán càng tự tin.
• Nếu $z < 0$: $y$ và $f(\mathbf{x})$ trái dấu $\implies$ Mô hình dự đoán sai!
• Nếu $z = 0$: Điểm nằm ngay trên ranh giới phân tách.

1.2. Hàm Mất Mát Lý Tưởng: 0-1 Loss

Hàm mất mát tự nhiên nhất mà chúng ta thực sự muốn cực tiểu hóa là số lượng mẫu đoán sai, gọi là 0-1 Loss:

$$\mathcal{L}_{0-1}(z) = \begin{cases} 0 & \text{nếu } z \ge 0 \quad (\text{đúng}) \\ 1 & \text{nếu } z < 0 \quad (\text{sai}) \end{cases}$$

Tại sao ta KHÔNG THỂ huấn luyện mô hình bằng 0-1 Loss?
1. Đạo hàm bằng 0 khắp nơi: Với mọi $z \ne 0$, đạo hàm $\frac{d\mathcal{L}_{0-1}}{dz} = 0$. Thuật toán Gradient Descent hoàn toàn bị "mù", không nhận được bất kỳ tín hiệu nào để biết cần tăng hay giảm $\mathbf{w}$! 2. Không khả vi tại 0: Hàm số bị đứt đoạn có bước nhảy đột ngột tại $z = 0$. 3. Độ phức tạp tính toán: Việc tìm bộ trọng số $\mathbf{w}$ để cực tiểu hóa 0-1 loss trên tập dữ liệu là một bài toán NP-hard (không thể giải trong thời gian đa thức).

2. Cây Phả Hệ Các Hàm Mất Mát Lồi Xấp Xỉ (Convex Surrogates)

Để giải quyết bế tắc của 0-1 Loss, các nhà khoa học đã phát minh ra các Hàm mất mát Lồi Thay thế (Convex Surrogate Losses): chúng là các hàm số lồi (convex), khả vi (hoặc khả vi từng phần), và (sau khi nhân một hệ số thích hợp) luôn là cận trên của 0-1 loss: $\mathcal{L}(z) \ge \mathcal{L}_{0-1}(z)$. Cận trên là điều quan trọng: ép hàm thay thế xuống thấp thì số lỗi thật cũng bị ép xuống theo.

Lưu ý nhỏ về hệ số: logistic loss viết bằng $\ln$ tại $z = 0$ chỉ bằng $\ln 2 \approx 0{,}69 < 1$, nên nó chưa là cận trên của 0-1 loss; chia cho $\ln 2$ (tức dùng $\log_2$ như trong hình) thì đúng bằng 1 tại $z = 0$ và là cận trên thật sự. Nhân một hằng số dương không đổi nghiệm tối ưu, nên trong thực hành ai cũng dùng $\ln$. Phòng thí nghiệm M3 có ô bật/tắt để bạn thấy hai đường chỉ khác hệ số.

2.1. Hinge Loss (Máy Vectơ Hỗ Trợ - SVM)

$$\mathcal{L}_{\text{hinge}}(z) = \max(0, 1 - z)$$

• Nếu $z \ge 1$: Điểm được phân loại đúng và nằm an toàn cách ranh giới ít nhất một khoảng lề quy chuẩn $\implies \mathcal{L} = 0$.
• Nếu $0 \le z < 1$: Điểm được phân loại đúng nhưng nằm quá gần ranh giới (nằm trong vùng lề nguy hiểm) $\implies$ Vẫn bị phạt nhẹ ($1 - z > 0$).
• Nếu $z < 0$: Điểm bị phân loại sai $\implies$ Bị phạt tuyến tính tỷ lệ thuận với mức độ sai sót.

Hệ quả kỳ diệu của Hinge Loss:
Những điểm dữ liệu đã phân loại đúng và an toàn ($z \ge 1$) có đạo hàm phạt bằng $0$, hoàn toàn không ảnh hưởng gì đến siêu phẳng!
Chỉ những điểm rơi vào vùng vi phạm ($z < 1$) mới có đạo hàm khác $0$ và tạo nên các Vectơ Hỗ trợ (Support Vectors) cố định hình dáng của siêu phẳng.

2.2. Logistic Loss (Hồi quy Logistic)

$$\mathcal{L}_{\text{logistic}}(z) = \ln(1 + e^{-z})$$ (Hoàn toàn tương đương với công thức Binary Cross-Entropy khi nhãn được mã hóa $y \in \{-1, +1\}$ thay vì $\{0, 1\}$).

• Khi $z \gg 0$ (rất tự tin đúng): $\mathcal{L} \approx \ln(1 + 0) = 0$.
• Khi $z \ll 0$ (rất sai): $\mathcal{L} \approx \ln(e^{-z}) = -z$ (phạt tuyến tính tương tự Hinge Loss).
• Khác biệt cốt lõi với SVM: Logistic Loss không bao giờ bằng 0 tuyệt đối. Mọi điểm dữ liệu trong không gian, dù nằm rất xa ranh giới, vẫn đóng góp một lực kéo nhỏ vào quá trình cập nhật gradient!

3. Nghệ Thuật Tối Ưu Hóa: Nghiệm Giải Tích Đóng vs. Phương Pháp Số Lặp

Một trong những câu hỏi sâu sắc nhất:
"Tại sao Hồi quy Tuyến tính có nghiệm đại số dạng đóng, còn Hồi quy Logistic thường phải dùng một thủ tục tối ưu số lặp?"

3.1. Nghiệm Giải Tích Dạng Đóng của Hồi Quy Tuyến Tính (Normal Equation)

Đặt ma trận dữ liệu $\mathbf{X} \in \mathbb{R}^{N \times (D+1)}$ (đã gộp cột bias 1 vào cuối) và vectơ nhãn $\mathbf{y} \in \mathbb{R}^N$.
Hàm mất mát MSE viết dưới dạng ma trận:

$$\mathcal{L}(\mathbf{w}) = \frac{1}{2N} \|\mathbf{X}\mathbf{w} - \mathbf{y}\|_2^2 = \frac{1}{2N} (\mathbf{X}\mathbf{w} - \mathbf{y})^T (\mathbf{X}\mathbf{w} - \mathbf{y})$$ $$= \frac{1}{2N} \left[ \mathbf{w}^T \mathbf{X}^T \mathbf{X} \mathbf{w} - 2 \mathbf{y}^T \mathbf{X} \mathbf{w} + \mathbf{y}^T \mathbf{y} \right]$$

Lấy đạo hàm ma trận theo vectơ $\mathbf{w}$ và cho bằng $\mathbf{0}$: $$\nabla_{\mathbf{w}} \mathcal{L} = \frac{1}{N} \left[ \mathbf{X}^T \mathbf{X} \mathbf{w} - \mathbf{X}^T \mathbf{y} \right] = \mathbf{0}$$ $$\iff \mathbf{X}^T \mathbf{X} \mathbf{w} = \mathbf{X}^T \mathbf{y}$$

Nhận xét: Biểu thức này là một hệ phương trình tuyến tính đối với $\mathbf{w}$. Nếu ma trận $\mathbf{X}^T\mathbf{X}$ khả nghịch (các đặc trưng không bị đa cộng tuyến hoàn hảo), ta nhân nghịch đảo hai vế:

$$\mathbf{w}^* = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}$$

Đây chính là Phương trình Chuẩn (Normal Equation), một nghiệm dạng đóng. Trong tính toán số, ta thường giải bài toán least-squares bằng QR/SVD hoặc pseudoinverse thay vì tạo nghịch đảo tường minh; công thức trên cũng cần $\mathbf{X}^T\mathbf{X}$ khả nghịch.

3.2. Tại Sao Hồi Quy Logistic Không Thể Dùng Normal Equation?

Với Hồi quy Logistic, đạo hàm của hàm mất mát Cross-Entropy theo $\mathbf{w}$ là:

$$\nabla_{\mathbf{w}} \mathcal{L}_{\text{BCE}} = \frac{1}{N} \sum_{i=1}^N \left( \sigma(\mathbf{w}\mathbf{x}_i + b) - y_i \right) \mathbf{x}_i = \mathbf{0}$$

Hãy nhìn kỹ vào số hạng $\sigma(\mathbf{w}\mathbf{x}_i + b) = \frac{1}{1 + e^{-(\mathbf{w}\mathbf{x}_i + b)}}$:

• Trọng số $\mathbf{w}$ bị "nhốt" bên trong hàm số mũ ở dưới mẫu số!
• Khi cho biểu thức bằng 0, ta có một hệ phương trình siêu việt phi tuyến tính (transcendental non-linear equations).
• Về mặt toán học, không tồn tại bất kỳ phép biến đổi đại số nào để rút $\mathbf{w}$ ra đứng độc lập một vế dạng $\mathbf{w} = \dots$
• Kết luận: Không có normal equation tương tự OLS; ta thường dùng tối ưu số lặp như gradient descent, Newton/IRLS, L-BFGS hoặc coordinate descent, tùy bài toán và regularization.

Điều đáng ngạc nhiên: nhìn kỹ hai gradient. Hồi quy tuyến tính: $\nabla \mathcal{L} = \frac{1}{N}\sum_i (\mathbf{w}\mathbf{x}_i + b - y_i)\,\mathbf{x}_i$. Hồi quy logistic: $\nabla \mathcal{L} = \frac{1}{N}\sum_i \big(\sigma(\mathbf{w}\mathbf{x}_i + b) - y_i\big)\,\mathbf{x}_i$. Cùng một công thức "(dự đoán − nhãn) × đầu vào", chỉ khác dự đoán có đi qua sigmoid hay không (Module 3, mục 4.3). Vì thế cùng một vòng lặp gradient descent chạy được cho cả hai — và cho cả mạng nơ-ron, khi "đầu vào" là kích hoạt của tầng trước.

4. Phả Hệ Tiến Hóa Của Các Thuật Toán Gradient Descent

Trong Chương 4 của sách, tác giả giới thiệu Gradient Descent cơ bản và liệt kê các biến thể: SGD, Momentum, Adagrad, RMSprop, Adam. Dưới đây là logic toán học kết nối sự tiến hóa này — mỗi mũi tên vá đúng một điểm yếu của bước trước:

4.1. Gradient Descent Cổ Điển (Batch GD)

$$w \leftarrow w - \alpha \nabla \mathcal{L}(w)$$

• Điểm yếu: Tính tổng gradient trên toàn bộ $N$ mẫu ở mỗi bước. Nếu dữ liệu có $1$ triệu dòng, một bước đi nhỏ cũng phải tính $1$ triệu phép tính.

4.2. Stochastic Gradient Descent (SGD) & Mini-Batch GD

Thay vì tính trên toàn bộ $N$, ta ước lượng gradient ngẫu nhiên trên một cụm nhỏ $B$ mẫu (Mini-batch, ví dụ $B = 64$ hoặc $128$): $$g_t = \frac{1}{B} \sum_{i \in \text{Batch}} \nabla \mathcal{L}_i(w)$$

• Tận dụng tối đa bộ nhớ đệm và tính toán song song ma trận của GPU.

4.3. Momentum (Quán Tính)

Vấn đề của SGD: Khi hàm mất mát có dạng "khe núi hẹp" (dốc đứng ở một chiều nhưng thoai thoải ở chiều kia), SGD sẽ dao động zíc-zắc qua lại hai vách núi mà di chuyển rất chậm dọc đáy hẻm.

Momentum mô phỏng một hòn bi lăn từ trên dốc xuống: $$\mathbf{v}_t = \beta \mathbf{v}_{t-1} + (1 - \beta) g_t$$ $$\mathbf{w}_t = \mathbf{w}_{t-1} - \alpha \mathbf{v}_t$$ (với $\beta \approx 0.9$ là hệ số ma sát/quán tính).
Các dao động triệt tiêu nhau ở chiều dao động, trong khi vận tốc được cộng dồn gia tốc ở chiều tiến về phía trước!

(PyTorch và Hình 4.4 viết $\mathbf{v}_t = \beta\mathbf{v}_{t-1} + g_t$, không có hệ số $(1-\beta)$; hai cách viết chỉ khác nhau một hệ số nhân $1/(1-\beta)$ gộp vào $\alpha$. Lưu ý $\beta$ quá lớn thì "hòn bi" nặng quá đà: trong Hình 4.4, $\beta = 0{,}7$ tới đáy sau 61 bước còn $\beta = 0{,}9$ vọt qua đáy rồi phải quay lại — quán tính cũng cần được điều chỉnh.)

4.4. Adam (Adaptive Moment Estimation)

Adam tính toán đồng thời:

1. Ước lượng trung bình gradient (Mômen bậc 1 - Momentum): $\mathbf{m}_t = \beta_1 \mathbf{m}_{t-1} + (1 - \beta_1) g_t$
2. Ước lượng độ biến thiên/bình phương gradient (Mômen bậc 2 - RMSprop): $\mathbf{v}_t = \beta_2 \mathbf{v}_{t-1} + (1 - \beta_2) g_t^2$

3. Hiệu chỉnh độ chệch ban đầu (vì $\mathbf{m}_0, \mathbf{v}_0$ khởi tạo bằng 0): $$\hat{\mathbf{m}}_t = \frac{\mathbf{m}_t}{1 - \beta_1^t}, \quad \hat{\mathbf{v}}_t = \frac{\mathbf{v}_t}{1 - \beta_2^t}$$

4. Cập nhật trọng số: $$\mathbf{w}_t = \mathbf{w}_{t-1} - \frac{\alpha}{\sqrt{\hat{\mathbf{v}}_t} + \epsilon} \hat{\mathbf{m}}_t$$

Trực giác đằng sau Adam:
Tham số nào có gradient biến động dữ dội thì bị phanh lại ($\hat{\mathbf{v}}_t$ lớn $\implies$ mẫu số lớn $\implies$ bước nhảy nhỏ). Tham số nào có gradient nhỏ và hiếm khi xuất hiện thì được ưu tiên bước nhảy dài hơn. Đây là trực giác vì sao Adam thường là một điểm khởi đầu mạnh cho nhiều mạng sâu, dù SGD/momentum hoặc optimizer khác vẫn có thể tổng quát hóa hay tối ưu tốt hơn tùy miền.

Ví dụ số (bước đầu tiên của Adam, $\beta_1 = 0{,}9$, $\beta_2 = 0{,}999$): gradient của một tham số là $g_1 = 0{,}1$. Mômen: $m_1 = (1 - 0{,}9) \cdot 0{,}1 = 0{,}01$, $v_1 = (1 - 0{,}999) \cdot 0{,}1^2 = 10^{-5}$. Hiệu chỉnh: $\hat m_1 = 0{,}01/0{,}1 = 0{,}1$, $\hat v_1 = 10^{-5}/0{,}001 = 10^{-2}$. Bước đi: $\alpha \cdot 0{,}1/\sqrt{10^{-2}} = \alpha \cdot 0{,}1/0{,}1 = \alpha$. Thử lại với $g_1 = 10$: $\hat m_1 = 10$, $\hat v_1 = 100$, bước $= \alpha \cdot 10/10 = \alpha$. Tổng quát, ở bước đầu $\hat m_1 = g_1$ và $\hat v_1 = g_1^2$ nên bước luôn là $\alpha \cdot \text{sign}(g_1)$: Adam bước một đoạn $\approx \alpha$ bất kể gradient lớn hay nhỏ — nó chuẩn hoá từng tham số theo "đơn vị" của chính tham số đó. Điều này giải thích vì sao Adam bớt nhạy với chênh lệch thang gradient giữa các tham số; learning rate vẫn phải được chọn theo kiến trúc, batch, schedule và quy mô huấn luyện (phòng 10: $\alpha = 0{,}0025$ đã nổ tung).

5. Quy Tắc Chuỗi (Chain Rule) và Lan Truyền Ngược (Backpropagation)

Trong Chương 6, Mạng nơ-ron được biểu diễn là một hàm hợp lồng nhau: $$y = f(\mathbf{x}) = g_3(\mathbf{W}_3 \cdot g_2(\mathbf{W}_2 \cdot g_1(\mathbf{W}_1 \mathbf{x} + \mathbf{b}_1) + \mathbf{b}_2) + \mathbf{b}_3)$$

Thuật toán Lan truyền ngược (Backpropagation) thực chất chỉ là việc áp dụng có hệ thống Quy tắc Chuỗi (Chain Rule) trong giải tích từ tầng cuối cùng ngược về tầng đầu tiên.

5.1. Quy tắc chuỗi trên một nơ-ron đơn lẻ

Xét một nơ-ron:

• $z = w x + b$ (tổ hợp tuyến tính)
• $a = \sigma(z) = \frac{1}{1 + e^{-z}}$ (kích hoạt phi tuyến)
• $\mathcal{L} = \frac{1}{2}(a - y)^2$ (hàm mất mát)

Để cập nhật trọng số $w$, ta cần tính đạo hàm riêng $\frac{\partial \mathcal{L}}{\partial w}$. Theo quy tắc chuỗi:

$$\frac{\partial \mathcal{L}}{\partial w} = \frac{\partial \mathcal{L}}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial w}$$

Tính từng thành phần:

1. $\frac{\partial \mathcal{L}}{\partial a} = (a - y)$ (sai số dự đoán ở đầu ra)
2. $\frac{\partial a}{\partial z} = \sigma'(z) = \sigma(z)(1 - \sigma(z)) = a(1 - a)$
3. $\frac{\partial z}{\partial w} = x$ (giá trị kích hoạt đầu vào)

Nhân lại: $$\frac{\partial \mathcal{L}}{\partial w} = (a - y) \cdot [a(1 - a)] \cdot x$$

Ví dụ số: $x = 2$, $w = 0{,}5$, $b = 0$, nhãn $y = 1$. Xuôi: $z = 1$, $a = \sigma(1) = 0{,}731$, $\mathcal{L} = \tfrac12(0{,}731 - 1)^2 = 0{,}036$. Ngược: $(a - y) = -0{,}269$; $a(1-a) = 0{,}731 \times 0{,}269 = 0{,}197$; $x = 2$. Nhân lại: $\partial\mathcal{L}/\partial w = -0{,}269 \times 0{,}197 \times 2 = -0{,}106$. Dấu âm nghĩa là tăng $w$ sẽ giảm lỗi (đúng: $a$ cần tiến về 1). Với $\alpha = 0{,}5$: $w \leftarrow 0{,}5 + 0{,}053 = 0{,}553$. Mạng nhiều tầng chỉ lặp phép nhân này lùi dần từng tầng, mỗi tầng góp thêm một thừa số $\sigma'(z_l) \cdot w_{l+1}$.

5.2. Nguồn Gốc Toán Học Của Vấn Đề "Biến Mất Gradient" (Vanishing Gradient)

Nhìn vào đạo hàm của hàm Sigmoid: $$\sigma'(z) = \sigma(z)(1 - \sigma(z))$$ Vì $\sigma(z) \in (0, 1)$, giá trị lớn nhất của tích này đạt được tại $z = 0$, khi $\sigma(0) = 0.5$: $$\max \sigma'(z) = 0.5 \times (1 - 0.5) = 0.25$$

Điều này có nghĩa là: Đạo hàm của hàm Sigmoid luôn luôn $\le 0.25$!

Khi mạng nơ-ron có $L$ tầng lồng nhau, theo quy tắc chuỗi, đạo hàm truyền về các tầng đầu tiên sẽ là tích của $L$ đạo hàm kích hoạt: $$\frac{\partial \mathcal{L}}{\partial \mathbf{W}_1} \propto \prod_{l=1}^L \sigma'(z_l) \le (0.25)^L$$

• Với mạng 5 tầng: $(0.25)^5 \approx 0.00097$
• Với mạng 10 tầng: $(0.25)^{10} \approx 0.00000095$ (xấp xỉ bằng $0$!)

Gradient ở các tầng đầu gần như bị triệt tiêu hoàn toàn $\implies$ Các tầng đầu ngừng học $\implies$ Hiện tượng Biến mất Gradient!

Tại sao hàm ReLU giải quyết triệt để vấn đề này?
$\text{ReLU}(z) = \max(0, z) \implies \text{ReLU}'(z) = 1$ với mọi $z > 0$.
Khi nhân liên tiếp các số $1$, gradient truyền ngược nguyên vẹn qua hàng trăm tầng mà không bị suy giảm theo cấp số nhân! Đây là bước ngoặt toán học đưa Deep Learning bùng nổ.

(The Non-Linear Universe: The Kernel Trick vs. Deep Learning)

1. Bức Tường Tuyến Tính: Bài Toán XOR Kinh Điển

Trong các module trước, chúng ta đã thấy sức mạnh hình học của siêu phẳng $\mathbf{w}\mathbf{x} + b = 0$. Tuy nhiên, thế giới thực chứa đầy các quy luật không thể phân tách bằng một đường thẳng hay một mặt phẳng.

Ví dụ lịch sử nổi tiếng nhất là Cổng logic XOR (Exclusive OR):

Chứng minh trực quan:
Hai điểm cùng lớp nằm chéo nhau qua gốc tọa độ. Không thể vẽ bất kỳ một đường thẳng nào trên mặt phẳng 2D để phân tách hai điểm $(+)$ khỏi hai điểm $(-)$.
Công trình của Minsky & Papert (1969) làm rõ nhiều giới hạn của perceptron đơn tầng, trong đó có XOR. Gắn riêng cuốn sách này như nguyên nhân trực tiếp của “mùa đông AI” là một cách kể lịch sử quá đơn giản hóa.

Để giải quyết bài toán phi tuyến tính, lịch sử Machine Learning đã khai phá ra hai con đường toán học hoàn toàn khác nhau:

1. Con đường của SVM: Thủ thuật Kernel (Kernel Trick) — Dùng toán học nâng không gian lên số chiều cao hơn (thậm chí vô hạn chiều).
2. Con đường của Deep Learning: Biểu diễn Phân tầng (Hierarchical Representation) — Xếp chồng nhiều tầng biến đổi phi tuyến để tự động bẻ cong và uốn nắn không gian dữ liệu.

2. Giải Mã Thủ Thuật Kernel (The Kernel Trick)

2.1. Ý tưởng cốt lõi: Nâng số chiều để biến Phi tuyến thành Tuyến tính

Nếu dữ liệu không thể phân tách ở không gian gốc $D$ chiều, hãy ánh xạ nó sang một không gian mới có số chiều cao hơn $M > D$ thông qua hàm biến đổi $\phi(\mathbf{x})$.

Ví dụ cụ thể giải bài toán XOR:
Ánh xạ từ 2 chiều $[x_1, x_2]^T$ lên không gian 3 chiều: $$\phi([x_1, x_2]^T) = \left[ x_1^2, \quad \sqrt{2} x_1 x_2, \quad x_2^2 \right]^T$$

Tọa độ 4 điểm sau khi biến đổi:

• $(0, 0) \implies [0, 0, 0]^T$ (Lớp 0)
• $(1, 1) \implies [1, \sqrt{2}, 1]^T$ (Lớp 0)
• $(1, 0) \implies [1, 0, 0]^T$ (Lớp 1)
• $(0, 1) \implies [0, 0, 1]^T$ (Lớp 1)

Chú ý: không thể chỉ nhìn một toạ độ. Toạ độ thứ hai $\sqrt{2}x_1x_2$ bằng $0$ ở ba điểm $(0,0)$, $(1,0)$, $(0,1)$ nhưng $(0,0)$ thuộc lớp 0 còn hai điểm kia thuộc lớp 1. Thứ tách được là một mặt phẳng trong không gian $\phi$, tức một tổ hợp tuyến tính của ba toạ độ:

$$g(\phi) = \phi_1 - \sqrt{2}\,\phi_2 + \phi_3 - \tfrac12 = x_1^2 - 2x_1x_2 + x_2^2 - \tfrac12 = (x_1 - x_2)^2 - \tfrac12$$

Lớp 0 có $(x_1 - x_2)^2 = 0$ ở cả $(0,0)$ và $(1,1)$ nên $g = -\tfrac12 < 0$; lớp 1 có $(x_1 - x_2)^2 = 1$ ở cả $(1,0)$ và $(0,1)$ nên $g = +\tfrac12 > 0$. Trong không gian gốc, $g = 0$ là hai đường thẳng $x_1 - x_2 = \pm 1/\sqrt2$ kẹp lấy đường chéo — một ranh giới phi tuyến ở 2D nhưng là siêu phẳng $\mathbf{w}\cdot\phi(\mathbf{x}) + b = 0$ với $\mathbf{w} = (1, -\sqrt2, 1)$, $b = -\tfrac12$ ở 3D. Dữ liệu đã trở nên phân tách tuyến tính hoàn hảo — đúng theo nghĩa của Module 2: tồn tại một $\mathbf{w}$ mà tích vô hướng với $\phi(\mathbf{x})$ đổi dấu giữa hai lớp.

Deep Learning giải XOR theo cách khác: một mạng có tầng ẩn 2 nơ-ron ReLU, $h_1 = \text{ReLU}(x_1 + x_2 - 1)$ và $h_2 = \text{ReLU}(x_1 + x_2)$, rồi $y = h_2 - 2h_1$ cho đúng $(0, 1, 1, 0)$ trên bốn điểm. Nơ-ron $h_1$ về bản chất đang "đo" $x_1 x_2$ — mạng tự học ra một đặc trưng tương đương với $\phi$ thay vì được cho sẵn. Đó là khác biệt triết lý ở mục 5, và là điều phòng 14 sách chính cho bạn xem từng nơ-ron ẩn: mỗi nơ-ron vẫn chỉ là một nhát cắt thẳng, phi tuyến sinh ra khi cộng các nhát cắt lại.

2.2. Nghịch lý Tính toán và "Phép Màu" của Kernel Trick

Nếu ta nâng dữ liệu từ 100 chiều lên không gian đa thức bậc 10, số chiều $M$ sẽ lên tới hàng triệu tỷ chiều. Việc tính toán tọa độ $\phi(\mathbf{x})$ và lưu trữ trong bộ nhớ là điều hoàn toàn bất khả thi!

Nhưng hãy nhìn vào công thức bài toán đối ngẫu SVM ở Chương 3.4.1 (dẫn ra ở Module 2, mục 4.4: thế $\mathbf{w} = \sum_i \alpha_i y_i \phi(\mathbf{x}_i)$ vào Lagrangian): $$\max_{\boldsymbol{\alpha}} \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i=1}^N \sum_{k=1}^N y_i \alpha_i \Big( \phi(\mathbf{x}_i) \cdot \phi(\mathbf{x}_k) \Big) y_k \alpha_k$$

Toàn bộ thuật toán SVM chỉ quan tâm đến tích vô hướng $\phi(\mathbf{x}_i) \cdot \phi(\mathbf{x}_k)$, chứ không bao giờ cần biết từng tọa độ riêng lẻ của $\phi(\mathbf{x})$!

Tính toán tích vô hướng trong ví dụ trên: $$\phi(\mathbf{x}) \cdot \phi(\mathbf{z}) = x_1^2 z_1^2 + (\sqrt{2}x_1 x_2)(\sqrt{2}z_1 z_2) + x_2^2 z_2^2$$ $$= x_1^2 z_1^2 + 2 (x_1 z_1)(x_2 z_2) + x_2^2 z_2^2 = (x_1 z_1 + x_2 z_2)^2 = (\mathbf{x} \cdot \mathbf{z})^2$$

Bản chất của Kernel Trick:
Ta không cần tính toán phép ánh xạ $\phi(\mathbf{x})$ trong không gian 3 chiều tốn kém. Ta chỉ cần lấy tích vô hướng đơn giản ở không gian 2 chiều gốc rồi bình phương lên: $$k(\mathbf{x}, \mathbf{z}) = (\mathbf{x} \cdot \mathbf{z})^2 = \langle \phi(\mathbf{x}), \phi(\mathbf{z}) \rangle$$ Kết quả hoàn toàn tương đương! Đây chính là Thủ thuật Kernel.

3. Tại Sao Kernel Gaussian (RBF) Lại Tương Đương Với Không Gian Vô Hạn Chiều?

Trong Chương 3.4.2, cuốn sách khẳng định:
"Kernel RBF / Gaussian tương ứng với không gian đặc trưng có số chiều vô hạn."
Tại sao lại như vậy? Dưới đây là chứng minh toán học thông qua chuỗi Taylor:

Hàm Kernel Gaussian (RBF) giữa hai vectơ 1 chiều $x$ và $z$: $$k(x, z) = \exp\left( - \frac{(x - z)^2}{2\sigma^2} \right)$$

Khai triển phần tử trong hàm mũ: $$(x - z)^2 = x^2 - 2xz + z^2$$ Do đó: $$k(x, z) = \exp\left(-\frac{x^2}{2\sigma^2}\right) \exp\left(-\frac{z^2}{2\sigma^2}\right) \exp\left(\frac{xz}{\sigma^2}\right)$$

Theo công thức khai triển chuỗi Taylor của hàm $e^u = \sum_{n=0}^{\infty} \frac{u^n}{n!} = 1 + u + \frac{u^2}{2!} + \frac{u^3}{3!} + \dots$
Đặt $u = \frac{xz}{\sigma^2}$:

$$\exp\left(\frac{xz}{\sigma^2}\right) = \sum_{n=0}^{\infty} \frac{(xz)^n}{\sigma^{2n} n!} = \sum_{n=0}^{\infty} \left( \frac{x^n}{\sigma^n \sqrt{n!}} \right) \left( \frac{z^n}{\sigma^n \sqrt{n!}} \right)$$

Nhân lại với phần hệ số phụ thuộc vào $x$ và $z$: $$k(x, z) = \sum_{n=0}^{\infty} \left[ \exp\left(-\frac{x^2}{2\sigma^2}\right) \frac{x^n}{\sigma^n \sqrt{n!}} \right] \cdot \left[ \exp\left(-\frac{z^2}{2\sigma^2}\right) \frac{z^n}{\sigma^n \sqrt{n!}} \right]$$ $$= \langle \phi(x), \phi(z) \rangle$$

Trong đó, vectơ ánh xạ $\phi(x)$ có dạng: $$\phi(x) = \exp\left(-\frac{x^2}{2\sigma^2}\right) \left[ 1, \quad \frac{x}{\sigma}, \quad \frac{x^2}{\sqrt{2}\sigma^2}, \quad \frac{x^3}{\sqrt{6}\sigma^3}, \quad \dots, \quad \frac{x^n}{\sqrt{n!}\sigma^n}, \quad \dots \right]^T$$

Kết luận đẹp đẽ:
Vectơ $\phi(x)$ chứa vô hạn các phần tử, từ lũy thừa bậc 0 đến bậc vô cùng ($\infty$)!
Chỉ với một phép tính $\exp(-\gamma \|\mathbf{x} - \mathbf{z}\|^2)$ mất vài micro-giây, bạn thực chất đang thực hiện tích vô hướng của hai vectơ trong không gian Hilbert có số chiều vô hạn!

Băng thông $\sigma$ nói gì? $k(x, z)$ chỉ phụ thuộc khoảng cách $|x - z|$: bằng $1$ khi trùng nhau, $e^{-1/2} = 0{,}61$ khi cách $\sigma$, $0{,}14$ khi cách $2\sigma$, $0{,}011$ khi cách $3\sigma$. Nghĩa là mỗi điểm huấn luyện chỉ "nhìn thấy" hàng xóm trong bán kính $\approx 3\sigma$. $\sigma$ nhỏ: mô hình gồm những quả chuông hẹp, nhớ từng điểm (quá khớp); $\sigma$ lớn: mọi chuông chồng lên nhau thành một khối phẳng (dưới khớp). Trong scikit-learn, gamma $= 1/(2\sigma^2)$. Phòng thí nghiệm M4 (mục 4) đo điều này bằng số thật.

4. Sợi Dây Liên Kết Giữa Các Thuật Toán Dựa Trên Kernel

Trong cuốn sách, các phương pháp Kernel xuất hiện rải rác ở nhiều chương:

• Chương 3.4: Support Vector Machine với Kernel Trick.
• Chương 7.1: Hồi quy Kernel (Kernel Regression / Nadaraya-Watson).
• Chương 9.1: Ước lượng Mật độ Kernel (Kernel Density Estimation - KDE).

Bản chất toán học thống nhất của chúng được thể hiện qua bảng so sánh:

Cả ba đều có dạng "tổng có trọng số của các quả chuông đặt tại điểm huấn luyện" $\sum_i c_i\, k(\mathbf{x}_i, \mathbf{x})$; khác nhau chỉ ở cách chọn hệ số $c_i$: KDE lấy $c_i = 1/N$ (đếm), kernel regression lấy $c_i \propto y_i$ (trung bình nhãn), SVM học $c_i = \alpha_i y_i$ và ép phần lớn về 0. Bản 3D của KDE/GMM: phòng 23b sách chính.

5. So Sánh Bản Chất: Kernel Trick vs. Deep Learning

Cả Kernel Trick và Mạng nơ-ron sâu đều giải quyết xuất sắc các bài toán phi tuyến tính phức tạp, nhưng triết lý thiết kế của chúng đối nghịch nhau:

(Information Theory & The Mathematical Foundations of Unsupervised Learning)

1. Lý Thuyết Thông Tin: Sợi Dây Liên Kết Vô Hình Trong Machine Learning

Nhiều người học thường ngạc nhiên khi thấy các khái niệm như Entropy, Information Gain, Cross-Entropy, và Phân kỳ KL xuất hiện xuyên suốt từ Cây Quyết Định (Chương 3.3), Hồi quy Logistic (Chương 3.2), Mạng Nơ-ron (Chương 6.1) cho đến giảm chiều dữ liệu t-SNE / UMAP (Chương 9.3.2).

Nhiều khái niệm trong số đó được liên kết và diễn giải tự nhiên bằng Lý thuyết Thông tin (Information Theory), do Claude Shannon đặt nền móng năm 1948; tuy nhiên mỗi thuật toán còn dựa trên các giả định thống kê và mục tiêu riêng.

1.1. Thông Tin Tự Thân (Self-Information)

Shannon đặt câu hỏi: Làm sao để đo lường lượng "thông tin" hoặc "sự bất ngờ" của một biến cố xảy ra?

• Nếu một biến cố chắc chắn xảy ra 100% (ví dụ: "Ngày mai mặt trời mọc ở hướng Đông"): Biến cố này không mang lại bất kỳ thông tin bất ngờ nào mới. Lượng thông tin bằng 0.
• Nếu một biến cố cực kỳ hiếm gặp xảy ra (ví dụ: "Có tuyết rơi giữa sa mạc Sahara"): Biến cố này mang lại một lượng thông tin chấn động, làm thay đổi toàn bộ nhận thức.

Do đó, lượng thông tin phải tỷ lệ nghịch với xác suất xảy ra $P(x)$:

$$I(x) \stackrel{\text{def}}{=} -\log_2 P(x)$$

• Nếu $P(x) = 1 \implies I(x) = -\log_2(1) = 0 \text{ bit}$.
• Nếu $P(x) = 0.5 \implies I(x) = -\log_2(0.5) = 1 \text{ bit}$ (tương đương kết quả tung một đồng xu công bằng).
• Nếu $P(x) = 0.001 \implies I(x) = -\log_2(0.001) \approx 9.97 \text{ bit}$.

1.2. Entropy Shannon: Thước Đo Độ Hỗn Loạn Trung Bình

Entropy $H(X)$ là kỳ vọng toán học của lượng thông tin tự thân trên toàn bộ phân phối:

$$H(X) \stackrel{\text{def}}{=} \mathbb{E}[I(X)] = - \sum_{i=1}^k P(x_i) \log_2 P(x_i)$$

1. Khi tập dữ liệu hoàn toàn thuần khiết ($p=0$ hoặc $p=1$):
   $H(X) = 0$. Không còn bất kỳ sự bất định nào, mọi mẫu đều thuộc cùng một lớp.

2. Khi tập dữ liệu hỗn loạn tối đa ($p=0.5$ với 2 lớp):
   $H(X) = - (0.5 \log_2 0.5 + 0.5 \log_2 0.5) = 1 \text{ bit}$. Độ bất định đạt đỉnh điểm, việc đoán nhãn giống hệt như tung đồng xu ngẫu nhiên.

1.3. Ứng Dụng Trong Cây Quyết Định ID3 (Information Gain)

Trong Chương 3.3.1, thuật toán ID3 tìm cách chia một tập dữ liệu $S$ thành hai tập con $S_-$ và $S_+$ dựa trên thuộc tính $j$ và ngưỡng $t$.

• Entropy trước khi chia: $H(S)$

• Entropy có trọng số sau khi chia: $$H(S \mid j, t) = \frac{|S_-|}{|S|} H(S_-) + \frac{|S_+|}{|S|} H(S_+)$$

• Mức giảm độ hỗn loạn (Mức tăng thông tin - Information Gain): $$IG(S; j, t) = H(S) - H(S \mid j, t)$$

Bản chất toán học:
Thuật toán ID3 tại mỗi bước chỉ đơn giản là tìm cặp $(j, t)$ sao cho Information Gain $IG$ là lớn nhất, tức là chia dữ liệu sao cho các tập con thu được thuần khiết nhất có thể (Entropy thấp nhất).

Ví dụ số: tập $S$ có 10 mẫu, 6 dương và 4 âm: $H(S) = -0{,}6\log_2 0{,}6 - 0{,}4\log_2 0{,}4 = 0{,}442 + 0{,}529 = 0{,}971$ bit. Một phép chia cho nhánh trái 4 mẫu (4 dương, 0 âm) và nhánh phải 6 mẫu (2 dương, 4 âm): $H(S_-) = 0$, $H(S_+) = -\tfrac13\log_2\tfrac13 - \tfrac23\log_2\tfrac23 = 0{,}918$. Entropy có trọng số sau chia: $0{,}4 \cdot 0 + 0{,}6 \cdot 0{,}918 = 0{,}551$. Vậy $IG = 0{,}971 - 0{,}551 = 0{,}420$ bit: phép chia này "mua" được 0,42 bit thông tin về nhãn. ID3 thử mọi cặp $(j, t)$ rồi chọn cái có $IG$ lớn nhất — không thông minh, chỉ chăm chỉ (phòng 07 sách chính cho xem nó quét từng ngưỡng).

1.4. Mối Liên Hệ Giữa Cross-Entropy Và Phân Kỳ KL (Kullback-Leibler)

Giả sử ta có hai phân phối xác suất:

• $P(x)$: Phân phối thực tế của dữ liệu (Ground Truth).
• $Q(x)$: Phân phối do mô hình dự đoán (Prediction).

Để đo lường khoảng cách giữa phân phối dự đoán $Q$ so với phân phối thật $P$, ta dùng Phân kỳ Kullback-Leibler (KL Divergence):

$$D_{\text{KL}}(P \parallel Q) \stackrel{\text{def}}{=} \sum_{x} P(x) \ln \frac{P(x)}{Q(x)} = \sum_{x} P(x) \ln P(x) - \sum_{x} P(x) \ln Q(x)$$

Tách thành hai đại lượng: $$D_{\text{KL}}(P \parallel Q) = - H(P) + H(P, Q)$$ Trong đó:

• $H(P) = -\sum P(x) \ln P(x)$ là Entropy tự thân của dữ liệu thật.
• $H(P, Q) = -\sum P(x) \ln Q(x)$ chính là Cross-Entropy (Độ hỗn loạn chéo)!

Chuyển vế: $$H(P, Q) = H(P) + D_{\text{KL}}(P \parallel Q)$$

Nhận xét: Trong quá trình huấn luyện mô hình, tập dữ liệu huấn luyện đã cố định, do đó phân phối thật $P$ là không đổi $\implies H(P)$ là một hằng số cố định.

Mối liên hệ quan trọng:
Khi phân phối mục tiêu $P$ được giữ cố định, $H(P)$ là hằng số, nên tối thiểu hóa Cross-Entropy $H(P,Q)$ tương đương với tối thiểu hóa $D_{\text{KL}}(P\parallel Q)$.
Mô hình kéo $Q$ gần $P$ trong giới hạn của họ mô hình, dữ liệu và quá trình tối ưu.

Ví dụ số: $P = (0{,}5;\ 0{,}5)$ (đồng xu công bằng), mô hình đoán $Q = (0{,}9;\ 0{,}1)$. $D_{\text{KL}}(P\|Q) = 0{,}5\ln\frac{0{,}5}{0{,}9} + 0{,}5\ln\frac{0{,}5}{0{,}1} = -0{,}294 + 0{,}805 = 0{,}511$ nat. Đảo chiều: $D_{\text{KL}}(Q\|P) = 0{,}9\ln 1{,}8 + 0{,}1\ln 0{,}2 = 0{,}529 - 0{,}161 = 0{,}368$ nat. KL không đối xứng — nó không phải khoảng cách. $D_{\text{KL}}(P\|Q)$ phạt nặng khi $Q$ cho xác suất quá thấp ở chỗ $P$ có khối lượng (mô hình "bỏ sót" một khả năng), nên huấn luyện bằng MLE ép mô hình phủ mọi khả năng của dữ liệu.

2. Bản Chất Toán Học Của Học Không Giám Sát (Unsupervised Learning)

Học không giám sát xử lý bài toán không có nhãn $\{\mathbf{x}_i\}_{i=1}^N$. Hai thuật toán toán học sâu sắc nhất trong Chương 9 là PCA và GMM (Gaussian Mixture Model).

2.1. Phân Tích Thành Phần Chính (PCA) & Bài Toán Trị Riêng

Mục tiêu của PCA (Chương 9.3.1): Chiếu dữ liệu từ không gian $D$-chiều xuống một đường thẳng (hoặc siêu phẳng con ít chiều) được định hướng bởi vectơ đơn vị $\mathbf{u}$ ($\|\mathbf{u}\| = 1$).

Hai bài toán tối ưu tương đương:

1. Góc nhìn 1: Tìm phương $\mathbf{u}$ sao cho Phương sai của các điểm dữ liệu sau khi chiếu là lớn nhất (giữ lại tối đa thông tin biến thiên).
2. Góc nhìn 2: Tìm phương $\mathbf{u}$ sao cho Tổng bình phương khoảng cách từ các điểm gốc đến hình chiếu là nhỏ nhất (tối thiểu hóa sai số tái tạo).

Chứng minh bằng Toán học:

Giả sử dữ liệu đã được trừ trung bình ($\sum \mathbf{x}_i = \mathbf{0}$).
Tọa độ hình chiếu của điểm $\mathbf{x}_i$ lên vectơ đơn vị $\mathbf{u}$ là tích vô hướng $\mathbf{u}^T \mathbf{x}_i$.
Phương sai của tập dữ liệu sau khi chiếu:

$$\text{Var} = \frac{1}{N} \sum_{i=1}^N (\mathbf{u}^T \mathbf{x}_i)^2 = \frac{1}{N} \sum_{i=1}^N \mathbf{u}^T \mathbf{x}_i \mathbf{x}_i^T \mathbf{u} = \mathbf{u}^T \left( \frac{1}{N} \sum_{i=1}^N \mathbf{x}_i \mathbf{x}_i^T \right) \mathbf{u}$$

Đại lượng trong ngoặc chính là Ma trận Hiệp phương sai của dữ liệu (Covariance Matrix): $$\boldsymbol{\Sigma} = \frac{1}{N} \mathbf{X}^T \mathbf{X}$$

Vậy bài toán tối ưu có ràng buộc là: $$\max_{\mathbf{u}} \mathbf{u}^T \boldsymbol{\Sigma} \mathbf{u} \quad \text{thỏa mãn} \quad \mathbf{u}^T \mathbf{u} = 1$$

Sử dụng nhân tử Lagrange $\lambda$: $$\mathcal{L}(\mathbf{u}, \lambda) = \mathbf{u}^T \boldsymbol{\Sigma} \mathbf{u} - \lambda (\mathbf{u}^T \mathbf{u} - 1)$$

Lấy đạo hàm theo vectơ $\mathbf{u}$ và cho bằng $\mathbf{0}$: $$\nabla_{\mathbf{u}} \mathcal{L} = 2 \boldsymbol{\Sigma} \mathbf{u} - 2 \lambda \mathbf{u} = \mathbf{0}$$ $$\iff \boldsymbol{\Sigma} \mathbf{u} = \lambda \mathbf{u}$$

Khám phá toán học kinh điển:
Phương trình $\boldsymbol{\Sigma} \mathbf{u} = \lambda \mathbf{u}$ chính là phương trình Vectơ riêng và Giá trị riêng (Eigenvector & Eigenvalue) quen thuộc trong đại số tuyến tính!
Phương $\mathbf{u}_1$ chứa nhiều thông tin nhất (Thành phần chính 1) chính là Vectơ riêng ứng với Giá trị riêng lớn nhất $\lambda_{\max}$ của ma trận hiệp phương sai.
Thành phần chính thứ 2 là vectơ riêng trực giao với $\mathbf{u}_1$ ứng với giá trị riêng lớn thứ 2, v.v.

Thay $\boldsymbol{\Sigma}\mathbf{u} = \lambda\mathbf{u}$ ngược vào phương sai: $\mathbf{u}^T\boldsymbol{\Sigma}\mathbf{u} = \lambda\,\mathbf{u}^T\mathbf{u} = \lambda$. Vậy giá trị riêng chính là phương sai dọc theo trục riêng đó, và "tỉ lệ phương sai giữ lại" khi giữ $K$ thành phần là $\sum_{k\le K}\lambda_k / \sum_j \lambda_j$ — con số 97,2 % trong phòng 24b sách chính được tính đúng bằng công thức này.

2.2. Mô Hình Hỗn Hợp Gaussian (GMM) & Thuật Toán EM (Expectation-Maximization)

Trong Chương 9.2.4, GMM coi dữ liệu là sự pha trộn của $k$ phân phối chuẩn Gaussian:

$$P(\mathbf{x}) = \sum_{j=1}^k \pi_j \mathcal{N}\left(\mathbf{x} \mid \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j\right)$$

• $\pi_j$ là trọng số pha trộn ($\sum \pi_j = 1$).
• $\boldsymbol{\mu}_j$ và $\boldsymbol{\Sigma}_j$ là kỳ vọng và ma trận hiệp phương sai của cụm thứ $j$.

Vấn đề toán học nan giải:

Hàm Log-Likelihood của GMM có dạng: $$\ln L = \sum_{i=1}^N \ln \left( \sum_{j=1}^k \pi_j \mathcal{N}(\mathbf{x}_i \mid \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j) \right)$$ Tổng $\sum_{j=1}^k$ nằm bên trong dấu logarit! Khi lấy đạo hàm, ta không thể tách rời các cụm, khiến việc tìm nghiệm trực tiếp bằng MLE là bất khả thi.

Lời giải: Thuật toán EM với Biến Ẩn (Latent Variables)

Ta tưởng tượng có một biến ẩn $z_i \in \{1, \dots, k\}$ cho biết điểm $\mathbf{x}_i$ thực sự được sinh ra từ cụm Gaussian nào.

1. Bước E (Kỳ vọng - Expectation):
   Dữ liệu chưa có nhãn nên ta không biết chắc $z_i$. Ta dùng Định lý Bayes để tính xác suất hậu nghiệm (gọi là Trách nhiệm - Responsibility $\gamma_{ij}$) rằng điểm $\mathbf{x}_i$ thuộc về cụm $j$: $$\gamma_{ij} = P(z_i = j \mid \mathbf{x}_i) = \frac{\pi_j \mathcal{N}(\mathbf{x}_i \mid \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)}{\sum_{l=1}^k \pi_l \mathcal{N}(\mathbf{x}_i \mid \boldsymbol{\mu}_l, \boldsymbol{\Sigma}_l)}$$

2. Bước M (Cực đại hóa - Maximization):
   Coi xác suất $\gamma_{ij}$ như trọng số mềm, ta cập nhật lại các tham số của từng phân phối Gaussian bằng trung bình có trọng số: $$\boldsymbol{\mu}_j^{\text{new}} = \frac{\sum_{i=1}^N \gamma_{ij} \mathbf{x}_i}{\sum_{i=1}^N \gamma_{ij}}$$ $$\boldsymbol{\Sigma}_j^{\text{new}} = \frac{\sum_{i=1}^N \gamma_{ij} (\mathbf{x}_i - \boldsymbol{\mu}_j)(\mathbf{x}_i - \boldsymbol{\mu}_j)^T}{\sum_{i=1}^N \gamma_{ij}}$$ $$\pi_j^{\text{new}} = \frac{1}{N} \sum_{i=1}^N \gamma_{ij}$$

3. Lặp lại bước E và bước M cho đến khi Log-Likelihood hội tụ.

Mối liên hệ giữa k-Means và GMM:
Thuật toán $k$-Means thực chất chỉ là một trường hợp đặc biệt cực đoan của GMM:
Nếu ta giả định các ma trận hiệp phương sai đều là hình cầu giống nhau ($\boldsymbol{\Sigma}_j = \sigma^2 \mathbf{I}$) và cho phương sai tiến dần về 0 ($\sigma^2 \to 0$), thì các xác suất mềm $\gamma_{ij}$ sẽ chuyển thành gán cứng: chỉ cụm gần nhất có $\gamma_{ij} = 1$, các cụm còn lại bằng $0$!

Ví dụ số về "trách nhiệm": hai cụm 1 chiều, $\mu_1 = 0$, $\mu_2 = 4$, cùng $\sigma = 1$, $\pi_1 = \pi_2$. Điểm $x = 1$: mật độ $\mathcal{N}(1\mid 0, 1) \propto e^{-0{,}5} = 0{,}607$, $\mathcal{N}(1\mid 4, 1) \propto e^{-4{,}5} = 0{,}011$, nên $\gamma_{i1} = 0{,}607/(0{,}607+0{,}011) = 0{,}982$. Điểm $x = 2$ (chính giữa): $\gamma = 0{,}5/0{,}5$ — GMM thừa nhận nó không biết, còn $k$-Means buộc phải gán cho một bên. Thu $\sigma$ xuống $0{,}1$: hai mật độ tỉ lệ với $e^{-50}$ và $e^{-450}$, tỉ số $e^{-400} \approx 10^{-174}$, nên $\gamma_{i1}$ của $x = 1$ bằng $1$ sai khác chưa tới $10^{-170}$ — thực chất là gán cứng.

(The Unified Algorithm Anatomy Matrix)

1. Giới Thiệu Ma Trận Hợp Nhất

Chương 4 của cuốn sách đưa ra ba khối xây dựng để phân tích một learning algorithm:
mô hình/không gian giả thuyết ($\mathcal{H}$) + hàm mất mát/mục tiêu ($\mathcal{L}$) + quy trình tìm nghiệm ($\mathcal{O}$). Cẩm nang dùng đây như một hệ quy chiếu; với $k$-NN, cây, clustering hay RL, tên gọi của từng cột cần được hiểu linh hoạt.

Bảng ma trận dưới đây hệ thống hóa và đặt hơn 14 thuật toán xuất hiện trong cuốn sách lên cùng một hệ quy chiếu toán học chuẩn xác, giúp bạn so sánh và liên kết bản chất của chúng ngay trong một cái nhìn.

2. Bảng Ma Trận Giải Phẫu Toán Học Hợp Nhất

Bảng liên kết chéo: mỗi thuật toán được "giải mã" ở đâu và "nghịch" được ở đâu?

3. Bản Đồ Lựa Chọn Thuật Toán Theo Góc Nhìn Toán Học

Khi bạn phải lựa chọn mô hình cho bài toán thực tế:

4. Tóm Tắt Quy Tắc Vàng (Mathematical Rules of Thumb)

1. Nếu không gian có số chiều $D$ lớn hơn rất nhiều số mẫu $N$ ($D \gg N$, ví dụ dữ liệu gen sinh học):

   • Ưu tiên Linear SVM hoặc Logistic Regression với điều chuẩn $L_1/L_2$. Khi $D \gg N$, một siêu phẳng thường có đủ bậc tự do để khớp dữ liệu huấn luyện; chính vì vậy nguy cơ quá khớp cũng tăng mạnh, và điều chuẩn cùng đánh giá ngoài mẫu là bắt buộc.

2. Nếu dữ liệu dạng bảng có cấu trúc (Tabular data, số và danh mục lẫn lộn):

   • Các mô hình cây kết hợp (Random Forest, GBDT/XGBoost) là baseline rất mạnh và trên nhiều tập dữ liệu bảng có thể ngang hoặc vượt mạng sâu. Không có bảo đảm phổ quát: kết quả còn phụ thuộc kích thước dữ liệu, kiểu đặc trưng, mục tiêu và mức tuning.

3. Nếu dữ liệu dạng lưới không gian (Ảnh) hoặc chuỗi thời gian (Văn bản, Tiếng nói):

   • Thường nên ưu tiên kiến trúc có inductive bias phù hợp: CNN cho cấu trúc cục bộ, RNN/state-space cho dòng tuần tự, Transformer cho tương tác phụ thuộc nội dung. Đây là lựa chọn thực dụng, không phải mệnh đề rằng các mô hình khác “không thể” biểu diễn dữ liệu ấy.

4. Nếu cần giải thích trực quan và tường minh cho các bên liên quan (Interpretability):

   • Chọn Cây quyết định đơn lẻ hoặc Hồi quy Tuyến tính/Logistic. Các trọng số $\mathbf{w}$ cho biết trực tiếp tầm quan trọng và mức độ tác động của từng đặc trưng.

5. Nếu $N$ rất lớn ($\ge 10^5$–$10^6$ mẫu):

   • Tránh mọi phương pháp kernel "đầy đủ" (ma trận $N \times N$, $O(N^2)$ bộ nhớ — Module 5 §5). Dùng mô hình tuyến tính tối ưu bằng SGD, GBDT với triển khai phù hợp, hoặc mạng nơ-ron mini-batch. Mỗi họ có độ phức tạp khác nhau, nhưng đều tránh phải lưu ma trận kernel đầy đủ $N \times N$.

6. Hãy kiểm tra scaling cho các mô hình nhạy với khoảng cách, điều chuẩn hoặc conditioning ($k$-NN, SVM, hồi quy có điều chuẩn, mạng nơ-ron, PCA, $k$-Means):

   • Lý do toán học: tích vô hướng cộng dồn theo đơn vị của từng chiều (Module 2 §1), và bát mất mát bị kéo dài theo tỉ số trị riêng của $\mathbf{X}^T\mathbf{X}$ (Module 4 §4, tỉ số 1617 trong phòng 10b). Cây và rừng thì không cần vì chỉ so từng đặc trưng với một ngưỡng (Module 6 §1.3).

7. Chọn hàm mất mát theo "phân phối nhiễu" bạn tin (Module 3):

   • Đầu ra liên tục sạch $\to$ MSE; có ngoại lệ $\to$ MAE/Huber; nhị phân $\to$ BCE; nhiều lớp $\to$ softmax cross-entropy; đếm $\to$ Poisson. Đừng bao giờ dùng MSE cho phân loại (Module 4 §2, phòng M3: squared loss phạt cả khi đoán "quá đúng").

8. Chọn bộ tối ưu (Module 4 §4):

   • Bài toán lồi nhỏ $\to$ nghiệm đóng hoặc L-BFGS/Newton; mạng tích chập $\to$ SGD + momentum; Transformer $\to$ AdamW với warm-up và cosine decay; luôn thử chuẩn hoá đầu vào trước khi đổ lỗi cho bộ tối ưu.

(Matrix Calculus, Computational Graphs & Automatic Differentiation)

1. Từ Đạo Hàm Vô Hướng Đến Đạo Hàm Tensor

Ở mạng sâu, đầu vào, trọng số và kích hoạt đều là vectơ hoặc ma trận. Vì vậy câu hỏi đầu tiên không phải “đạo hàm bằng bao nhiêu?” mà là “gradient có shape gì?”.

Ở đây $\delta=\partial L/\partial z\in\mathbb R^m$ là tín hiệu lỗi đến từ tầng phía sau. Chỉ bốn công thức trên đã giải thích gần như toàn bộ backward của Linear/Dense.

2. Đồ Thị Tính Toán: Chia Một Công Thức Lớn Thành Các Nút Nhỏ

Giả sử đầu ra nhị phân:

$$z=w_1x_1+w_2x_2+b,\qquad p=\sigma(z),\qquad L=-y\log p-(1-y)\log(1-p).$$

Backward dùng các đạo hàm cục bộ:

$$\frac{\partial L}{\partial z}=p-y,\qquad \frac{\partial z}{\partial w_i}=x_i,\qquad \frac{\partial z}{\partial x_i}=w_i.$$

Suy ra:

$$\frac{\partial L}{\partial w_i}=(p-y)x_i,\qquad \frac{\partial L}{\partial x_i}=(p-y)w_i,\qquad \frac{\partial L}{\partial b}=p-y.$$

3. Jacobian, VJP và Vì Sao Autograd Không Lưu Một Ma Trận Khổng Lồ

Với hàm vectơ $y=f(x)$, Jacobian là:

$$J_f(x)_{ij}=\frac{\partial y_i}{\partial x_j}.$$

Nếu $x,y\in\mathbb R^d$, Jacobian có $d^2$ phần tử. Mạng thực tế không tạo toàn bộ ma trận ấy. Vì loss cuối cùng là một scalar, reverse-mode autodiff chỉ cần tính:

$$v^T J_f(x),\qquad v=\frac{\partial L}{\partial y},$$

tức vector–Jacobian product (VJP). Backprop truyền một vectơ gradient ngược qua từng operator; đây là lý do chi phí backward thường cùng bậc với forward thay vì bùng nổ theo bình phương số chiều.

Ví dụ số tính tay VJP qua một tầng Linear $2\times 2$: Cho $x = \begin{bmatrix} 2 \\ -1 \end{bmatrix}$, $W = \begin{bmatrix} 3 & 1 \\ -2 & 4 \end{bmatrix}$, $b = \begin{bmatrix} 0{,}5 \\ -0{,}5 \end{bmatrix}$.
• Forward: $z = Wx + b = \begin{bmatrix} 3(2) + 1(-1) + 0{,}5 \\ -2(2) + 4(-1) - 0{,}5 \end{bmatrix} = \begin{bmatrix} 5{,}5 \\ -8{,}5 \end{bmatrix}$.
• Giả sử từ tầng sau truyền về tín hiệu lỗi $\delta = \dfrac{\partial L}{\partial z} = \begin{bmatrix} 0{,}4 \\ -0{,}2 \end{bmatrix}$.
• Gradient theo trọng số (Outer product $\delta x^T$): $$\frac{\partial L}{\partial W} = \begin{bmatrix} 0{,}4 \\ -0{,}2 \end{bmatrix} \begin{bmatrix} 2 & -1 \end{bmatrix} = \begin{bmatrix} 0{,}8 & -0{,}4 \\ -0{,}4 & 0{,}2 \end{bmatrix} \quad (\text{đúng shape } 2\times 2 \text{ của } W)$$ • Gradient truyền ngược về đầu vào ($W^T \delta$): $$\frac{\partial L}{\partial x} = \begin{bmatrix} 3 & -2 \\ 1 & 4 \end{bmatrix} \begin{bmatrix} 0{,}4 \\ -0{,}2 \end{bmatrix} = \begin{bmatrix} 1{,}6 \\ -0{,}4 \end{bmatrix} \quad (\text{đúng shape } 2\times 1 \text{ của } x)$$

4. Gradient Checking: Dùng Sai Phân Hữu Hạn Để Bắt Lỗi

Với tham số vô hướng $\theta$:

$$\frac{\partial L}{\partial\theta}\approx\frac{L(\theta+\varepsilon)-L(\theta-\varepsilon)}{2\varepsilon}.$$

Đây không phải cách train model — mỗi tham số cần hai forward — nhưng rất hữu ích để kiểm tra một backward tự viết. Chọn $\varepsilon$ quá lớn gây sai số xấp xỉ; quá nhỏ gây sai số làm tròn.

(Deep Networks, Initialization, Normalization & Residual Paths)

1. Mạng Sâu Là Một Chuỗi Hàm Hợp Học Biểu Diễn

MLP $L$ tầng:

$$h_0=x,\qquad h_{\ell}=\phi(W_\ell h_{\ell-1}+b_\ell),\qquad \hat y=W_{L+1}h_L+b_{L+1}.$$

Mỗi tầng đổi hệ tọa độ rồi cắt/uốn không gian bằng $\phi$. Một tầng tuyến tính duy nhất vẫn chỉ là tuyến tính vì $W_2(W_1x)=W'x$; phi tuyến mới làm việc xếp chồng có ý nghĩa.

2. Hàm Kích Hoạt: Không Chỉ Là “Bẻ Cong”

3. Gradient Qua Độ Sâu Là Tích Của Nhiều Jacobian

Trong mô hình scalar đơn giản $h_\ell=\phi(w_\ell h_{\ell-1})$:

$$\frac{\partial h_L}{\partial h_0}=\prod_{\ell=1}^{L} w_\ell\phi'(z_\ell).$$

Nếu trị tuyệt đối trung bình của mỗi thừa số là $0.8$, sau 50 tầng còn $0.8^{50}\approx1.4\times10^{-5}$. Nếu là $1.2$, gradient tăng thành $1.2^{50}\approx9100$. Đó là vanishing/exploding gradient dưới dạng cô đọng nhất.

4. Khởi Tạo Xavier/He: Giữ Phương Sai Không Co Hoặc Nổ

Với $z_j=\sum_iw_{ji}x_i$, nếu các thành phần độc lập và trung bình 0:

$$\operatorname{Var}(z_j)\approx n_{\text{in}}\operatorname{Var}(w)\operatorname{Var}(x).$$

Muốn $\operatorname{Var}(z)\approx\operatorname{Var}(x)$, ta chọn $\operatorname{Var}(w)\approx1/n_{\text{in}}$ (Xavier). Với ReLU làm mất khoảng nửa năng lượng, He initialization dùng gần $2/n_{\text{in}}$.

Ví dụ số (Tại sao khởi tạo sai làm hỏng tầng đầu tiên): Giả sử tầng ẩn nhận đầu vào $n_{\text{in}} = 512$ chiều với $\operatorname{Var}(x_i) = 1$.
• Nếu khởi tạo ngây thơ $w_{ji} \sim \mathcal{N}(0, 1)$ ($\operatorname{Var}(w)=1$): phương sai của tổng tiền kích hoạt vọt lên $\operatorname{Var}(z_j) = 512 \times 1 \times 1 = 512$, tức độ lệch chuẩn $\sigma_z = \sqrt{512} \approx 22{,}6$! Đưa $z_j \approx \pm 22{,}6$ vào hàm $\tanh$ hay $\sigma(z)$ sẽ rơi thẳng vào vùng bão hòa phẳng lì ($\sigma'(22{,}6) \approx 1{,}5 \times 10^{-10}$), khóa cứng mạng ngay từ bước 1.
• Nếu dùng khởi tạo He cho ReLU $\operatorname{Var}(w) = 2/512 \implies \sigma_w = \sqrt{2/512} = 1/16 = 0{,}0625$: sau phép chiếu và cắt nửa âm của ReLU, phương sai đầu ra được giữ ổn định quanh $\approx 1{,}0$.

5. Residual và Normalization: Hai “Đường Cao Tốc” Khác Nhau

Residual block:

$$h_{\ell+1}=h_\ell+F_\ell(h_\ell),\qquad \frac{\partial h_{\ell+1}}{\partial h_\ell}=I+J_{F_\ell}.$$

Thành phần $I$ tạo một đường gần đồng nhất; gradient không bắt buộc phải đi qua toàn bộ biến đổi phi tuyến.

6. Convolution: Phép Tuyến Tính Có Cấu Trúc, Chia Sẻ Trọng Số

Trong mạng tích chập 1D, mỗi đầu ra là một tích vô hướng giữa cùng một kernel và một cửa sổ cục bộ. Các thư viện Deep Learning thường thực hiện cross-correlation (không lật kernel) nhưng vẫn gọi lớp là convolution:

$$y_t=b+\sum_{r=0}^{K-1}w_r\,x_{t\,s-p+r\,d}.$$

Ở đây $K$ là kích thước kernel, $s$ là stride, $p$ là padding và $d$ là dilation. Độ dài đầu ra:

$$L_{out}=\left\lfloor\frac{L_{in}+2p-d(K-1)-1}{s}\right\rfloor+1.$$

Với nhiều channel, kernel có shape $C_{out}\times C_{in}\times K$ và:

$$Y_{c_o,t}=b_{c_o}+\sum_{c_i=1}^{C_{in}}\sum_{r=0}^{K-1}W_{c_o,c_i,r}\,X_{c_i,t\,s-p+r\,d}.$$

7. Dropout: Nhiễu Có Kiểm Soát, Không Phải “Tắt Neuron Vĩnh Viễn”

Khi train:

$$\tilde h=\frac{m\odot h}{1-p},\qquad m_i\sim\operatorname{Bernoulli}(1-p).$$

Hệ số $1/(1-p)$ giữ kỳ vọng của kích hoạt. Khi inference, mask bị bỏ. Dropout là một nguồn nhiễu/regularization; trong nhiều Transformer lớn, vị trí và mức dropout phụ thuộc regime dữ liệu, không có một giá trị đúng cho mọi mô hình.

(Sequence Models, Memory Paths & Content-Based Retrieval)

1. RNN: Cùng Một Phép Biến Đổi Lặp Theo Thời Gian

$$h_t=\phi(W_xx_t+W_hh_{t-1}+b),\qquad y_t=W_oh_t.$$

Các ma trận được chia sẻ ở mọi bước. Đây là inductive bias mạnh: quy tắc xử lý token thứ 5 và token thứ 500 là cùng một quy tắc.

2. BPTT và Đường Gradient Dài

Trong RNN tuyến tính đơn giản $h_t=\rho h_{t-1}+x_t$, ảnh hưởng của $x_{t-k}$ lên $h_t$ là:

$$\frac{\partial h_t}{\partial x_{t-k}}=\rho^k.$$

$|\rho|<1$ làm ký ức suy giảm theo hàm mũ; $|\rho|>1$ làm nó nổ. Trong RNN phi tuyến, $\rho^k$ được thay bằng tích nhiều Jacobian.

3. LSTM/GRU: Học Cách Mở Và Đóng Đường Bộ Nhớ

Một dạng cốt lõi của LSTM:

$$c_t=f_t\odot c_{t-1}+i_t\odot g_t.$$

Forget gate $f_t$ quyết định giữ bao nhiêu ký ức cũ; input gate $i_t$ quyết định ghi gì mới. Đạo hàm trực tiếp $\partial c_t/\partial c_{t-1}=f_t$ tạo một đường kiểm soát được, thay vì luôn nhân cùng một ma trận hồi quy.

4. Seq2Seq Trước Attention: Một Vectơ Phải Gánh Cả Câu

Encoder RNN đọc nguồn thành trạng thái cuối $c$; decoder sinh đích từ $c$. Với câu dài, một vectơ cố định trở thành nút thắt thông tin. Attention thay $c$ cố định bằng một context thay đổi theo từng bước decoder.

5. Attention: Tra Cứu Bộ Nhớ Theo Nội Dung

Với query $q_t$, các key $k_s$ và value $v_s$:

$$e_{t,s}=\operatorname{score}(q_t,k_s),\qquad \alpha_{t,:}=\operatorname{softmax}(e_{t,:}),\qquad c_t=\sum_s\alpha_{t,s}v_s.$$

Query không “lấy một ô nhớ” cứng; nó tạo một phân phối mềm trên các vị trí rồi lấy trung bình có trọng số. Vì vậy mọi vị trí nguồn có đường truyền ngắn trực tiếp tới bước đích.

Ví dụ số (Từ truy vấn cứng sang truy xuất mềm): Giả sử có 3 khoá $k_1 = [1, 0]^T$, $k_2 = [0, 1]^T$, $k_3 = [1, 1]^T$ đi kèm 3 giá trị $v_1 = 10$, $v_2 = 20$, $v_3 = 50$. Với truy vấn $q_t = [2, 0]^T$:
• Điểm tương hợp: $e_{t,:} = [q_t^T k_1, q_t^T k_2, q_t^T k_3] = [2, 0, 2]$.
• Trọng số softmax: $\alpha_{t,:} = \dfrac{1}{e^2 + e^0 + e^2}[e^2, 1, e^2] \approx [0{,}468, 0{,}064, 0{,}468]$.
• Ngữ cảnh thu được: $c_t = 0{,}468(10) + 0{,}064(20) + 0{,}468(50) \approx 29{,}36$ — tự động gom thông tin từ vị trí 1 và 3 có thành phần thứ nhất khớp với $q_t$.

6. So Sánh Đường Truyền Thông Tin

(QKV, Scaled Dot-Product Attention, Masks, Multi-Head & FFN)

1. Từ Token ID Đến Ma Trận Hidden State

Tokenizer biến chuỗi thành ID; embedding table $E\in\mathbb R^{V\times d}$ lấy một hàng cho mỗi ID:

$$X=E[\text{ids}]\in\mathbb R^{T\times d}.$$

Embedding không phải “ý nghĩa cố định” của từ. Nó là tọa độ ban đầu được cập nhật cùng toàn bộ model; sau mỗi block, hidden state của cùng một token thay đổi theo ngữ cảnh.

2. Q, K, V: Ba Vai Trò Khác Nhau Của Cùng Hidden State

$$Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V.$$

Không nên đồng nhất key với value: hai token có thể được chọn bằng một tiêu chí nhưng gửi một biểu diễn khác.

3. Scaled Dot-Product Attention

$$S=\frac{QK^T}{\sqrt{d_h}},\qquad A=\operatorname{softmax}(S+M),\qquad O=AV.$$

Nếu các thành phần của $q,k$ độc lập, trung bình 0 và phương sai 1 thì:

$$\operatorname{Var}(q^Tk)=\sum_{r=1}^{d_h}\operatorname{Var}(q_rk_r)\approx d_h.$$

Chia cho $\sqrt{d_h}$ giữ độ lệch chuẩn của score gần 1. Không chia, logits lớn làm softmax quá nhọn và gradient nhỏ ở hầu hết phần tử.

4. Softmax, Nhiệt Độ và Log-Sum-Exp Ổn Định

$$\operatorname{softmax}(z)_i=\frac{e^{z_i}}{\sum_je^{z_j}}=\frac{e^{z_i-m}}{\sum_je^{z_j-m}},\qquad m=\max_jz_j.$$

Trừ cùng một hằng số không đổi xác suất, nhưng tránh overflow. Nhiệt độ $\tau$ dùng $z/\tau$: $\tau<1$ làm phân phối nhọn hơn; $\tau>1$ làm phẳng hơn.

5. Mask: Cộng $-\infty$ Trước Softmax

Mask không xóa token sau softmax. Nó sửa logit:

$$S'_{ij}=\begin{cases}S_{ij},&\text{được phép}\cr-\infty,&\text{bị chặn}\end{cases}\quad\Rightarrow\quad \operatorname{softmax}(S'_{i,:})_j=0\ \text{nếu bị chặn}.$$

Padding mask chặn ô đệm. Causal mask chặn $j>i$, bảo đảm token hiện tại không nhìn tương lai khi train language model.

6. Multi-Head Attention: Nhiều Không Gian Chiếu Song Song

$$\operatorname{head}_h=\operatorname{softmax}\left(\frac{Q_hK_h^T}{\sqrt{d_h}}+M\right)V_h,$$

$$\operatorname{MHA}(X)=\operatorname{Concat}(\operatorname{head}_1,\ldots,\operatorname{head}_H)W_O.$$

Mỗi head có ma trận chiếu riêng, nên có thể học tiêu chí tương hợp khác nhau. Không nên diễn giải cứng rằng một head “luôn là cú pháp” hay “luôn là coreference”; chức năng có thể phân tán và thay đổi theo layer/input.

7. FFN, Residual và Một Block Hoàn Chỉnh

Attention trộn giữa token; FFN áp dụng cùng một MLP cho từng token độc lập:

$$\operatorname{FFN}(x)=\phi(xW_1+b_1)W_2+b_2.$$

Ở đây $x$ là một hàng token, cùng quy ước với $X\in\mathbb R^{T\times d}$. Một pre-norm decoder block thường viết:

$$X' = X+\operatorname{MHA}(\operatorname{Norm}(X)),\qquad X''=X'+\operatorname{FFN}(\operatorname{Norm}(X')).$$

8. Ba Họ Kiến Trúc

9. Độ Phức Tạp Của Attention Chuẩn

Ma trận $QK^T$ có $T^2$ score. Với hidden dimension $d$, compute điển hình là $O(T^2d)$ và việc lưu attention matrix ngây thơ là $O(T^2)$. Đây là lý do context dài tác động mạnh tới bộ nhớ/throughput; Module 12 tách rõ thay đổi kiến trúc khỏi tối ưu kernel exact.

(Positional Geometry and Practical Transformer Building Blocks)

1. Self-Attention Thuần Không Tự Biết Thứ Tự

Nếu hoán vị các hàng của $X$ và hoán vị output tương ứng, self-attention không có tín hiệu nào phân biệt “token thứ 1” với “token thứ 7”. Ta phải đưa vị trí vào hidden state hoặc trực tiếp vào score.

2. Sinusoidal Positional Encoding

$$PE(pos,2i)=\sin\left(pos/10000^{2i/d}\right),\qquad PE(pos,2i+1)=\cos\left(pos/10000^{2i/d}\right).$$

Mỗi cặp chiều là một đồng hồ quay với tần số khác nhau. Tổng embedding token + positional vector cho attention một dấu vết về vị trí tuyệt đối.

3. RoPE: Mã Hóa Vị Trí Bằng Phép Quay Q/K

Trong một cặp chiều 2D:

$$q_m=R(m\omega)q,\qquad k_n=R(n\omega)k.$$

Khi tính dot product:

$$q_m^Tk_n=q^TR((n-m)\omega)k.$$

Hai vị trí tuyệt đối xuất hiện qua hiệu $n-m$: dịch cả hai token cùng một lượng không đổi score trong cặp chiều lý tưởng. Nhiều cặp tần số cho model một phổ khoảng cách.

4. LayerNorm và RMSNorm

LayerNorm vừa trừ trung bình vừa chia độ lệch chuẩn; RMSNorm chỉ chia root-mean-square. Cả hai có tham số scale học được. RMSNorm đơn giản hơn, nhưng “đơn giản hơn” không có nghĩa luôn tốt hơn trong mọi kiến trúc.

5. Từ ReLU/GELU Đến SwiGLU

Một FFN gated, dùng vector hàng $x\in\mathbb R^{1\times d}$, $W_g,W_v\in\mathbb R^{d\times h}$ và $W_o\in\mathbb R^{h\times d}$:

$$\operatorname{SwiGLU}(x)=\left[\operatorname{SiLU}(xW_g)\odot(xW_v)\right]W_o.$$

Một nhánh tạo cổng, một nhánh mang nội dung. Phép nhân từng phần tử cho model cơ chế điều biến feature linh hoạt hơn một activation đơn.

6. MHA, MQA và GQA: Query Nhiều, Key/Value Có Thể Chia Sẻ

Với GQA chia nhóm đều trong lab này, $H_q$ phải chia hết cho $H_{kv}$; K và V có cùng số head.

Giảm $H_{kv}$ không giảm số query head nhưng giảm kích thước KV cache và băng thông đọc khi decode.

7. KV Cache: Đổi Bộ Nhớ Lấy Việc Không Tính Lại Quá Khứ

Trong autoregressive decoding, key/value của token cũ không đổi. Ta lưu chúng cho mỗi layer. Dung lượng xấp xỉ:

$$\text{bytes}=2\times L\times B\times T\times H_{kv}\times d_h\times \text{bytes/element}.$$

Hệ số 2 là K và V. Công thức chưa tính allocator, padding, metadata hoặc cache phụ.

8. FlashAttention: Cùng Một Phép Toán, Lịch Đọc/Ghi Bộ Nhớ Khác

FlashAttention không phải một approximation và không thay công thức $\operatorname{softmax}(QK^T)V$. Nó chia phép tính thành tile để không ghi toàn bộ ma trận attention ra bộ nhớ HBM, đồng thời dùng online softmax chính xác. Đây là tối ưu thuật toán/kernel theo hệ phân cấp bộ nhớ, khác với sparse/linear attention vốn thay cấu trúc phép toán.

(Objectives, Stable Training, Autoregressive Decoding & Applied NLP)

1. Ba Objective Phổ Biến

2. Teacher Forcing: Train Song Song, Decode Tuần Tự

Khi train seq2seq/causal LM, token trước đưa vào decoder là token thật đã dịch phải một vị trí. Nhờ causal mask, mọi vị trí có thể tính song song trong một forward. Khi inference, token thật tương lai không tồn tại; model phải dùng chính token vừa sinh, nên lỗi có thể tích lũy.

3. Cross-Entropy và Perplexity

Với logits $z\in\mathbb R^V$ và token đúng $y$:

$$L=-\log\frac{e^{z_y}}{\sum_je^{z_j}}=-z_y+\operatorname{logsumexp}(z).$$

Perplexity trên corpus:

$$\operatorname{PPL}=\exp\left(\frac1N\sum_{i=1}^{N}L_i\right).$$

PPL thấp hơn nghĩa model gán xác suất trung bình cao hơn cho token đúng. Nhưng PPL chỉ so sánh trực tiếp khi dataset, tiền xử lý và tokenizer tương thích; đổi đơn vị token làm đổi số hạng $N$.

4. Label Smoothing

Một quy ước phổ biến thay one-hot $y$ bằng:

$$y'_k=(1-\varepsilon)y_k+\frac{\varepsilon}{V}.$$

Nó giảm mục tiêu “xác suất đúng phải bằng 1”, có thể cải thiện regularization/calibration nhưng làm thay đổi diễn giải log-likelihood thuần và đôi khi làm probability kém sắc nét hơn.

5. AdamW, Warm-up, Schedule và Gradient Clipping

Adam dùng moment bậc nhất/bậc hai để scale cập nhật; AdamW thêm phép co trọng số tách rời. Điểm cần nhớ:

• $L_2$ penalty là một hạng trong objective và có diễn giải MAP dưới prior Gaussian.
• Decoupled weight decay là phép biến đổi trực tiếp lên tham số; dưới optimizer thích ứng, nó không đồng nhất với $L_2$ penalty.
• Warm-up tránh cập nhật quá mạnh khi thống kê optimizer/activation chưa ổn định; schedule giảm learning rate giúp giai đoạn cuối hội tụ tinh hơn.
• Gradient clipping đặt trần norm của gradient cập nhật; nó xử lý triệu chứng bùng nổ tại bước đó, không thay thế initialization/norm/residual tốt.

6. Padding Mask và Loss Mask Là Hai Việc Khác Nhau

Attention mask ngăn token đệm được dùng làm key/value. Loss mask quyết định vị trí nào đóng góp vào trung bình CE. Một batch có nhiều padding mà chia loss sai mẫu số có thể làm learning rate hiệu dụng thay đổi theo độ dài câu.

7. Từ Phân Phối Token Đến Một Chuỗi

8. KV Cache Khi Decode: Mỗi Token Mới Vẫn Phải Nhìn Toàn Bộ Cache

Cache tránh tính lại K/V của prefix, nhưng query mới vẫn dot-product với mọi key cũ. Do đó chi phí mỗi bước tăng gần tuyến tính theo context và tổng chi phí sinh $T$ token vẫn gần bậc hai với attention chuẩn. MQA/GQA giảm băng thông/cache; FlashAttention tối ưu prefill/training; hai giải pháp nhắm vào nút thắt khác nhau.

9. Bản Đồ Áp Dụng Cho MT, NER và Term Verification

10. Checklist Đọc Bất Kỳ Mô Hình ML/DL Nào

11. Nguồn Kỹ Thuật Chính Cho Phần Mở Rộng

• Vaswani et al., Attention Is All You Need — scaled dot-product attention, multi-head, encoder–decoder Transformer.
• Ba, Kiros & Hinton, Layer Normalization.
• Loshchilov & Hutter, Decoupled Weight Decay Regularization — phân biệt $L_2$ với weight decay dưới adaptive optimizer.
• Zhang & Sennrich, Root Mean Square Layer Normalization.
• Su et al., RoFormer / Rotary Position Embedding.
• Shazeer, GLU Variants Improve Transformer.
• Dao et al., FlashAttention — exact attention với lịch I/O-aware.