<pre style="text-align: center;">"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.
Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.
C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.
Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.
Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

<h2>Kernelized SVM</h2>
Giả sử bạn muốn thực hiện biến đổi bậc 2 một bộ dữ liệu c&oacute; 2 đặc trưng, rồi d&ugrave;ng bộ dữ liệu mới để huấn luyện m&ocirc; h&igrave;nh SVM tuyến t&iacute;nh. Phương tr&igrave;nh dưới đ&acirc;y m&ocirc; tả h&agrave;m &aacute;nh xạ $\phi$ để thực hiện biến đổi dữ liệu:
$$\phi(x) = \phi \left(\begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \right ) = \begin{bmatrix} x_1^2\\ \sqrt{2} x_1 x_2 \\ x_2^2 \end{bmatrix}$$
H&atilde;y ch&uacute; &yacute; rằng kết quả của ph&eacute;p biến đổi l&agrave; một ma trận 3 chiều. Giờ ch&uacute;ng ta sẽ quan s&aacute;t qu&aacute; tr&igrave;nh biến đổi 2 vectors, l&agrave; $w$ v&agrave; $b$, v&agrave; thực hiện nh&acirc;n c&aacute;c vector tạo th&agrave;nh.
$$\phi(a)^T \cdot \phi(b) = {\begin{bmatrix} a_1^2\\ \sqrt{2} a_1 a_2 \\ a_2^2 \end{bmatrix}}^T \cdot \begin{bmatrix} b_1^2\\ \sqrt{2} b_1 b_2 \\ b_2^2 \end{bmatrix} = a_1^2 b_1^2 + 2 a_1 b_1 a_2 b_2 + a_2^2 b_2^2 = (a_1 b_1 + a_2 b_2)^2 = \left ( {\begin{bmatrix} a_1 \\ a_2 \end{bmatrix}}^T \cdot \begin{bmatrix} b_1 \\ b_2 \end{bmatrix} \right )^2 = (a^T \cdot b)^2$$
Ch&uacute;ng ta h&atilde;y nh&igrave;n xem: T&iacute;ch (v&ocirc; hướng) c&aacute;c vector tạo th&agrave;nh ch&iacute;nh bằng b&igrave;nh phương t&iacute;ch c&aacute;c vector gốc. Hay n&oacute;i c&aacute;ch kh&aacute;c, $\phi(a)^T \cdot \phi(b) = (a^T \cdot b)^2$.
Nhận định n&agrave;y v&ocirc; c&ugrave;ng t&agrave;i t&igrave;nh khi ta nh&igrave;n v&agrave;o b&agrave;i to&aacute;n đối ngẫu của SVM: nếu như ta &aacute;p dụng h&agrave;m biến đổi $\phi$ l&ecirc;n tất cả bản ghi tr&ecirc;n tập dữ liệu, th&igrave; b&agrave;i to&aacute;n đối ngẫu sẽ xuất hiện t&iacute;ch $\phi(a)^T \cdot \phi(b)$. Nhưng nếu như ph&eacute;p biến đổi $\phi$ cũng ch&iacute;nh l&agrave; h&agrave;m &aacute;nh xạ bậc 2 ở tr&ecirc;n, th&igrave; ta c&oacute; thể thay t&iacute;ch v&ocirc; hướng c&aacute;c vector đ&atilde; biến đổi th&agrave;nh $\left({x^{(i)}}^T \cdot x^{(j)}\right)^2$. V&agrave; giờ, ch&uacute;ng ta kh&ocirc;ng cần phải biến đổi c&aacute;c điểm dữ liệu rồi nh&acirc;n, m&agrave; chỉ cần nh&acirc;n rồi b&igrave;nh phương t&iacute;ch. Kết quả của 2 ph&eacute;p to&aacute;n đ&oacute; l&agrave; tương đồng ho&agrave;n to&agrave;n, nhưng nhờ chứng minh sự tương đương, ta đ&atilde; giảm thiểu khối lượng t&iacute;nh to&aacute;n cho SVM. Đ&acirc;y ch&iacute;nh l&agrave; bản chất của kernel trick.
H&agrave;m $K(a, b) = (a^T \cdot b)^2$ được gọi l&agrave; kernel đa thức bậc 2. Trong học m&aacute;y, một kernel l&agrave; một h&agrave;m c&oacute; khả năng t&iacute;nh được t&iacute;ch v&ocirc; hướng $\phi(a)^T \cdot \phi(b)$ m&agrave; chỉ dựa v&agrave;o duy nhất vector gốc, m&agrave; kh&ocirc;ng cần t&iacute;nh (thậm ch&iacute; kh&ocirc;ng cần quan t&acirc;m tới &aacute;nh xạ) $\phi$ của 2 vector &nbsp;$a$ v&agrave; $b$.
B&ecirc;n dưới đ&acirc;y l&agrave; c&aacute;c kernels được sử dụng th&ocirc;ng dụng:
Linear: $K(a, b) = a^T \cdot b$ Polynomial: $K(a, b) = (\gamma a^T \cdot b + r)^d$ Gaussian RBF: $K(a, b) = \operatorname{exp}(-\gamma||a - b||^2)$ Sigmoid: $K(a, b) = \operatorname{tanh}(\gamma a^T \cdot b + r)$
<h2>Định l&yacute; Mercer:</h2>
Theo định l&yacute; Mercer, khi một h&agrave;m $K(a, b)$ thoả m&atilde;n c&aacute;c điều kiện Mercer (l&agrave; c&aacute;c điều kiện sau: K l&agrave; h&agrave;m li&ecirc;n tục, đối xứng), th&igrave; tồn tại một &aacute;nh xạ $\phi$ để &aacute;nh xạ $a$ v&agrave; $b$ sang một kh&ocirc;ng gian kh&aacute;c (c&oacute; thể cao chiều hơn), để sao cho $K(a, b) = \phi(a)^T \ cdot \phi(b)$. Ch&uacute;ng ta c&oacute; thể sử dụng K l&agrave; một kernel v&igrave; ch&uacute;ng ta biết &aacute;nh xạ $\phi$ tồn tại, d&ugrave; ta kh&ocirc;ng biết cụ thể &aacute;nh xạ $\phi$ l&agrave;m g&igrave;. Với kernel Gaussian RBF, ta c&oacute; thể chứng minh rằng $\phi$ sẽ &aacute;nh xạ từng điểm dữ liệu v&agrave;o kh&ocirc;ng gian v&ocirc; hạn chiều.
Ch&uacute; &yacute; rằng c&oacute; một số kernel như Sigmoid kh&ocirc;ng thoả m&atilde;n mọi điều kiện Mercer, nhưng trong thực tế hoạt động kh&aacute; tốt.
Trước khi ta kết th&uacute;c b&agrave;i viết n&agrave;y, c&ograve;n c&oacute; một điều ta cần phải n&oacute;i về SVM.
<h2>Qu&aacute; tr&igrave;nh SVM đo&aacute;n nhận</h2>
Ở b&agrave;i trước ch&uacute;ng ta c&oacute; n&oacute;i về c&aacute;ch chuyển từ b&agrave;i to&aacute;n đối ngẫu về b&agrave;i to&aacute;n gốc với trường hợp SVM tuyến t&iacute;nh, nhờ phương tr&igrave;nh sau:&nbsp; $$\hat{w} = \sum\limits^m_{i=1} \hat{\alpha} ^{(i)} t^{(i)} \mathbb{x}^{(i)}$$
$$\hat{b} = \frac{1} {n_s} \underset{\hat{\alpha} ^ {(i)} &gt; 0}{\sum\limits^m_{i=1}} (1 - t^{(i)} ( \hat{w} ^ T \mathbb{x}^{(i)}))$$
Nhưng nếu ch&uacute;ng ta &aacute;p dụng kernel trick, ch&uacute;ng ta sẽ được c&aacute;c phương tr&igrave;nh với tham số $\phi(x^{(i)})$. Thậm ch&iacute;, $\hat{w}$ phải c&oacute; chung số chiều với $\phi(x^{(i)})$, m&agrave; số chiều của $\phi(x^{(i)})$ c&oacute; thể rất lớn, c&oacute; thể l&ecirc;n tới v&ocirc; hạn. Vậy l&agrave;m thế n&agrave;o để ta thực hiện đo&aacute;n nhận m&agrave; kh&ocirc;ng t&iacute;nh được $\hat{w}$? Ta sẽ lắp c&ocirc;ng thức để sinh ra$\hat{w}$ v&agrave;o h&agrave;m quyết định cho điểm dữ liệu $x^{(n)}$ mới, v&agrave; ta sẽ được một phương tr&igrave;nh gồm t&iacute;ch c&aacute;c vector đầu v&agrave;o. Đến đ&acirc;y, ta sẽ sử dụng kernel trick một lần nữa:
$$\begin{align*} &nbsp; &nbsp; h_{\hat{w}^T, \hat{b}} (\phi(x^{(n)})) &amp;=\hat{W} \cdot \phi(x^{(n)}) + \hat{b} = \left(\sum\limits_{i=1}^m \hat{\alpha}^{(i)} t^{(i)} \phi \left( x^{(i)} \right)\right)^T \cdot \phi(x^{(n)}) + \hat{b}\\ &nbsp; &nbsp; &amp;= \sum\limits_{i=1}^m \hat{\alpha}^{(i)} t^{(i)} \left ( \phi \left( x^{(i)} \right)^T \cdot \phi \left( x^{(n)}\right) &nbsp;\right) + \hat{b}\\ &amp;= \underset{\hat{\alpha}^{(i)}&gt;0}{\sum\limits_{i=1}^m} &nbsp;\hat{\alpha}^{(i)} t^{(i)} K(x^{(i)}, x^{(n)}) + \hat{b}&nbsp; \end{align*}$$
Ch&uacute; &yacute; rằng v&igrave; chỉ c&oacute; c&aacute;c vector hỗ trợ mới thoả m&atilde;n $\hat{\alpha}^{(i)} \neq 0$, n&ecirc;n qu&aacute; tr&igrave;nh đo&aacute;n nhận thực chất l&agrave; t&iacute;nh t&iacute;ch của điểm dữ liệu mới $x^{n}$ với c&aacute;c vector hỗ trợ. Đương nhi&ecirc;n ch&uacute;ng ta c&ograve;n cần phải t&iacute;nh cả biến tự do $\hat{b}$, sử dụng kernel trick như dưới đ&acirc;y:
$$\hat{b} = \frac{1}{n_s} &nbsp;\underset{\hat{\alpha}^{(i)}&gt;0}{\sum\limits_{i=1}^m} ( 1 - t^{(i)} \underset{\hat{\alpha}^{(j)}&gt;0}{\sum\limits_{j=1}^m} \hat{\alpha}^{(j)} t^{(j)} K(x^{(i)}, x^{(j)})) $$

Kernel Support Vector Machine (Kernel SVM)