<pre style="text-align: center;"><em>"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần <br />n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. <br />Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> <br />hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</em></pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
<p style="text-align: justify;">Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.</p>
<p style="text-align: justify;">Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.</p>
<p style="text-align: justify;">C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.</p>
<p style="text-align: justify;">Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.</p>
<p style="text-align: justify;">Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.</p>
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

<p>D&ugrave; SVM tuyến t&iacute;nh hoạt động hiệu quả v&agrave; c&oacute; hiệu suất ổn trong nhiều trường họp, nhưng c&oacute; những bộ dữ liệu kh&ocirc;ng c&oacute; khả năng ph&acirc;n biệt tuyến t&iacute;nh. Một c&aacute;ch để biến đổi dữ liệu nhằm đảm bảo khả năng n&agrave;y ch&iacute;nh l&agrave; th&ecirc;m đặc trưng, như l&agrave; c&aacute;c đặc trưng đa thức (polynomial features - ở đ&acirc;y mang &yacute; nghĩa l&agrave; c&aacute;c đặc trưng được tạo từ c&aacute;c h&agrave;m đa thức với đối số l&agrave; những đặc trưng đơn lẻ).</p>
<p>Scikit-learn hỗ trợ SVM th&ocirc;ng qua 3 thư viện con, l&agrave; SVC, LinearSVC v&agrave; SGDClassifier. Ta c&oacute; thể sử dụng một Pipeline để đơn giản h&oacute;a qu&aacute; tr&igrave;nh thực hiện c&aacute;c c&ocirc;ng việc biến đổi, chuẩn h&oacute;a v&agrave; x&acirc;y dựng m&ocirc; h&igrave;nh.</p>
<div class="code-editor__wrapped code-editor__read__wrapped">
<table class="code-editor__table">
<tbody>
<tr class="code-editor__run__row__first">
<td colspan="2">Read_Code (*** ph&acirc;n biệt ***)</td>
</tr>
<tr>
<td>Python 3</td>
<td>
<pre class="language-python" data-content="from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
polynomial_svm_clf = Pipeline((
 (" data-language="python" data-ace-language="python" data-name-language="Python 3" data-main-file="main.python"><code>from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
polynomial_svm_clf = Pipeline((
 ("poly_features", PolynomialFeatures(degree=3)),
 ("scaler", StandardScaler()),
 ("svm_clf", LinearSVC(C=10, loss="hinge"))
 ))
polynomial_svm_clf.fit(X, y)
</code></pre>
</td>
</tr>
</tbody>
</table>
</div>
<p>H&atilde;y nh&igrave;n v&agrave;o ảnh b&ecirc;n dưới đ&acirc;y:</p>
<p><img style="width: 100%;" src="https://tek4.vn/public_files/5ed3dcd0-b7d5-47ac-bd81-d8d011d6f989" alt="Screenshot_20230110_114612" /></p>
<p>Nhận thấy rằng dữ liệu ở đồ thị b&ecirc;n tr&aacute;i kh&ocirc;ng c&oacute; c&aacute;ch n&agrave;o để c&oacute; thể ph&acirc;n chia chỉ bằng duy nhất một đường thẳng. Nhưng nếu ta th&ecirc;m một đặc trưng $x_2$ nữa, với $x_2 = x_1^2$, th&igrave; ngay lập tức, dataset n&agrave;y c&oacute; khả năng ph&acirc;n t&aacute;ch tuyến t&iacute;nh.&nbsp;</p>
<p>Đặc trưng đa thức l&agrave; một phương thức biến đổi dữ liệu đơn giản, tăng hiệu suất của nhiều m&ocirc; h&igrave;nh học m&aacute;y, kh&ocirc;ng chỉ với SVM. Nhưng nếu ta sử dụng đa thức bậc thấp qu&aacute;, ta kh&ocirc;ng thể xử l&yacute; c&aacute;c bộ dữ liệu v&ocirc; c&ugrave;ng phức tạp. Ngược lại, nếu ta sử dụng đa thức bậc qu&aacute; cao, ta sẽ tạo ra v&ocirc; số c&aacute;c đặc trưng, l&agrave;m chậm m&ocirc; h&igrave;nh.</p>
<p>Khi sử dụng SVM, ta c&oacute; thể &aacute;p dụng một quy tắc to&aacute;n học gần như kỳ diệu, l&agrave; "kernel trick".</p>
<p>Nhờ kernel trick, ta c&oacute; thể kh&ocirc;ng cần th&ecirc;m c&aacute;c đặc trưng đa thức bậc cao v&agrave;o bộ dữ liệu, nhưng vẫn đạt được hiệu suất tương đương. V&igrave; ta kh&ocirc;ng th&ecirc;m c&aacute;c đặc trưng v&agrave;o, ta kh&ocirc;ng bị b&ugrave;ng nổ features, l&agrave;m nhẹ đi khối lượng t&iacute;nh to&aacute;n của SVM.</p>
<p>Hiện tại, chỉ c&oacute; thư viện con SVC hỗ trợ Kernel trick.</p>
<div class="code-editor__wrapped code-editor__read__wrapped">
<table class="code-editor__table">
<tbody>
<tr class="code-editor__run__row__first">
<td colspan="2">Read_Code (*** ph&acirc;n biệt ***)</td>
</tr>
<tr>
<td>Python 3</td>
<td>
<pre class="language-python" data-content="from sklearn.svm import SVC
poly_kernel_svm_clf = Pipeline((
 (" data-language="python" data-ace-language="python" data-name-language="Python 3" data-main-file="main.python"><code>from sklearn.svm import SVC
poly_kernel_svm_clf = Pipeline((
 ("scaler", StandardScaler()),
 ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
 ))
poly_kernel_svm_clf.fit(X, y)
</code></pre>
</td>
</tr>
</tbody>
</table>
</div>
<p>Đoạn code ở tr&ecirc;n thực hiện huấn luyện một m&ocirc; h&igrave;nh SVM sử dụng kernel đa thức bậc 3.&nbsp;</p>
<p>Ta h&atilde;y c&ugrave;ng nh&igrave;n v&agrave;o h&igrave;nh b&ecirc;n dưới:</p>
<p><img style="width: 100%;" src="https://tek4.vn/public_files/e2d1433d-105d-4733-a11b-6747e518f2d7" alt="Screenshot_20230110_114900" /></p>
<p>Ảnh b&ecirc;n tr&aacute;i ch&iacute;nh l&agrave; m&ocirc; h&igrave;nh sử dụng đa thức bậc 3 của ta. Ảnh b&ecirc;n phải l&agrave; một m&ocirc; h&igrave;nh SVM kh&aacute;c, nhưng sử dụng đa thức bậc 10. Đương nhi&ecirc;n, nếu m&ocirc; h&igrave;nh của ta l&agrave; overfit, ta c&oacute; thể giảm bậc đa thức xuống. Ngược lại, khi m&ocirc; h&igrave;nh bị underfit, ta c&oacute; thể tăng bậc đa thức l&ecirc;n.&nbsp;</p>
<p>Một trong những phương ph&aacute;p để t&igrave;m ra c&aacute;c si&ecirc;u tham số (hyperparameter) ph&ugrave; hợp ch&iacute;nh l&agrave; sử dụng grid search (trong Scikit-learn c&oacute; hỗ trợ GridSearchCV). Thường người lập tr&igrave;nh sẽ t&igrave;m ngưỡng th&iacute;ch hợp qua 2 lần grid search. Lần đầu ti&ecirc;n, ta điều chỉnh ngưỡng t&igrave;m v&agrave; bước tăng tiến lớn. Lần tiếp theo, ta hạ ngưỡng v&agrave; bước tiến dần dần.</p>
<h2>Th&ecirc;m c&aacute;c đặc trưng tương đồng (similarity features)</h2>
<p>Một phương ph&aacute;p kh&aacute;c để giải quyết c&aacute;c trường hợp dữ liệu phi tuyến t&iacute;nh ch&iacute;nh l&agrave; sử dụng một h&agrave;m tương đồng (similarity function), nhằm đo độ tương đồng giữa bất kỳ một điểm dữ liệu trong tập huấn luyện với một điểm dữ liệu mốc (landmark) n&agrave;o đ&oacute;.</p>
<p>Gi&aacute; trị của c&aacute;c h&agrave;m tương đồng, với đầu v&agrave;o l&agrave; khoảng c&aacute;ch từ mốc tới c&aacute;c điểm dữ liệu sẽ ch&iacute;nh l&agrave; c&aacute;c đặc trưng mới của điểm đ&oacute;.</p>
<p>Ch&uacute;ng ta h&atilde;y nh&igrave;n v&agrave;o một v&iacute; dụ về tập dữ liệu một chiều từ đầu b&agrave;i:</p>
<p><img style="width: 100%;" src="https://tek4.vn/public_files/1c9de98a-0106-4ebc-87c9-f1764e14162f" alt="Screenshot_20230110_115017" /></p>
<p>Ta th&ecirc;m 2 mốc với $x_1 = -2$ v&agrave; $x_1 = 1$. Sau đ&oacute;, chọn h&agrave;m tương đồng l&agrave; h&agrave;m RBF (Gaussian Radial Basis Function), với $\gamma = 0.3$</p>
<p>$$\phi\gamma(x, l) = exp(-\gamma ||x - l||^2)$$</p>
<p>H&agrave;m c&oacute; dạng chu&ocirc;ng, dao động từ 0 (tức rất xa điểm mốc) tới 1 (tại điểm mốc).</p>
<p>Ch&uacute;ng ta sẽ sử dụng h&agrave;m n&agrave;y để c&oacute; thể t&iacute;nh khoảng c&aacute;ch tới những điểm mốc.</p>
<p>V&iacute; dụ, h&atilde;y x&eacute;t điểm $x_1 = -1$. Khoảng c&aacute;ch lần lượt từ điểm đ&oacute; tới &nbsp;2 mốc l&agrave; $1$ v&agrave; $2$.&nbsp;</p>
<p>Vậy n&ecirc;n ta c&oacute; 2 features mới cho điểm dữ liệu $x_1 = -1$, l&agrave; $x_2 = exp(-0.3 \times 1^2) \approx 0.74$ v&agrave; $x_3 = exp(-0.3 \times 2^2) \approx 0.30$.</p>
<p>H&igrave;nh ở b&ecirc;n phải của ảnh tr&ecirc;n biểu thị bộ dữ liệu mới đ&atilde; được biến đổi. Như ta c&oacute; thể thấy, tập dữ liệu giờ c&oacute; khả năng ph&acirc;n t&aacute;ch tuyến t&iacute;nh.</p>
<h2>Gaussian RBF Kernel (nh&acirc;n RBF của Gauss)</h2>
<p>Giống như khi ta th&ecirc;m đặc trưng bằng đa thức, đặc trưng tương đồng hữu &iacute;ch với nhiều thuật to&aacute;n học m&aacute;y, nhưng khối lượng t&iacute;nh to&aacute;n lớn, đặc biệt l&agrave; với những bộ dữ liệu lớn. Nhưng đương nhi&ecirc;n, ta c&oacute; thể giảm bớt độ phức tạp t&iacute;nh to&aacute;n nhờ kernel trick.</p>
<p>Ch&uacute;ng ta c&oacute; thể thử sử dụng Gaussian kernel như dưới đ&acirc;y:</p>
<p>&nbsp;</p>
<div class="code-editor__wrapped code-editor__read__wrapped">
<table class="code-editor__table">
<tbody>
<tr class="code-editor__run__row__first">
<td colspan="2">Read_Code (*** ph&acirc;n biệt ***)</td>
</tr>
<tr>
<td>Python 3</td>
<td>
<pre class="language-python" data-content="rbf_kernel_svm_clf = Pipeline((
 (" data-language="python" data-ace-language="python" data-name-language="Python 3" data-main-file="main.python"><code>rbf_kernel_svm_clf = Pipeline((
 ("scaler", StandardScaler()),
 ("svm_clf", SVC(kernel="rbf", gamma=5, C=0.001))
 ))
rbf_kernel_svm_clf.fit(X, y)
</code></pre>
</td>
</tr>
</tbody>
</table>
</div>
<p>Kết quả m&ocirc; h&igrave;nh n&agrave;y l&agrave; h&igrave;nh g&oacute;c tr&aacute;i, b&ecirc;n dưới của h&igrave;nh sau:</p>
<p><img style="width: 100%;" src="https://tek4.vn/public_files/d2eb010c-d948-4df1-bf25-0b9a45052738" alt="Screenshot_20230110_115144" /></p>
<p>Những m&ocirc; h&igrave;nh c&ograve;n lại tr&ecirc;n h&igrave;nh được huấn luyện với si&ecirc;u tham số $\gamma$ v&agrave; $C$ kh&aacute;c nhau. Gi&aacute; trị $\gamma$ c&agrave;ng cao, h&agrave;m h&igrave;nh chu&ocirc;ng c&agrave;ng nhọn, c&aacute;c điểm dữ liệu c&oacute; độ ảnh hướng c&agrave;ng thấp, n&ecirc;n mặt phẳng ph&acirc;n c&aacute;ch c&oacute; đứt g&atilde;y, uốn quanh c&aacute;c điểm dữ liệu. Ngược lại, gi&aacute; trị $\gamma$ c&agrave;ng nhỏ, h&agrave;m h&igrave;nh chu&ocirc;ng c&agrave;ng b&egrave;, c&aacute;c điểm dữ liệu c&oacute; tầm ảnh hưởng lớn hơn, khiến mặt phẳng ph&acirc;n chia mượt hơn.</p>
<p>C&oacute; thể thấy rằng, si&ecirc;u tham số $\gamma$ c&oacute; t&aacute;c dụng chuẩn h&oacute;a (regularization), nếu m&ocirc; h&igrave;nh của ta qu&aacute; khớp (overfit), ta c&oacute; thể giảm $\gamma$, ngược lại, nếu m&ocirc; h&igrave;nh chưa khớp (underfit), ta c&oacute; thể tăng $\gamma$. (tương tự với $C$)</p>
<p>C&oacute; c&aacute;c kernel kh&aacute;c ngo&agrave;i linear v&agrave; polynomial kernel, nhưng c&aacute;c kernel n&agrave;y &iacute;t được sử dụng.</p>
<p>V&iacute; dụ, c&oacute; những kernel được thiết kế d&agrave;nh ri&ecirc;ng cho những kiểu dữ liệu kh&aacute;c nhau. C&aacute;c kernel cho chuỗi (String kernel) được sử dụng để ph&acirc;n loại c&aacute;c văn bản hoặc chuỗi DNA, sử dụng kernel t&aacute;ch chuỗi con hoặc c&aacute;c kernel dựa tr&ecirc;n khoảng c&aacute;ch Levenshtein.</p>
<h2>Lựa chọn thư viện con của Scikit-learn cho ph&ugrave; hợp</h2>
<p>Th&ocirc;ng thường, ta n&ecirc;n thử d&ugrave;ng LinearSVC, v&igrave; LinearSVC nhanh hơn nhiều so với SVC(kernel='linear'), đặc biệt l&agrave; khi tập dữ liệu của ta c&oacute; k&iacute;ch thước lớn hoặc nhiều đặc trưng. Nếu tập dữ liệu kh&ocirc;ng lớn, c&oacute; thể sử dụng Gaussian RBF kernel. Nếu như m&aacute;y t&iacute;nh c&oacute; sức mạnh t&iacute;nh to&aacute;n lớn, ta c&oacute; thể thực hiện thử nghiệm như GridSearchCV, cross-validation, nhất l&agrave; khi SVC hỗ trợ c&aacute;c kernel phục vụ ri&ecirc;ng cho kiểu dữ liệu của tập huấn luyện (như l&agrave; c&aacute;c kernel cho mục đ&iacute;ch ph&acirc;n loại văn bản).</p>
<h2>Độ phức tạp t&iacute;nh to&aacute;n</h2>
<p>Lớp LinearSVC được lập tr&igrave;nh dựa v&agrave;o thư viện liblinear, dựa v&agrave;o thuật to&aacute;n tối ưu linear SVM. Lớp con n&agrave;y kh&ocirc;ng hỗ trợ kernel trick, nhưng c&oacute; độ phức tạp t&iacute;nh to&aacute;n tuyến t&iacute;nh, scale theo số lượng đặc trưng v&agrave; số lượng bản ghi. Độ phức tạp t&iacute;nh to&aacute;n trong giai đoạn huấn luyện l&agrave; $\mathcal{O}(m \times n)$.</p>
<p>Thuật to&aacute;n sẽ mất nhiều thời gian hơn nếu cần độ chuẩn x&aacute;c cao. Độ chuẩn x&aacute;c được kiểm so&aacute;t bởi si&ecirc;u tham số$\epsilon$ (trong sklearn gọi l&agrave; tol).</p>
<p>Lớp SVC được dựa tr&ecirc;n thư viện libsvm, &aacute;p dụng thuật to&aacute;n hỗ trợ kernel trick. Độ phức tạp t&iacute;nh to&aacute;n giai đoạn huấn luyện thường trong khoảng $\mathcal{O}(m^2 \times n)$ cho tới $\mathcal{O}(m^3 \times n)$. Đồng nghĩa, thuật to&aacute;n sẽ trở n&ecirc;n chậm khi số lượng bản ghi trong tập huấn luyện tăng cao. SVC hoạt động tốt khi ta c&oacute; bộ dữ liệu phức tạp nhưng c&oacute; k&iacute;ch cỡ vừa hoặc nhỏ. Nhưng thuật to&aacute;n lại th&iacute;ch ứng tốt khi số lượng đặc trưng tăng, đặc biệt l&agrave; khi bộ dữ liệu của ta c&oacute; t&iacute;nh thưa (tức mỗi một bản ghi chỉ c&oacute; một số &iacute;t c&aacute;c đặc trưng l&agrave; c&oacute; gi&aacute; trị kh&aacute;c 0). L&uacute;c đ&oacute;, thuật to&aacute;n sẽ c&oacute; độ phức tạp tương ứng với trung b&igrave;nh số đặc trưng kh&ocirc;ng rỗng với từng bản ghi.</p>

Non-linear SVM classification