<pre style="text-align: center;">"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.
Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.
C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.
Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.
Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

Trong l&yacute; thuyết học m&aacute;y v&agrave; x&aacute;c suất thống k&ecirc;, thuật to&aacute;n k - mẫu gần nhất (k-nearest neighbors) l&agrave; một thuật to&aacute;n phi tham số (non - parametric), học gi&aacute;m s&aacute;t (supervised learning), lười (lazy learning), sử dụng cho cả hai mục đ&iacute;ch l&agrave; hồi quy v&agrave; ph&acirc;n lớp.
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/c2d6ed7a-e4e6-4bbe-b4ee-b5b34a04b3cf" alt="Map5NN" />
Thuật to&aacute;n được Evelyn Fix v&agrave; Joseph Hodges c&ocirc;ng bố đầu ti&ecirc;n v&agrave;o năm 1951 v&agrave; được Thomas Cover mở rộng sau n&agrave;y v&agrave;o năm 1967.&nbsp;
T&iacute;nh "lười" của k-NN được thể hiện ở 2 t&iacute;nh chất: h&agrave;m mục ti&ecirc;u được xấp xỉ tại c&aacute;c địa phương, v&agrave; k-NN kh&ocirc;ng c&oacute; giai đoạn huấn luyện. Mọi t&iacute;nh to&aacute;n được thực hiện khi n&oacute; cần dự đo&aacute;n kết quả của dữ liệu mới.
Bản chất của k-NN ch&iacute;nh l&agrave; t&iacute;nh to&aacute;n khoảng c&aacute;ch từ điểm cần x&eacute;t đến k điểm l&acirc;n cận, n&ecirc;n nếu c&aacute;c features c&oacute; scale kh&aacute;c nhau, hoặc c&oacute; đơn vị kh&aacute;c nhau, ta c&oacute; thể thực hiện chuẩn ho&aacute; (normalize) dữ liệu để c&oacute; thể đẩy mạnh hiệu suất của thuật to&aacute;n.
Tuỳ thuộc v&agrave;o mục đ&iacute;ch ph&acirc;n loại hay hồi quy m&agrave; đầu ra của k-NN sẽ kh&aacute;c nhau:
Với b&agrave;i to&aacute;n ph&acirc;n loại, output của k-NN l&agrave; lớp của bản ghi cần ph&acirc;n loại. Một bản ghi được x&aacute;c định lớp (class) theo nguy&ecirc;n tắc biểu quyết đa số. Theo đ&oacute;, lớp của bản ghi được x&aacute;c định theo k bản ghi gần nhất với bản ghi đang được x&eacute;t theo nguy&ecirc;n tắc số đ&ocirc;ng. k đảm bảo điều kiện l&agrave; số nguy&ecirc;n dương, thường đủ nhỏ.
Với b&agrave;i to&aacute;n hồi quy, output của k-NN ch&iacute;nh l&agrave; gi&aacute; trị dự đo&aacute;n của của h&agrave;m mất m&aacute;t tại bản ghi đang được x&eacute;t. Gi&aacute; trị dự đo&aacute;n n&agrave;y l&agrave; trung b&igrave;nh nh&atilde;n của k mẫu gần nhất.
Dữ liệu huấn luyện l&agrave; tập hợp những điểm dữ liệu đ&atilde; được gắn nh&atilde;n (với b&agrave;i to&aacute;n ph&acirc;n lớp), v&agrave; tập c&aacute;c điểm dữ liệu với gi&aacute; trị tương ứng (với b&agrave;i to&aacute;n hồi quy). Một đặc trung của thuật to&aacute;n k-NN ch&iacute;nh l&agrave; sự nhạy cảm với h&igrave;nh dạng của dữ liệu.
<h2>Thuật to&aacute;n k-NN (với b&agrave;i to&aacute;n ph&acirc;n lớp) l&agrave; như sau:</h2>
<pre class="language-python3"><code>1. Nạp tập train v&agrave; tập test.
2. Chọn gi&aacute; trị K th&iacute;ch hợp
3. Với mỗi điểm một tr&ecirc;n tập test:
 3.1 T&igrave;m khoảng c&aacute;ch từ điểm đ&oacute; đến c&aacute;c điểm c&ograve;n lại tr&ecirc;n tập train, sắp xếp từ lớn đến b&eacute;, lưu v&agrave;o danh s&aacute;ch
 3.2 Lấy k điểm đầu ti&ecirc;n của danh s&aacute;ch, gắn nh&atilde;n chiếm ưu thế trong k điểm cho điểm đang x&eacute;t.
4. Kết th&uacute;c.</code></pre>
<h2>Độ đo khoảng c&aacute;ch:</h2>
Ch&uacute;ng ta c&oacute; đề cập việc t&iacute;nh khoảng c&aacute;ch giữa c&aacute;c điểm ở tr&ecirc;n, thế nhưng ch&uacute;ng ta đo khoảng c&aacute;ch như thế n&agrave;o? Trong k-NN, ta c&oacute; thể sử dụng nhiều loại khoảng c&aacute;ch kh&aacute;c nhau, nhưng 3 loại khoảng c&aacute;ch thường gặp ch&iacute;nh l&agrave; khoảng c&aacute;ch Manhattan, khoảng c&aacute;ch Euclid v&agrave; khoảng c&aacute;ch Cosine.
<h3>Khoảng c&aacute;ch Manhattan được định nghĩa như sau:</h3>
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/237d1044-5669-41ad-bb4a-2144681df0d7" alt="manhattan" />
$$d = \sum_{i=1}^n \|x_i - y_i\|$$
Ta c&oacute; thể hiểu khoảng c&aacute;ch Manhattan l&agrave; tổng khoảng c&aacute;ch c&aacute;c th&agrave;nh phần toạ độ giữa 2 điểm.
<h3>Khoảng c&aacute;ch Euclid được định nghĩa như sau:</h3>
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/0d6f8154-9fda-4159-bd15-9386b5baf2f7" alt="euclid" />
$$d = \sqrt(\sum_{i=1}^n (x_i - y_i)^2)$$
Ta c&oacute; thể hiểu khoảng c&aacute;ch Euclid l&agrave; khoảng c&aacute;ch đường chim bay giữa 2 điểm.
<h3>Khoảng c&aacute;ch Cosine đặc biệt hơn một ch&uacute;t:</h3>
Ta c&oacute; độ đo tương đồng Cosine được t&iacute;nh theo c&ocirc;ng thức sau:
$$ cos(\theta) =&nbsp; {{\vec{a} \cdot \vec{b}} \over {||\vec{a}|| ||\vec{b}||}}$$
V&igrave; $cos(\theta) \in [-1, 1]$: Gi&aacute; trị $-1$ biểu thị kh&ocirc;ng c&oacute; mối quan hệ
Gi&aacute; trị $0$ biểu thị mối quan hệ độc lập tuyến t&iacute;nh
Gi&aacute; trị $1$ biểu thị mối quan hệ tương đồng
Khoảng c&aacute;ch Cosine kh&ocirc;ng t&iacute;nh khoảng c&aacute;ch giữa 2 điểm theo toạ độ, m&agrave; n&oacute; đo g&oacute;c giữa 2 vector đại diện 2 điểm đ&oacute;.
Khoảng c&aacute;ch Cosine = 1 - Độ đo Cosine
Để hiểu r&otilde; độ đo Cosine, ch&uacute;ng ta h&atilde;y nh&igrave;n v&agrave;o một v&iacute; dụ sau:
Tại đồ thị tr&ecirc;n, c&oacute; 2 điểm dữ liệu, k&yacute; hiệu bằng h&igrave;nh vu&ocirc;ng xanh. Ta sẽ cần đo g&oacute;c giữa 2 đoạn thẳng xuất ph&aacute;t từ O v&agrave; kết th&uacute;c tại 2 điểm đ&oacute;. R&otilde; r&agrave;ng, g&oacute;c giữa 2 điểm c&oacute; gi&aacute; trị $90\deg$. 2 điểm n&agrave;y c&oacute; mối quan hệ độc lập tuyến t&iacute;nh với nhau, v&agrave; khoảng c&aacute;ch giữa 2 điểm l&agrave; $1 - cos(\theta) = 1$.
 <img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/6e451f9a-cf1f-448b-b906-6d15747c0e30" alt="90 deg" />
Tại ảnh tiếp, ta thấy 2 điểm nằm tr&ecirc;n c&ugrave;ng một trục Ox. Độ đo Cosine giữa 2 điểm $cos(0) = 1$, v&agrave; khoảng c&aacute;ch Cosine giữa 2 điểm l&agrave; $1 - cos(0) = 0$. Ta n&oacute;i 2 điểm tr&ecirc;n l&agrave; tr&ugrave;ng nhau ho&agrave;n to&agrave;n.&nbsp;
 <img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/b04d3f1e-ed15-4226-a036-ce7c53715e01" alt="0 deg" />
Tại ảnh tiếp theo, thấy g&oacute;c giữa 2 điểm l&agrave; $60\deg$. Theo c&ocirc;ng thức khoảng c&aacute;ch cosine, khoảng c&aacute;ch giữa 2 điểm l&agrave; $1 - cos(60) = 0.5$. Tức ta c&oacute; thể n&oacute;i rằng 2 điểm c&oacute; độ tương đồng l&agrave; 50%.
&nbsp;
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/6a699156-c1c3-4705-b996-5911b8ee9ef9" alt="60 deg" />
Vậy tại sao ch&uacute;ng ta cần nhiều phương ph&aacute;p đo khoảng c&aacute;ch đến vậy? C&acirc;u trả lời ch&iacute;nh l&agrave; do lời nguyền số chiều (curse of dimensionality).
Cuối c&ugrave;ng, ta cần x&eacute;t một điều cuối: L&agrave;m thế n&agrave;o để chọn số k cho ph&ugrave; hợp.
<h2>Chọn số k ph&ugrave; hợp</h2>
Gi&aacute; trị k cho thuật to&aacute;n k-NN quy định thuật to&aacute;n phải quan s&aacute;t k số điểm l&acirc;n cận xung quanh điểm được x&eacute;t nhằm ph&acirc;n loại. Nếu $k = 1$, ta gắn nh&atilde;n điểm được x&eacute;t tr&ugrave;ng với điểm gần nhất trong tập train. Chọn k l&agrave; một c&ocirc;ng việc quan trọng, do c&aacute;c gi&aacute; trị kh&aacute;c nhau của k c&oacute; thể dẫn tới hiện tượng over hoặc underfit.&nbsp; &nbsp;
Thường, lựa chọn số k l&agrave; phụ thuộc v&agrave;o dữ liệu. Th&ocirc;ng thường, gi&aacute; trị k lớn đồng nghĩa với việc ta giảm thiểu được nhiễu khi thực hiện ph&acirc;n lớp, nhưng sẽ khiến ranh giới giữa c&aacute;c lớp trở n&ecirc;n mờ nho&agrave; hơn. Ta c&oacute; thể chọn được số k tốt th&ocirc;ng qua c&aacute;c thủ thuật heuristic: Scikit-learn cung cấp chức năng GridSearchCV hoặc RandomizeSearchCV, cho ph&eacute;p ch&uacute;ng ta dễ d&agrave;ng kiểm tra nhiều gi&aacute; trị k kh&aacute;c nhau. Ngo&agrave;i 2 thủ thuật tr&ecirc;n, ta c&ograve;n c&oacute; thể sử dụng cross - validation để c&oacute; thể lọc k.
Độ ch&iacute;nh x&aacute;c của thuật to&aacute;n k-NN c&oacute; thể bị giảm đột ngột nếu c&oacute; c&aacute;c đặc trưng nhiễu hoặc đặc trưng kh&ocirc;ng li&ecirc;n quan, hoặc scale của c&aacute;c features kh&ocirc;ng đồng đều, kh&ocirc;ng tương xứng với mức độ tương quan với nh&atilde;n.&nbsp;
Th&ocirc;ng thường, khi ta l&agrave;m việc với b&agrave;i to&aacute;n ph&acirc;n lớp nhị ph&acirc;n, ta n&ecirc;n để k lẻ để tr&aacute;nh trường hợp ho&agrave;.
<h2>Ưu v&agrave; nhược điểm của kNN</h2>
Ưu điểm
<ul>
<li>Đơn giản v&agrave; dễ giải th&iacute;ch</li>
<li>Kh&ocirc;ng dựa tr&ecirc;n bất kỳ giả định n&agrave;o, v&igrave; thế n&oacute; c&oacute; thể được sử dụng trong c&aacute;c b&agrave;i to&aacute;n phi tuyến t&iacute;nh.</li>
<li>Hoạt động tốt trong trường hợp ph&acirc;n loại với nhiều lớp</li>
<li>Sử dụng được trong cả ph&acirc;n loại v&agrave; hồi quy</li>
</ul>
Nhược điểm
<ul>
<li>Trở n&ecirc;n rất chậm khi số lượng điểm dữ liệu tăng l&ecirc;n v&igrave; m&ocirc; h&igrave;nh cần lưu trữ tất cả c&aacute;c điểm dữ liệu.</li>
<li>Tốn bộ nhớ</li>
<li>Nhạy cảm với c&aacute;c dữ liệu bất thường (nhiễu)</li>
</ul>
Ở b&agrave;i sau, ch&uacute;ng ta sẽ lập tr&igrave;nh lại từ đầu thuật to&aacute;n k-NN v&agrave; so s&aacute;nh hiệu suất với scikit-learn.
&nbsp;
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Thuật Toán K-Nearest Neighbors (KNN)