<pre style="text-align: center;"><em>"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần <br />n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. <br />Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> <br />hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</em></pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
<p style="text-align: justify;">Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.</p>
<p style="text-align: justify;">Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.</p>
<p style="text-align: justify;">C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.</p>
<p style="text-align: justify;">Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.</p>
<p style="text-align: justify;">Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.</p>
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

<h2>Loại bỏ dữ liệu ngoại lai</h2>
<p>Dữ liệu ngoại lai l&agrave; c&aacute;c bản ghi c&oacute; gi&aacute; trị bất thường, kh&ocirc;ng tr&ugrave;ng hợp với xu hướng chung của đa số c&aacute;c bản ghi c&ograve;n lại trong tập dữ liệu, ảnh hưởng xấu tới ph&acirc;n t&iacute;ch v&agrave; vi phạm c&aacute;c giả định đ&atilde; đưa ra từ trước. Loại bỏ dữ liệu ngoại lai l&agrave; h&agrave;nh động chủ quan v&agrave; phụ thuộc v&agrave;o bộ dữ liệu bạn đang ph&acirc;n t&iacute;ch.<br />Th&ocirc;ng thường, sẽ c&oacute; những gi&aacute; trị ngoại lai kh&ocirc;ng ph&ugrave; hợp với dữ liệu đang được ph&acirc;n t&iacute;ch. Nếu c&oacute; l&yacute; do ch&iacute;nh đ&aacute;ng để loại bỏ c&aacute;c gi&aacute; trị đ&oacute;, như nhập dữ liệu kh&ocirc;ng đ&uacute;ng c&aacute;ch, l&agrave;m như vậy sẽ gi&uacute;p &iacute;ch cho hiệu suất của m&ocirc; h&igrave;nh học m&aacute;y.<br />H&atilde;y nhớ rằng: dữ liệu d&ugrave; l&agrave; ngoại lai, kh&ocirc;ng c&oacute; nghĩa l&agrave; kh&ocirc;ng ch&iacute;nh x&aacute;c. Người ph&acirc;n t&iacute;ch cần x&aacute;c định t&iacute;nh hợp lệ của dữ liệu ngoại lai đ&oacute;. Nếu một ngoại lai l&agrave; sai s&oacute;t hoặc kh&ocirc;ng th&iacute;ch hợp để ph&acirc;n t&iacute;ch, h&atilde;y xem x&eacute;t loại bỏ n&oacute;.<br />N&oacute;i chung, ta cần loại ỏ dữ liệu ngoại lai khi:<br />- Ta biết rằng dữ liệu đ&oacute; sai<br />- Khi ta c&oacute; một bộ dữ liệu lớn<br />- Khi ta c&oacute; thể kiểm chứng v&agrave; sửa lại điểm dữ liệu đ&oacute;.</p>
<h2>X&oacute;a c&aacute;c bản ghi bị lặp</h2>
<p>Lặp bản ghi xảy ra trong qu&aacute; tr&igrave;nh thu thập dữ liệu. Thường, trường hợp n&agrave;y xảy ra khi ta trộn dữ liệu từ nhiều nguồn kh&aacute;c nhau, hoặc nhận dữ liệu từ nhiều ph&ograve;ng ban kh&aacute;c nhau. Ta cần loại bỏ c&aacute;c điểm dữ liệu tr&ugrave;ng nhau.<br />C&aacute;c điểm dữ liệu tr&ugrave;ng nhau kh&ocirc;ng th&ecirc;m được th&ocirc;ng tin cho m&aacute;y học, l&agrave;m tăng số lượng t&iacute;nh to&aacute;n m&agrave; m&aacute;y t&iacute;nh cần thực hiện.</p>
<h2>Sửa lỗi sai kiểu dữ liệu</h2>
<p>Th&ocirc;ng thường trong c&aacute;c bộ dữ liệu, c&aacute;c gi&aacute; trị kh&ocirc;ng được lưu trữ ở dạng th&iacute;ch hợp. Vấn đề n&agrave;y dẫn tới c&aacute;c hệ lụy ở c&aacute;c bước tiếp theo, v&agrave; khi sử dụng c&oacute; thể bị lỗi chương tr&igrave;nh hoặc ra kết quả lệch. Một v&iacute; dụ thường gặp ch&iacute;nh l&agrave; dữ liệu dạng thời gian, dạng ng&agrave;y - th&aacute;ng - năm. Thường dữ liệu dạng ng&agrave;y sẽ được truyền v&agrave;o Python dưới dạng c&aacute;c Object. Trong Pandas, c&oacute; một kiểu dữ liệu d&agrave;nh ri&ecirc;ng cho thời gian, l&agrave; DateTime</p>
<h2>Sửa lỗi cấu tr&uacute;c dữ liệu</h2>
<p>Lỗi cấu tr&uacute;c dữ liệu l&agrave; c&aacute;c lỗi định dạng trong qu&aacute; tr&igrave;nh thu thập, v&iacute; dụ như c&aacute;ch đặt t&ecirc;n lạ, lỗi ch&iacute;nh tả, viết hoa kh&ocirc;ng đ&uacute;ng c&aacute;ch, v&acirc;n v&acirc;n v&agrave; m&acirc;y m&acirc;y. Khi dữ liệu viết sai định dạng, m&aacute;y sẽ nhận c&aacute;c định dạng của 1 gi&aacute; trị l&agrave; c&aacute;c gi&aacute; trị kh&aacute;c nhau. V&iacute; dụ, với c&aacute;c gi&aacute; trị null, một bộ dữ liệu c&oacute; thể sử dụng cả 2 định dạng l&agrave; N/A v&agrave; Not Applicable. Cả 2 định dạng sẽ được m&aacute;y ghi nhận l&agrave; 2 gi&aacute; trị kh&aacute;c nhau, d&ugrave; khi ta nh&igrave;n v&agrave;o dữ liệu, ta đều hiểu 2 định dạng đ&oacute; l&agrave; 1 gi&aacute; trị duy nhất.</p>
<h2>Loại bỏ c&aacute;c cột c&oacute; variance thấp</h2>
<p>Th&ocirc;ng thường*, sau khi ta thực hiện chuẩn h&oacute;a dữ liệu*, sẽ c&oacute; những cột c&oacute; phương sai (variance) thấp. C&aacute;c cột c&oacute; phương sai thấp hoặc bằng 0 sẽ kh&ocirc;ng mang lại nhiều th&ocirc;ng tin cho m&ocirc; h&igrave;nh học m&aacute;y. Do đ&oacute;, cần loại bỏ c&aacute;c cột n&agrave;y.</p>
<p>C&ocirc;ng thức để t&iacute;nh phương sai l&agrave;: $$\sigma ^2 = \frac{\sum(x - \bar{x})}{n}$$</p>
<p>*Đ&ocirc;i khi, việc loại bỏ c&aacute;c cột c&oacute; phương sai thấp l&agrave; kh&ocirc;ng cần thiết, v&agrave; c&oacute; thể c&ograve;n g&acirc;y hại đến hiệu suất của m&ocirc; h&igrave;nh học m&aacute;y, do cột c&oacute; phương sai thấp vẫn c&oacute; thể mang nhiều th&ocirc;ng tin</p>
<p>*Cần ch&uacute; &yacute; l&agrave; SAU KHI CHUẨN H&Oacute;A DỮ LIỆU, do phương sai c&ograve;n phụ thuộc v&agrave;o đơn vị. Nếu kh&ocirc;ng chuẩn h&oacute;a dữ liệu, cần sử dụng gi&aacute; trị thay thế l&agrave; hệ số biến thi&ecirc;n (Coefficient of variation). C&ocirc;ng thức t&iacute;nh hệ số biến thi&ecirc;n l&agrave; như sau:</p>
<p>$$c_v = \frac{\sigma}{\mu}$$</p>
<h2>Một số c&ocirc;ng cụ để thực hiện l&agrave;m sạch dữ liệu:</h2>
<p>Openrefine<br />Trifacta Wrangler&nbsp;<br />TIBCO Clarity<br />Cloudingo<br />IBM Infosphere Quality Stage</p>
<h2>Kết luận:</h2>
<p>Trong b&agrave;i viết n&agrave;y, ta đ&atilde; b&agrave;n về c&aacute;c bước cần l&agrave;n để l&agrave;m sạch dữ liệu, khiến dữ liệu tin cậy hơn, nhằm tăng hiệu suất c&aacute;c m&ocirc; h&igrave;nh học m&aacute;y, sản sinh ra kết quả tốt hơn. Sau khi thực hiện l&agrave;m sạch dữ liệu, ta sẽ được một bộ dữ liệu tin cậy, tr&aacute;nh được c&aacute;c sơ suất thường gặp trong qu&aacute; tr&igrave;nh xử l&yacute; dữ liệu. Bước n&agrave;y l&agrave; rất quan trọng v&agrave; kh&ocirc;ng n&ecirc;n l&agrave;m qua loa, do lợi &iacute;ch to lớn n&oacute; mang lại trong c&aacute;c quy tr&igrave;nh tiếp theo.</p>
<hr />
<p style="text-align: center;"><em><strong>Fanpage Facebook:</strong>&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a></em>&nbsp;</p>
<p style="text-align: center;"><em><strong>Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:</strong>&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a></em></p>

Làm Sạch Dữ Liệu