<pre style="text-align: center;">"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.
Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.
C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.
Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.
Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

C&aacute;c dự &aacute;n m&aacute;y học m&ocirc; h&igrave;nh dự đo&aacute;n, chẳng hạn như ph&acirc;n loại v&agrave; hồi quy, lu&ocirc;n li&ecirc;n quan đến một số h&igrave;nh thức chuẩn bị dữ liệu.
Việc chuẩn bị dữ liệu cụ thể cần thiết cho một tập dữ liệu phụ thuộc v&agrave;o c&aacute;c chi tiết cụ thể của dữ liệu, chẳng hạn như c&aacute;c loại biến, cũng như c&aacute;c thuật to&aacute;n sẽ được sử dụng để lập m&ocirc; h&igrave;nh ch&uacute;ng c&oacute; thể đặt ra c&aacute;c kỳ vọng hoặc y&ecirc;u cầu đối với dữ liệu.&nbsp;
Tuy nhi&ecirc;n, c&oacute; một tập hợp c&aacute;c thuật to&aacute;n chuẩn bị dữ liệu ti&ecirc;u chuẩn c&oacute; thể được &aacute;p dụng cho dữ liệu c&oacute; cấu tr&uacute;c (v&iacute; dụ: dữ liệu tạo th&agrave;nh một bảng lớn như trong bảng t&iacute;nh). C&aacute;c thuật to&aacute;n chuẩn bị dữ liệu n&agrave;y c&oacute; thể được tổ chức hoặc nh&oacute;m theo loại th&agrave;nh một khu&ocirc;n khổ c&oacute; thể hữu &iacute;ch khi so s&aacute;nh v&agrave; lựa chọn c&aacute;c kỹ thuật cho một dự &aacute;n cụ thể.&nbsp;
Trong b&agrave;i n&agrave;y, ch&uacute;ng ta sẽ kh&aacute;m ph&aacute; c&aacute;c t&aacute;c vụ chuẩn bị dữ liệu phổ biến được thực hiện trong học m&aacute;y m&ocirc; h&igrave;nh dự đo&aacute;n.&nbsp;
Sau khi ho&agrave;n th&agrave;nh b&agrave;i n&agrave;y, bạn sẽ biết:
<ul style="text-align: justify;">
<li>C&aacute;c kỹ thuật như l&agrave;m sạch dữ liệu c&oacute; thể x&aacute;c định v&agrave; sửa c&aacute;c lỗi trong dữ liệu như c&aacute;c gi&aacute; trị bị thiếu.</li>
<li>C&aacute;c ph&eacute;p biến đổi dữ liệu c&oacute; thể thay đổi quy m&ocirc;, kiểu v&agrave; ph&acirc;n phối x&aacute;c suất của c&aacute;c biến trong tập dữ liệu.</li>
<li>C&aacute;c kỹ thuật như lựa chọn đặc trưng v&agrave; giảm k&iacute;ch thước c&oacute; thể l&agrave;m giảm số lượng biến đầu v&agrave;o.</li>
</ul>
<h2 style="text-align: justify;">C&aacute;c nhiệm vụ chuẩn bị dữ liệu chung</h2>
Ch&uacute;ng ta c&oacute; thể định nghĩa việc chuẩn bị dữ liệu l&agrave; việc chuyển đổi dữ liệu th&ocirc; th&agrave;nh một dạng ph&ugrave; hợp hơn cho việc lập m&ocirc; h&igrave;nh.&nbsp;
Tuy nhi&ecirc;n, c&oacute; những bước trong một dự &aacute;n m&ocirc; h&igrave;nh h&oacute;a dự đo&aacute;n trước v&agrave; sau bước chuẩn bị dữ liệu l&agrave; quan trọng v&agrave; th&ocirc;ng b&aacute;o cho việc chuẩn bị dữ liệu sẽ được thực hiện.
Qu&aacute; tr&igrave;nh ứng dụng học m&aacute;y bao gồm một tr&igrave;nh tự c&aacute;c bước. Ch&uacute;ng ta c&oacute; thể nhảy qua lại giữa c&aacute;c bước cho bất kỳ dự &aacute;n nhất định n&agrave;o, nhưng tất cả c&aacute;c dự &aacute;n đều c&oacute; c&aacute;c bước chung giống nhau:
<ul style="text-align: justify;">
<li>Bước 1: X&aacute;c định vấn đề.</li>
<li>Bước 2: Chuẩn bị dữ liệu.</li>
<li>Bước 3: Đ&aacute;nh gi&aacute; M&ocirc; h&igrave;nh.</li>
<li>Bước 4: Ho&agrave;n thiện M&ocirc; h&igrave;nh.</li>
</ul>
Ch&uacute;ng ta quan t&acirc;m đến bước chuẩn bị dữ liệu (bước 2) v&agrave; c&oacute; những t&aacute;c vụ th&ocirc;ng thường hoặc ti&ecirc;u chuẩn m&agrave; c&oacute; thể sử dụng hoặc kh&aacute;m ph&aacute; trong bước chuẩn bị dữ liệu trong một dự &aacute;n m&aacute;y học.&nbsp;
C&aacute;c nhiệm vụ chuẩn bị dữ liệu được thực hiện phụ thuộc v&agrave;o dữ liệu m&agrave; ch&uacute;ng ta c&oacute;, bao gồm:
<ul style="text-align: justify;">
<li>Data Cleaning (L&agrave;m sạch dữ liệu): X&aacute;c định v&agrave; sửa chữa c&aacute;c sai s&oacute;t trong dữ liệu.</li>
<li>Feature Selection (Lựa chọn đặc trưng): X&aacute;c định c&aacute;c biến đầu v&agrave;o c&oacute; li&ecirc;n quan nhất đến nhiệm vụ.</li>
<li>Data Transforms (Biến đổi dữ liệu): Thay đổi quy m&ocirc; hoặc ph&acirc;n phối của c&aacute;c biến.</li>
<li>Feature Engineering: Lấy c&aacute;c biến mới từ dữ liệu c&oacute; sẵn.</li>
<li>Dimensionality Reduction (Giảm chiều dữ liệu): Tạo c&aacute;c ph&eacute;p chiếu nhỏ gọn của dữ liệu.</li>
</ul>
Điều n&agrave;y cung cấp một khung cơ bản m&agrave; ch&uacute;ng ta c&oacute; thể sử dụng để suy nghĩ v&agrave; thực hiện c&aacute;c thuật to&aacute;n chuẩn bị dữ liệu kh&aacute;c nhau để c&oacute; thể xem x&eacute;t tr&ecirc;n một dự &aacute;n nhất định với dữ liệu c&oacute; cấu tr&uacute;c hoặc dữ liệu dạng bảng.
<h2 style="text-align: justify;">Data Cleaning</h2>
L&agrave;m sạch dữ liệu li&ecirc;n quan đến việc sửa chữa c&aacute;c vấn đề hệ thống hoặc lỗi trong dữ liệu 'lộn xộn'.&nbsp;
Việc l&agrave;m sạch dữ liệu hữu &iacute;ch nhất li&ecirc;n quan đến chuy&ecirc;n m&ocirc;n s&acirc;u về lĩnh vực v&agrave; c&oacute; thể li&ecirc;n quan đến việc x&aacute;c định, giải quyết c&aacute;c dữ liệu quan s&aacute;t cụ thể c&oacute; thể kh&ocirc;ng ch&iacute;nh x&aacute;c.
C&oacute; nhiều l&yacute; do khiến dữ liệu c&oacute; thể c&oacute; c&aacute;c gi&aacute; trị kh&ocirc;ng ch&iacute;nh x&aacute;c, chẳng hạn như bị nhập sai, bị hỏng, bị tr&ugrave;ng lặp, v.v. Một khi c&aacute;c quan s&aacute;t lộn xộn, nhiễu, hỏng h&oacute;c hoặc sai s&oacute;t được x&aacute;c định, ch&uacute;ng c&oacute; thể được giải quyết. Điều n&agrave;y c&oacute; thể li&ecirc;n quan đến việc x&oacute;a một h&agrave;ng hoặc một cột. Ngo&agrave;i ra, n&oacute; c&oacute; thể li&ecirc;n quan đến việc thay thế c&aacute;c quan s&aacute;t bằng c&aacute;c gi&aacute; trị mới.&nbsp;
Tuy nhi&ecirc;n, c&oacute; những hoạt động l&agrave;m sạch dữ liệu chung c&oacute; thể được thực hiện, chẳng hạn như:
<ul style="text-align: justify;">
<li>Sử dụng thống k&ecirc; để x&aacute;c định dữ liệu b&igrave;nh thường v&agrave; x&aacute;c định c&aacute;c gi&aacute; trị ngoại lai.</li>
<li>X&aacute;c định c&aacute;c cột c&oacute; c&ugrave;ng gi&aacute; trị hoặc kh&ocirc;ng c&oacute; phương sai v&agrave; loại bỏ ch&uacute;ng.</li>
<li>X&aacute;c định c&aacute;c h&agrave;ng dữ liệu tr&ugrave;ng lặp v&agrave; x&oacute;a ch&uacute;ng.</li>
<li>Đ&aacute;nh dấu c&aacute;c gi&aacute; trị trống l&agrave; bị thiếu.</li>
<li>Nhập c&aacute;c gi&aacute; trị bị thiếu bằng c&aacute;ch sử dụng thống k&ecirc; hoặc m&ocirc; h&igrave;nh đ&atilde; học.</li>
</ul>
L&agrave;m sạch dữ liệu l&agrave; một hoạt động thường được thực hiện đầu ti&ecirc;n, trước c&aacute;c hoạt động chuẩn bị dữ liệu kh&aacute;c.
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/1550e81e-1456-4d15-a233-5a4a310455a9" alt="Capture" />
<h2 style="text-align: justify;">Feature Selection</h2>
Lựa chọn đặc trưng đề cập đến c&aacute;c kỹ thuật để chọn một tập hợp con c&aacute;c đặc điểm đầu v&agrave;o c&oacute; li&ecirc;n quan nhất đến biến mục ti&ecirc;u đang được dự đo&aacute;n. Điều n&agrave;y rất quan trọng v&igrave; c&aacute;c biến đầu v&agrave;o kh&ocirc;ng li&ecirc;n quan v&agrave; dư thừa c&oacute; thể l&agrave;m mất tập trung hoặc đ&aacute;nh lừa c&aacute;c thuật to&aacute;n học tập c&oacute; thể dẫn đến hiệu suất dự đo&aacute;n thấp hơn. Ngo&agrave;i ra, mong muốn ph&aacute;t triển c&aacute;c m&ocirc; h&igrave;nh chỉ sử dụng dữ liệu được y&ecirc;u cầu để đưa ra dự đo&aacute;n, v&iacute; dụ: Ưu ti&ecirc;n m&ocirc; h&igrave;nh hoạt động tốt đơn giản nhất c&oacute; thể.
C&aacute;c kỹ thuật lựa chọn đặc trưng thường được nh&oacute;m th&agrave;nh những kỹ thuật sử dụng biến mục ti&ecirc;u (được gi&aacute;m s&aacute;t) v&agrave; những kỹ thuật kh&ocirc;ng sử dụng (kh&ocirc;ng được gi&aacute;m s&aacute;t). Ngo&agrave;i ra, c&aacute;c kỹ thuật được gi&aacute;m s&aacute;t c&oacute; thể được chia th&agrave;nh c&aacute;c m&ocirc; h&igrave;nh tự động chọn c&aacute;c đặc trưng như một phần của việc điều chỉnh m&ocirc; h&igrave;nh (intrinsic), c&aacute;c m&ocirc; h&igrave;nh chọn đặc trưng một c&aacute;ch r&otilde; r&agrave;ng dẫn đến m&ocirc; h&igrave;nh hoạt động tốt nhất (wrapper) v&agrave; những m&ocirc; h&igrave;nh cho điểm từng đặc trưng đầu v&agrave;o v&agrave; cho ph&eacute;p Tập hợp con được chọn (filter).
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/912701c0-e6e7-4781-a63c-cda7cfab52a0" alt="Capture (1)" />
C&aacute;c phương ph&aacute;p thống k&ecirc; phổ biến để cho điểm c&aacute;c đặc trưng đầu v&agrave;o, chẳng hạn như t&iacute;nh tương quan. Sau đ&oacute;, c&aacute;c đặc trưng c&oacute; thể được xếp hạng theo điểm số của ch&uacute;ng v&agrave; một tập hợp con c&oacute; điểm số lớn nhất được sử dụng l&agrave;m đầu v&agrave;o cho một m&ocirc; h&igrave;nh. Việc lựa chọn thước đo thống k&ecirc; phụ thuộc v&agrave;o kiểu dữ liệu của c&aacute;c biến đầu v&agrave;o v&agrave; việc xem x&eacute;t c&aacute;c thước đo thống k&ecirc; kh&aacute;c nhau c&oacute; thể được sử dụng.
Ngo&agrave;i ra, c&oacute; những trường hợp sử dụng lựa chọn đặc trưng phổ biến kh&aacute;c nhau m&agrave; ch&uacute;ng ta c&oacute; thể gặp phải trong một dự &aacute;n m&ocirc; h&igrave;nh dự đo&aacute;n, chẳng hạn như:
<ul style="text-align: justify;">
<li>C&aacute;c đầu v&agrave;o ph&acirc;n loại cho một biến mục ti&ecirc;u ph&acirc;n loại.</li>
<li>Đầu v&agrave;o số cho một biến mục ti&ecirc;u ph&acirc;n loại.</li>
<li>Đầu v&agrave;o số cho biến mục ti&ecirc;u hồi quy.</li>
</ul>
Khi c&oacute; một hỗn hợp c&aacute;c kiểu dữ liệu biến đầu v&agrave;o, c&aacute;c phương ph&aacute;p lọc kh&aacute;c nhau c&oacute; thể được sử dụng.&nbsp;
<h2 style="text-align: justify;">Data Transforms&nbsp;</h2>
C&aacute;c ph&eacute;p biến đổi dữ liệu được sử dụng để thay đổi kiểu hoặc ph&acirc;n phối của c&aacute;c biến dữ liệu.&nbsp;
Đ&acirc;y l&agrave; một loạt c&aacute;c kỹ thuật kh&aacute;c nhau v&agrave; ch&uacute;ng c&oacute; thể dễ d&agrave;ng &aacute;p dụng cho c&aacute;c biến đầu v&agrave;o v&agrave; đầu ra.&nbsp;
Nhớ lại rằng dữ liệu c&oacute; thể c&oacute; một trong một số kiểu, chẳng hạn như số hoặc ph&acirc;n loại, với c&aacute;c kiểu con cho từng loại, chẳng hạn như số nguy&ecirc;n v&agrave; gi&aacute; trị thực cho số, v&agrave; danh nghĩa, thứ tự v&agrave; boolean cho ph&acirc;n loại.&nbsp;
<ul style="text-align: justify;">
<li>Kiểu dữ liệu số: Gi&aacute; trị số.
<ul>
<li>Integer: Số nguy&ecirc;n kh&ocirc;ng c&oacute; phần ph&acirc;n số.</li>
<li>Real: Số thực dấu phẩy động.</li>
</ul>
</li>
<li>Kiểu dữ liệu ph&acirc;n loại: Gi&aacute; trị nh&atilde;n.
<ul>
<li>Ordinal: Thứ tự: Nh&atilde;n c&oacute; thứ tự thứ hạng.</li>
<li>Nominal: Danh nghĩa: C&aacute;c nh&atilde;n kh&ocirc;ng c&oacute; thứ tự xếp hạng.</li>
<li>Boolean: Gi&aacute; trị True v&agrave; False.&nbsp;</li>
</ul>
</li>
</ul>
H&igrave;nh dưới đ&acirc;y cung cấp một c&aacute;i nh&igrave;n tổng quan về c&ugrave;ng một ph&acirc;n t&iacute;ch của c&aacute;c loại dữ liệu cấp cao.
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/53a48089-f54b-4195-9a5a-9c4b26a98aff" alt="Capture (2)" />
Ch&uacute;ng ta c&oacute; thể muốn chuyển đổi một biến số th&agrave;nh một biến thứ tự trong một qu&aacute; tr&igrave;nh được gọi l&agrave; t&ugrave;y biến (discretization). Ngo&agrave;i ra, ch&uacute;ng ta c&oacute; thể encode một biến ph&acirc;n loại dưới dạng số nguy&ecirc;n hoặc biến boolean, được y&ecirc;u cầu trong hầu hết c&aacute;c nhiệm vụ ph&acirc;n loại.
<ul style="text-align: justify;">
<li>Discretization Transform: Encode một biến số dưới dạng biến thứ tự.</li>
<li>Ordinal Transform: Encode một biến ph&acirc;n loại th&agrave;nh một biến số nguy&ecirc;n.</li>
<li>One-Hot Transform: Encode một biến ph&acirc;n loại th&agrave;nh c&aacute;c biến nhị ph&acirc;n.</li>
</ul>
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Tổng quan về chuẩn bị dữ liệu cho Machine Learning