<pre style="text-align: center;">"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.
Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.
C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.
Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.
Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

Giống như SVM, m&ocirc; h&igrave;nh C&acirc;y quyết định (Decision Trees) l&agrave; c&aacute;c thuật to&aacute;n học m&aacute;y c&oacute; thể thực hiện c&ocirc;ng việc ph&acirc;n loại v&agrave; hồi quy, thậm ch&iacute; c&oacute; thể thực hiện c&aacute;c c&ocirc;ng việc y&ecirc;u cầu xuất nhiều dạng dữ liệu kh&aacute;c nhau. C&acirc;y quyết định c&oacute; tiềm năng lớn, hiệu suất ổn định khi thực hiện học tr&ecirc;n c&aacute;c tập dữ liệu phức tạp.
M&ocirc; h&igrave;nh C&acirc;y quyết định l&agrave; c&ograve;n l&agrave; nền tảng của một thuật to&aacute;n học m&aacute;y kh&aacute;c, l&agrave; Rừng ngẫu nhi&ecirc;n (Random Forests), một trong c&aacute;c thuật to&aacute;n mạnh nhất hiện nay.
Trong học m&aacute;y, m&ocirc; h&igrave;nh C&acirc;y quyết định nhận đầu ra l&agrave; c&aacute;c gi&aacute; trị rời rạc trong tập hữu hạn được gọi l&agrave; c&acirc;y ph&acirc;n loại (classification trees). Với mục đ&iacute;ch ph&acirc;n loại, c&aacute;c n&uacute;t l&aacute; sẽ biểu diễn c&aacute;c kết quả ph&acirc;n loại của thuật to&aacute;n, v&agrave; c&aacute;c nh&aacute;nh thể hiện ph&eacute;p giao giữa c&aacute;c đặc trưng dẫn tới c&aacute;c kết quả đo&aacute;n nhận.&nbsp;
Những m&ocirc; h&igrave;nh C&acirc;y quyết định nhận đầu ra l&agrave; c&aacute;c gi&aacute; trị li&ecirc;n tục (thường l&agrave; số thực) được gọi l&agrave; c&acirc;y hồi quy (regression trees).
Ta c&oacute; thể mở rộng kh&aacute;i niệm c&acirc;y hồi quy với những m&ocirc; h&igrave;nh sử dụng c&aacute;c cặp đặc trưng kh&ocirc;ng tương đồng, như c&aacute;c chuỗi danh mục (catagorical sequences).
C&acirc;y quyết định l&agrave; một trong c&aacute;c m&ocirc; h&igrave;nh học m&aacute;y nổi tiếng do t&iacute;nh đơn giản, dễ hiểu.
<h2>Tổng quan:</h2>
Một c&acirc;y quyết định l&agrave; một cấu tr&uacute;c thuật to&aacute;n giống như flowchart, với mỗi một n&uacute;t (node) l&agrave; một ph&eacute;p so s&aacute;nh, nhằm thực hiện thử một đặc trưng n&agrave;o đ&oacute;. Mỗi một nh&aacute;nh (branch, edge, etc.) thể hiện kết quả của ph&eacute;p so s&aacute;nh đ&oacute;, v&agrave; mỗi một ngọn, tức n&uacute;t cuối (leaf node), biểu diễn kết quả ph&acirc;n loại của thuật to&aacute;n, sau khi t&iacute;nh . Đường đi từ gốc đến ngọn thể hiện luật ph&acirc;n loại (classification rules).
Mục ti&ecirc;u ch&iacute;nh l&agrave; x&acirc;y dựng được một m&ocirc; h&igrave;nh c&oacute; khả năng dự đo&aacute;n gi&aacute; trị của đầu ra dựa v&agrave;o một v&agrave;i biến đầu v&agrave;o.&nbsp;
C&acirc;y quyết định l&agrave; một m&ocirc; h&igrave;nh đơn giản để ta ph&acirc;n loại dữ liệu. Ch&uacute;ng ta giả sử rằng c&aacute;c đặc trưng của dữ liệu đầu v&agrave;o thuộc c&aacute;c miền rời rạc c&oacute; hạn, v&agrave; đầu ra chỉ l&agrave; một biến đơn, gọi l&agrave; lớp đo&aacute;n nhận. Mỗi một phần tử trong miền đo&aacute;n nhận được gọi l&agrave; một lớp. Một c&acirc;y đo&aacute;n nhận hoặc một c&acirc;y ph&acirc;n loại l&agrave; c&acirc;y c&oacute; c&aacute;c n&uacute;t kh&ocirc;ng phải l&aacute; được đ&aacute;nh nh&atilde;n với một đặc trưng của dữ liệu đầu v&agrave;o. C&aacute;c nh&aacute;nh con từ c&aacute;c n&uacute;t kh&ocirc;ng phải l&aacute; được đ&aacute;nh dấu bằng c&aacute;c gi&aacute; trị c&oacute; thể đạt được của n&uacute;t đ&oacute;, hoặc dẫn tới một n&uacute;t kh&ocirc;ng phải l&aacute; đại diện cho đặc trưng kh&aacute;c. C&aacute;c n&uacute;t l&aacute; của c&acirc;y được đ&aacute;nh dấu bằng nh&atilde;n của dữ liệu, hoặc x&aacute;c suất cụ thể dữ liệu sẽ rơi v&agrave;o nh&atilde;n đ&oacute;. Nếu c&acirc;y quyết định được x&acirc;y tốt, c&acirc;y đ&oacute; sẽ bị nghi&ecirc;ng về một tập con c&aacute;c lớp cụ thể.
C&acirc;y được x&acirc;y bằng c&aacute;ch ph&acirc;n chia nhiều lần tập đặc trưng lớn nhất, tạo n&ecirc;n gốc của c&acirc;y, th&agrave;nh c&aacute;c tập con, tạo n&ecirc;n những c&acirc;y con. Qu&aacute; tr&igrave;nh ph&acirc;n chia được tạo th&ocirc;ng qua c&aacute;c quy tắc dựa v&agrave;o những đặc trưng, thường sẽ theo quy tắc sau: Ta bắt đầu từ một c&acirc;y với một n&uacute;t l&aacute; duy nhất, tức gốc của c&acirc;y, v&agrave; g&aacute;n cho l&aacute; n&agrave;y một nh&atilde;n, dựa tr&ecirc;n luật đa số giữa c&aacute;c nh&atilde;n tr&ecirc;n to&agrave;n bộ tập huấn luyện. Sau đ&oacute;, ta thực hiện một loạt c&aacute;c bước tiến. Với mỗi bước tiến, ta xem x&eacute;t c&aacute;c hệ quả khi ph&acirc;n nh&aacute;nh. Ta định nghĩa một h&agrave;m tăng trưởng (hoặc h&agrave;m mất m&aacute;t), nhằm đo sự tăng trưởng của hiệu suất m&ocirc; h&igrave;nh sau khi ph&acirc;n nh&aacute;nh. Trong c&aacute;c trường hợp ph&acirc;n nh&aacute;nh kh&aacute;c nhau, ta chọn c&aacute;ch ph&acirc;n nh&aacute;nh gi&uacute;p ta tối đa h&oacute;a tăng trưởng hiệu suất m&ocirc; h&igrave;nh, hoặc c&oacute; thể chọn kh&ocirc;ng ph&acirc;n nh&aacute;nh.&nbsp;
Qu&aacute; tr&igrave;nh ph&acirc;n chia tr&ecirc;n c&aacute;c tập con kế tiếp được thực hiện theo kiểu đệ quy được gọi l&agrave; ph&acirc;n hoạch đệ quy (recursive partitioning). Qu&aacute; tr&igrave;nh đệ quy ho&agrave;n th&agrave;nh khi c&aacute;c l&aacute; đ&atilde; bao phủ to&agrave;n bộ c&aacute;c đặc trưng, hoặc khi qu&aacute; tr&igrave;nh ph&acirc;n chia kh&ocirc;ng c&ograve;n th&ecirc;m hiệu suất cho m&ocirc; h&igrave;nh. Qu&aacute; tr&igrave;nh x&acirc;y dựng c&acirc;y theo quy nạp từ tr&ecirc;n xuống (top-down induction of decision trees - viết tắt: TDIDT) l&agrave; giải thuật tham lam (greedy algorithm), v&agrave; l&agrave; chiến thuật th&ocirc;ng dụng nhất để huấn luyện c&acirc;y quyết định từ dữ liệu.
Trong khai ph&aacute; dữ liệu, c&aacute;c c&acirc;y quyết định được mi&ecirc;u tả th&ocirc;ng qua c&aacute;c kỹ thuật to&aacute;n học v&agrave; kỹ thuật t&iacute;nh to&aacute;n để gi&uacute;p m&ocirc; tả, ph&acirc;n loại v&agrave; kh&aacute;i qu&aacute;t h&oacute;a dữ liệu.&nbsp;
Dữ liệu thường được tổ chức dưới dạng:
$$(\mathbb{x}, Y) = (x_1, x_2, x_3, ... , x_k, Y)$$
Biến phụ thuộc, Y ch&iacute;nh l&agrave; nh&atilde;n, hay l&agrave; đầu ra mong muốn m&agrave; ta cần phải học, ph&acirc;n loại v&agrave; kh&aacute;i qu&aacute;t h&oacute;a. Vector $\mathbb{x}$ được tạo bởi c&aacute;c đặc trưng, $x_1, x_2, x_3,...$, được sử dụng cho mục đ&iacute;ch tr&ecirc;n.
C&acirc;y quyết định trong khai ph&aacute; dữ liệu c&oacute; 2 kiểu:
<ul>
<li>C&acirc;y ph&acirc;n loại l&agrave; c&acirc;y c&oacute; gi&aacute; trị đầu ra l&agrave; c&aacute;c lớp rời rạc của dữ liệu.</li>
<li>C&acirc;y hồi quy l&agrave; c&acirc;y c&oacute; gi&aacute; trị đầu ra l&agrave; c&aacute;c gi&aacute; trị thực</li>
</ul>
Thuật to&aacute;n CART, c&acirc;y ph&acirc;n loại v&agrave; hồi quy (classification and regression tree), l&agrave; thuật ngữ n&oacute;i chung để &aacute;m chỉ bất kỳ 2 loại c&acirc;y tr&ecirc;n, được Breiman v&agrave; đồng nghiệp sử dụng lần đầu ti&ecirc;n năm 1984. C&acirc;y hồi quy v&agrave; c&acirc;y ph&acirc;n loại c&oacute; một số điểm tương đồng cũng như kh&aacute;c biệt, v&iacute; dụ như luật để quyết định ph&acirc;n nh&aacute;nh.&nbsp;
Một số kỹ thuật kh&aacute;c, thường được gọi l&agrave; c&aacute;c kỹ thuật học kết hợp (ensemble methods), x&acirc;y dựng nhiều c&acirc;y c&ugrave;ng một l&uacute;c:
<ul>
<li>Boosted trees: x&acirc;y dựng một tập thể bằng c&aacute;ch huấn luyện từng c&acirc;y ri&ecirc;ng lẻ để hỗ trợ c&aacute;c c&acirc;y sai lệch trước đ&oacute;.</li>
<li>Bootstrap aggregated: x&acirc;y dựng nhiều c&acirc;y quyết định c&ugrave;ng một l&uacute;c bằng c&aacute;ch li&ecirc;n tục t&aacute;i lẫy mẫu v&agrave; thay thế c&aacute;c tập dữ liệu con, v&agrave; thực hiện biểu quyết để quyết định nh&atilde;n đầu ra. Một v&iacute; dụ điển h&igrave;nh ch&iacute;nh l&agrave; Random Forest.</li>
<li>Rotation forest: x&acirc;y dựng nhiều c&acirc;y quyết định, với mỗi c&acirc;y quyết định được huấn luyện tr&ecirc;n c&aacute;c tập dữ liệu con với c&aacute;c đặc trưng được lựa chọn ngẫu nhi&ecirc;n. Trước khi huấn luyện, c&aacute;c tập dữ liệu con được thực hiện PCA.</li>
</ul>
C&aacute;c thuật to&aacute;n nổi tiếng gồm:
<ul>
<li>ID3 (Iterative Dichotomiser 3)</li>
<li>C4.5</li>
<li>CART</li>
<li>Chi-square automatic interaction detection</li>
<li>MARS</li>
<li>C&acirc;y quy nạp điều kiện</li>
</ul>
ID3 v&agrave; CART được ph&aacute;t minh độc lập trong c&ugrave;ng một khoảng thời gian (giữa 1970 -&gt; 1980), nhưng c&ugrave;ng một hướng tiếp cận để huấn luyện c&acirc;y quyết định từ c&aacute;c bộ dữ liệu.
<h2>C&aacute;c ph&eacute;p đo để đ&aacute;nh gi&aacute; c&acirc;y quyết định:</h2>
<h3>Ước lượng số kết quả dương t&iacute;nh ch&iacute;nh x&aacute;c (Estimate of Positive Correctness):</h3>
Một phương ph&aacute;p đ&aacute;nh gi&aacute; độ ch&iacute;nh x&aacute;c đơn giản ch&iacute;nh l&agrave; t&iacute;nh độ lệch giữa gi&aacute; trị dương t&iacute;nh thật (True Positive) v&agrave; gi&aacute; trị dương t&iacute;nh giả (False Positive):
$$E_P = TP - FP$$
<h2>Ti&ecirc;u ch&iacute; ph&acirc;n t&aacute;ch (Selection criterion)</h2>
Độ thuần khiết Gini (hay c&ograve;n gọi l&agrave; độ vẩn đục Gini) v&agrave; Độ tăng dữ liệu (c&ograve;n gọi l&agrave; độ lợi dữ liệu) l&agrave; 2 ti&ecirc;u ch&iacute; ph&acirc;n t&aacute;ch quan trọng để hỗ trợ C&acirc;y quyết định ph&acirc;n nh&aacute;nh.&nbsp;
<h3>Độ thuần khiết Gini (Gini impurity, kh&aacute;c với hệ số Gini - Gini index)</h3>
Độ thuần khiết Gini được sử dụng bởi thuật to&aacute;n CART, l&agrave; độ đo tần suất một phần tử được chọn ngẫu nhi&ecirc;n từ tập hợp bị d&aacute;n nh&atilde;n sai nếu n&oacute; được d&aacute;n nh&atilde;n ngẫu nhi&ecirc;n theo ph&acirc;n phối nh&atilde;n trong tập dữ liệu con.
Độ thuần khiết Gini được t&iacute;nh bằng c&aacute;ch lấy tổng x&aacute;c suất $p_i$ của bản ghi $i$ được chọn nh&acirc;n với x&aacute;c suất $\sum_{k \neq i} p_k = 1 - p_i$, tức x&aacute;c suất khi ph&acirc;n loại sai bản ghi $i$. Độ thuần khiết đạt gi&aacute; trị nhỏ nhất, tức bằng $0$ khi tất cả c&aacute;c trường hợp tại điểm n&uacute;t cuối đều rơi v&agrave;o c&ugrave;ng một gi&aacute; trị.
Độ thuần khiết Gini cũng l&agrave; độ đo l&yacute; thuyết th&ocirc;ng tin v&agrave; tương ứng với entropy dạng Tsallis với hệ số biến dạng $q=2$, trong Vật l&yacute;, c&ocirc;ng thức entropy n&agrave;y đại diện cho t&iacute;nh mất th&ocirc;ng tin trong c&aacute;c hệ thống lượng tử mất c&acirc;n bằng, tắt dần.
Khi c&oacute; $q \rightarrow 1$, c&ocirc;ng thức trở về dạng Boltzmann - Gibbs hoặc c&ocirc;ng thức entropy của Shannon. Với c&aacute;c điều kiện n&agrave;y, độ thuần khiết Gini c&oacute; t&aacute;c dụng như một biến thể của ph&eacute;p đo entropy cho c&aacute;c c&acirc;y quyết định.
Để t&iacute;nh độ thuần khiết Gini cho một tập c&aacute;c điểm dữ liệu c&oacute; $J$ lớp, với $i \in \{1,2,...,J\}$. v&agrave; để $p_i$ l&agrave; lượng bản ghi được đ&aacute;nh dấu với lớp $i$ trong tập hợp, th&igrave;: $$I_g (p) = \sum\limits_{i=1}^J(p_i \sum\limits_{k \neq i}) p_k) = \sum\limits^J_{i=1} (p_i - p_i^2) = \sum\limits^J_{i=1} p_i - \sum\limits^J_{i=1} p_i^2 = 1 - \sum\limits^J_{i=1} p_i^2$$
<h3>Độ tăng th&ocirc;ng tin (Information gain)</h3>
Độ tăng th&ocirc;ng tin dựa v&agrave;o kh&aacute;i niệm entropy v&agrave; kh&aacute;i niệm nội dung th&ocirc;ng tin trong l&yacute; thuyết th&ocirc;ng tin.
Định nghĩa của entropy:
$${\displaystyle \mathrm {H} (T)=\operatorname {I} _{E}\left(p_{1},p_{2},\ldots ,p_{J}\right)=-\sum _{i=1}^{J}p_{i}\log _{2}p_{i}}$$
trong đ&oacute;, $p_1, p_2,..$ l&agrave; c&aacute;c x&aacute;c suất dữ liệu rơi v&agrave;o từng lớp tại n&uacute;t con xuất ph&aacute;t từ ph&acirc;n nh&aacute;nh của c&acirc;y.
$${\displaystyle \overbrace {IG(T,a)} ^{\text{information gain}}=\overbrace {\mathrm {H} (T)} ^{\text{entropy (parent)}}-\overbrace {\mathrm {H} (T\mid a)} ^{\text{sum of entropies (children)}}}$$
$${\displaystyle =-\sum _{i=1}^{J}p_{i}\log _{2}p_{i}-\sum _{i=1}^{J}-\Pr(i\mid a)\log _{2}\Pr(i\mid a)}$$
Ta sau đ&oacute; lấy trung b&igrave;nh của c&aacute;c gi&aacute; trị c&oacute; thể xảy ra của $A$
$${\displaystyle \overbrace {E_{A}(\operatorname {IG} (T,a))} ^{\text{expected information gain}}=\overbrace {I(T;A)} ^{{\text{mutual information between }}T{\text{ and }}A}=\overbrace {\mathrm {H} (T)} ^{\text{entropy (parent)}}-\overbrace {\mathrm {H} (T\mid A)} ^{\text{weighted sum of entropies (children)}}}$$
$${\displaystyle =-\sum _{i=1}^{J}p_{i}\log _{2}p_{i}-\sum _{a}p(a)\sum _{i=1}^{J}-\Pr(i\mid a)\log _{2}\Pr(i\mid a)}$$
Ta t&iacute;nh tổng c&aacute;c entropy c&oacute; trọng số th&ocirc;ng qua c&ocirc;ng thức sau:
$${\displaystyle {\mathrm {H} (T\mid A)}=\sum _{a}p(a)\sum _{i=1}^{J}-\Pr(i\mid a)\log _{2}\Pr(i\mid a)}$$
Tức, lượng th&ocirc;ng tin tăng l&ecirc;n theo dự kiến ch&iacute;nh l&agrave; lượng th&ocirc;ng tin tương quan (mutual information). T&iacute;nh trung b&igrave;nh th&igrave; lượng entropy $T$ giảm đi cũng ch&iacute;nh l&agrave; lượng th&ocirc;ng tin tương quan.
Lượng th&ocirc;ng tin tăng l&ecirc;n ch&iacute;nh l&agrave; ti&ecirc;u ch&iacute; để ta quyết định c&acirc;y ph&acirc;n nh&aacute;nh dưa tr&ecirc;n đặc trưng n&agrave;o. Tại mỗi điểm ph&acirc;n nh&aacute;nh, ta n&ecirc;n chọn c&aacute;ch ph&acirc;n nh&aacute;nh để c&oacute; thể tạo ra c&aacute;c n&uacute;t con nhất qu&aacute;n nhất. Để x&acirc;y dựng c&acirc;y, ta cần t&iacute;nh độ tăng th&ocirc;ng tin của c&aacute;c c&aacute;ch ph&acirc;n nh&aacute;nh c&oacute; thể xảy ra. C&aacute;ch ph&acirc;n nh&aacute;nh tốt nhất ch&iacute;nh l&agrave; c&aacute;ch tối ưu dộ tăng th&ocirc;ng tin nhất. Qu&aacute; tr&igrave;nh n&agrave;y được lặp lại nhiều lần với c&aacute;c n&uacute;t kh&ocirc;ng l&aacute; cho đến khi c&acirc;y ho&agrave;n thiện.
Độ thuần khiết Gini v&agrave; độ tăng th&ocirc;ng tin l&agrave; hai độ đo th&ocirc;ng tin để quyết định ph&acirc;n nh&aacute;nh. Th&ocirc;ng thường, sử dụng một trong hai độ đo n&agrave;y sẽ kh&ocirc;ng tạo ra hiệu suất qu&aacute; kh&aacute;c biệt. Thường, độ thuần khiết Gini sẽ nhanh hơn, n&ecirc;n được sử dụng nhiều hơn. V&agrave; th&ocirc;ng thường, c&acirc;y tạo ra bởi 2 độ đo n&agrave;y cũng tương tự nhau. Độ thuần khiết Gini sẽ cho ta c&acirc;y với c&aacute;c nh&aacute;nh c&ocirc; lập theo ph&acirc;n phối dữ liệu, trong khi đ&oacute; th&igrave; độ tăng th&ocirc;ng tin cho ta c&acirc;y c&acirc;n bằng hơn.&nbsp;
Ta c&oacute; thể thấy sự kh&aacute;c biệt th&ocirc;ng qua ảnh sau:
<img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/7b38c173-ca86-4476-b960-fd827692634c" alt="gini v" />
Ta c&oacute; bảng so s&aacute;nh giữa 2 phương ph&aacute;p như sau:
<table style="border-collapse: collapse; width: 100%; height: 111.953px;" border="1">
<tbody>
<tr style="height: 22.3906px;">
<td style="width: 48.9821%; height: 22.3906px;">Gini</td>
<td style="width: 48.9821%; height: 22.3906px;">Information Gain (Entropy)</td>
</tr>
<tr style="height: 22.3906px;">
<td style="width: 48.9821%; height: 22.3906px;">T&iacute;nh bằng 1 - b&igrave;nh phương của tổng x&aacute;c suất từng lớp</td>
<td style="width: 48.9821%; height: 22.3906px;">T&iacute;nh bằng c&aacute;ch lấy x&aacute;c suất lớp đ&oacute; nh&acirc;n với $log_2$ x&aacute;c suất lớp đ&oacute;</td>
</tr>
<tr style="height: 22.3906px;">
<td style="width: 48.9821%; height: 22.3906px;">Ưu ti&ecirc;n lớp c&oacute; x&aacute;c suất lớn hơn trong tập dữ liệu, v&agrave; rất dễ ứng dụng</td>
<td style="width: 48.9821%; height: 22.3906px;">Ưu ti&ecirc;n c&aacute;c lớp c&oacute; x&aacute;c suất nhỏ hơn, với nhiều gi&aacute; trị rời&nbsp;</td>
</tr>
<tr style="height: 22.3906px;">
<td style="width: 48.9821%; height: 22.3906px;">Được sử dụng trong thuật to&aacute;n CART</td>
<td style="width: 48.9821%; height: 22.3906px;">Được sử dụng trong thuật to&aacute;n ID3, C4.5</td>
</tr>
<tr style="height: 22.3906px;">
<td style="width: 48.9821%; height: 22.3906px;">Khi l&agrave;m việc với dư liệu dạng categorical, độ thuần khiết Gini trả về kết quả 1 hoặc 0, v&agrave; chỉ thực hiện ph&acirc;n nh&aacute;nh nhị ph&acirc;n.</td>
<td style="width: 48.9821%; height: 22.3906px;">Đo hiệu entropy trước v&agrave; sau khi ph&acirc;n nh&aacute;nh v&agrave; thể hiện t&iacute;nh vẩn đục trong c&aacute;c n&uacute;t.</td>
</tr>
</tbody>
</table>
&nbsp;
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Tổng Quan Về Thuật Toán Cây Quyết Định