<pre style="text-align: center;"><em>"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần <br />n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. <br />Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> <br />hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</em></pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
<p style="text-align: justify;">Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.</p>
<p style="text-align: justify;">Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.</p>
<p style="text-align: justify;">C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.</p>
<p style="text-align: justify;">Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.</p>
<p style="text-align: justify;">Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.</p>
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

<div>
<p><em>"C&acirc;y quyết định được huấn luyện dựa tr&ecirc;n bất kỳ dữ liệu huấn luyện n&agrave;o, c&oacute; nguy cơ bị overfitting dữ liệu huấn luyện."</em></p>
<p>&Yacute; của c&acirc;u n&agrave;y c&oacute; nghĩa l&agrave;, mỗi l&aacute; của c&acirc;y sẽ phản &aacute;nh một tập hợp c&aacute;c tổ hợp thuộc t&iacute;nh rất cụ thể được nh&igrave;n thấy trong dữ liệu huấn luyện v&agrave; do đ&oacute; c&acirc;y sẽ kh&ocirc;ng thể ph&acirc;n loại c&aacute;c tổ hợp gi&aacute; trị thuộc t&iacute;nh kh&ocirc;ng được thấy trong dữ liệu huấn luyện.</p>
<p>Để điều tr&ecirc;n kh&ocirc;ng xảy ra, ch&uacute;ng ta phải cắt tỉa c&acirc;y quyết định. Bằng c&aacute;ch cắt tỉa, ch&uacute;ng ta c&oacute; thể l&agrave;m cho phần dưới (l&aacute;) của c&acirc;y được 'cắt' cho đến khi c&acirc;y nhỏ lại. H&igrave;nh dưới đ&acirc;y cho thấy một v&iacute; dụ về một c&acirc;y đầy đủ, v&agrave; c&ugrave;ng một c&acirc;y sau khi được cắt tỉa.</p>
<p><img style="width: 100%; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/8a63aa9c-79aa-42c0-8690-aefa7f4de1a8" alt="prune1" /></p>
<p>Việc cắt tỉa c&oacute; thể được thực hiện theo nhiều c&aacute;ch. Trong b&agrave;i viết n&agrave;y ch&uacute;ng ta sẽ t&igrave;m hiểu 2 c&aacute;ch sau đ&acirc;y:</p>
<ul>
<li>Cắt tỉa theo th&ocirc;ng tin thu được</li>
<li>Cắt tỉa theo ph&acirc;n loại hiệu suất tr&ecirc;n tập x&aacute;c thực (Validation Set)</li>
</ul>
<p>Ch&uacute;ng ta h&atilde;y đi v&agrave;o chi tiết của từng c&aacute;ch.</p>
<h2>Cắt tỉa theo th&ocirc;ng tin thu được</h2>
<p>Kỹ thuật đơn giản nhất l&agrave; cắt tỉa c&aacute;c phần của c&acirc;y m&agrave; thu được &iacute;t th&ocirc;ng tin nhất. Quy tr&igrave;nh n&agrave;y kh&ocirc;ng y&ecirc;u cầu bất kỳ dữ liệu bổ sung n&agrave;o v&agrave; chỉ căn cứ v&agrave;o th&ocirc;ng tin đ&atilde; được t&iacute;nh to&aacute;n khi c&acirc;y được x&acirc;y dựng từ dữ liệu huấn luyện. Qu&aacute; tr&igrave;nh cắt tỉa dựa tr&ecirc;n th&ocirc;ng tin thu được y&ecirc;u cầu ch&uacute;ng ta x&aacute;c định 'c&agrave;nh c&acirc;y', c&aacute;c n&uacute;t m&agrave; con của ch&uacute;ng đều l&agrave; l&aacute;. 'Tỉa' một c&agrave;nh c&acirc;y sẽ loại bỏ tất cả c&aacute;c l&aacute; l&agrave; con của c&agrave;nh c&acirc;y, v&agrave; l&agrave;m cho c&agrave;nh c&acirc;y trở th&agrave;nh một chiếc l&aacute;. H&igrave;nh dưới đ&acirc;y minh họa điều n&agrave;y.</p>
<p><img style="width: 100%; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/ec9b7042-7487-48e6-a8c6-5cbc66ab8e27" alt="prune2" /></p>
<p>Thuật to&aacute;n cắt tỉa như sau:</p>
<ol>
<li>Lập danh mục tất cả c&aacute;c c&agrave;nh c&acirc;y tr&ecirc;n c&acirc;y.</li>
<li>Đếm tổng số l&aacute; tr&ecirc;n c&acirc;y.</li>
<li>Trong khi số lượng l&aacute; tr&ecirc;n c&acirc;y vượt qu&aacute; số lượng mong muốn:</li>
</ol>
<ul>
<li style="list-style-type: none;">
<ul>
<li>T&igrave;m c&agrave;nh c&acirc;y c&oacute; &iacute;t th&ocirc;ng tin thu được nhất</li>
<li>Loại bỏ tất cả c&aacute;c n&uacute;t con của c&agrave;nh c&acirc;y.</li>
<li>Gắn lại c&agrave;nh c&acirc;y như một chiếc l&aacute;.</li>
<li>Cập nhật số lượng l&aacute;. Dưới đ&acirc;y l&agrave; m&atilde; giả cho thuật to&aacute;n cắt tỉa n&agrave;y.</li>
</ul>
</li>
</ul>
<div class="code-editor__wrapped code-editor__read__wrapped" data-id="fa1f01b0-f51b-4058-bd97-ca22043f818d">
<table class="code-editor__table" data-id="c934f91f-08bc-44dd-bb6a-7cc76d2f8067">
<tbody>
<tr class="code-editor__run__row__first">
<td colspan="2">Read_Code (*** ph&acirc;n biệt ***)</td>
</tr>
<tr>
<td>Python 3</td>
<td>
<pre class="language-python" data-content="#&nbsp;Count&nbsp;leaves&nbsp;in&nbsp;a&nbsp;tree
def&nbsp;countLeaves(decisiontree):
&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;decisiontree.isLeaf:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;1
&nbsp;&nbsp;&nbsp;&nbsp;else
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;n&nbsp;=&nbsp;0
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;each&nbsp;child&nbsp;in&nbsp;decisiontree.children:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;n&nbsp;+=&nbsp;countLeaves(child)
&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;n


#&nbsp;Check&nbsp;if&nbsp;a&nbsp;node&nbsp;is&nbsp;a&nbsp;twig
def&nbsp;isTwig(decisionTree)
&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;each&nbsp;child&nbsp;in&nbsp;decisiontree.children:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;not&nbsp;child.isLeaf:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;False
&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;True


#&nbsp;Make&nbsp;a&nbsp;heap&nbsp;of&nbsp;twigs.&nbsp;&nbsp;The&nbsp;default&nbsp;heap&nbsp;is&nbsp;empty
def&nbsp;collectTwigs(decisionTree,&nbsp;heap=[])
&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;isTwig(decisionTree):
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;heappush(heap,(decisionTree.@nodeInformationGain,&nbsp;decisionTree))
&nbsp;&nbsp;&nbsp;&nbsp;else
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;each&nbsp;child&nbsp;in&nbsp;decisiontree.children:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;collectTwigs(child,heap)
&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;heap


#&nbsp;Prune&nbsp;a&nbsp;tree&nbsp;to&nbsp;have&nbsp;nLeaves&nbsp;leaves
#&nbsp;Assuming&nbsp;heappop&nbsp;pops&nbsp;smallest&nbsp;value
def&nbsp;prune(dTree,&nbsp;nLeaves):
&nbsp;&nbsp;&nbsp;&nbsp;totalLeaves&nbsp;=&nbsp;countLeaves(dTtree)
&nbsp;&nbsp;&nbsp;&nbsp;twigHeap&nbsp;=&nbsp;collectTwigs(dTree)
&nbsp;&nbsp;&nbsp;&nbsp;while&nbsp;totalLeaves&nbsp;&gt;&nbsp;nLeaves:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;twig&nbsp;=&nbsp;heappop(twigHeap)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;totalLeaves&nbsp;-=&nbsp;(length(twig.@children)&nbsp;-&nbsp;1)&nbsp;#Trimming&nbsp;the&nbsp;twig&nbsp;removes
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#numChildren&nbsp;leaves,&nbsp;but&nbsp;adds
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#the&nbsp;twig&nbsp;itself&nbsp;as&nbsp;a&nbsp;leaf
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;twig.@chidren&nbsp;=&nbsp;null&nbsp;&nbsp;#&nbsp;Kill&nbsp;the&nbsp;chilren
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;twig.@isLeaf&nbsp;=&nbsp;True
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;twig.@nodeInformationGain&nbsp;=&nbsp;0

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#&nbsp;Check&nbsp;if&nbsp;the&nbsp;parent&nbsp;is&nbsp;a&nbsp;twig&nbsp;and,&nbsp;if&nbsp;so,&nbsp;put&nbsp;it&nbsp;in&nbsp;the&nbsp;heap
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;parent&nbsp;=&nbsp;twig.@parent
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;isTwig(parent):
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;heappush(twigHeap,(parent.@nodeInformationGain,&nbsp;parent))
&nbsp;&nbsp;&nbsp;&nbsp;return" data-language="python" data-ace-language="python" data-name-language="Python 3" data-main-file="main.python"><code># Count leaves in a tree
def countLeaves(decisiontree):
    if decisiontree.isLeaf:
        return 1
    else
        n = 0
        for each child in decisiontree.children:
            n += countLeaves(child)
    return n


# Check if a node is a twig
def isTwig(decisionTree)
    for each child in decisiontree.children:
        if not child.isLeaf:
            return False
    return True


# Make a heap of twigs.  The default heap is empty
def collectTwigs(decisionTree, heap=[])
    if isTwig(decisionTree):
        heappush(heap,(decisionTree.@nodeInformationGain, decisionTree))
    else
        for each child in decisiontree.children:
            collectTwigs(child,heap)
    return heap


# Prune a tree to have nLeaves leaves
# Assuming heappop pops smallest value
def prune(dTree, nLeaves):
    totalLeaves = countLeaves(dTtree)
    twigHeap = collectTwigs(dTree)
    while totalLeaves &gt; nLeaves:
        twig = heappop(twigHeap)
        totalLeaves -= (length(twig.@children) - 1) #Trimming the twig removes
                                                    #numChildren leaves, but adds
                                                    #the twig itself as a leaf
        twig.@chidren = null  # Kill the chilren
        twig.@isLeaf = True
        twig.@nodeInformationGain = 0

        # Check if the parent is a twig and, if so, put it in the heap
        parent = twig.@parent
        if isTwig(parent):
            heappush(twigHeap,(parent.@nodeInformationGain, parent))
    return</code></pre>
</td>
</tr>
</tbody>
</table>
</div>
<h2>Cắt tỉa theo ph&acirc;n loại hiệu suất tr&ecirc;n tập x&aacute;c thực (Validation Set)</h2>
<p>Một c&aacute;ch tiếp cận thay thế l&agrave; cắt tỉa c&acirc;y để tối đa h&oacute;a hiệu suất ph&acirc;n loại tr&ecirc;n tập x&aacute;c thực (tập dữ liệu c&oacute; c&aacute;c nh&atilde;n đ&atilde; biết, kh&ocirc;ng được sử dụng để huấn luyện c&acirc;y). Ch&uacute;ng ta chuyển dữ liệu x&aacute;c thực xuống c&acirc;y. Tại mỗi n&uacute;t, ghi lại tổng số phi&ecirc;n bản v&agrave; số lần ph&acirc;n loại sai, nếu n&uacute;t đ&oacute; thực sự l&agrave; một l&aacute;. Ch&uacute;ng ta sẽ l&agrave;m điều n&agrave;y ở tất cả c&aacute;c n&uacute;t v&agrave; c&aacute;c l&aacute;. Sau đ&oacute;, cắt tỉa tất cả c&aacute;c c&agrave;nh m&agrave; việc cắt tỉa dẫn đến sự gia tăng sai số ph&acirc;n loại tổng thể l&agrave; nhỏ nhất. Thuật to&aacute;n tổng thể để cắt tỉa như sau:</p>
<p>Đối với mỗi trường hợp của dữ liệu x&aacute;c thực:</p>
<p>Đệ quy pass</p>
<ol>
<li>Lập danh mục tất cả c&aacute;c c&agrave;nh c&acirc;y tr&ecirc;n c&acirc;y.</li>
<li>Đếm tổng số l&aacute; tr&ecirc;n c&acirc;y.</li>
<li>Trong khi số lượng l&aacute; tr&ecirc;n c&acirc;y vượt qu&aacute; số lượng mong muốn:
<ol>
<li>T&igrave;m c&agrave;nh c&acirc;y c&oacute; &iacute;t th&ocirc;ng tin thu được nhất</li>
<li>Loại bỏ tất cả c&aacute;c n&uacute;t con của c&agrave;nh c&acirc;y.</li>
<li>Gắn lại c&agrave;nh c&acirc;y như một chiếc l&aacute;.</li>
<li>Cập nhật số lượng l&aacute;.</li>
</ol>
</li>
</ol>
<p>Dưới đ&acirc;y l&agrave; m&atilde; giả cho thuật to&aacute;n cắt tỉa n&agrave;y.</p>
<div class="code-editor__wrapped code-editor__read__wrapped" data-id="7bf2272f-66fb-4e8f-b266-37dbcdebffee">
<table class="code-editor__table" data-id="f34bbb90-9949-4821-b35c-ebd58a3e31a2">
<tbody>
<tr class="code-editor__run__row__first">
<td colspan="2">Read_Code (*** ph&acirc;n biệt ***)</td>
</tr>
<tr>
<td>Python 3</td>
<td>
<pre class="language-python" data-content="#&nbsp;First&nbsp;pass&nbsp;:&nbsp;evaluate&nbsp;validation&nbsp;data&nbsp;and&nbsp;note&nbsp;the&nbsp;classification&nbsp;at&nbsp;each&nbsp;node
#&nbsp;Assuming&nbsp;that&nbsp;" data-language="python" data-ace-language="python" data-name-language="Python 3" data-main-file="main.python"><code># First pass : evaluate validation data and note the classification at each node
# Assuming that "valData" includes "attributes" and "labels"

# First create an empty list of error counts at nodes
def createNodeList(dTree, nodeError=[]):
    nodeError[dTree] = 0
    for child in dTree.@children
        createNodeList(dTree, nodeError)
    return nodeError

# Pass a single instance down the tree and note node errors
def classifyValidationDataInstance(dTree, validationDataInstance, nodeError):
    if (dTree.@majorityClass != validationDataInstance.label):
        nodeError[dTree] += 1
    if (not @isLeaf):
        childNode = dTree.@children[testAttributes[@bestAttribute]]
        classifyValidationDataInstance(childNode, testAttributes, nodeError)
    return 

# Count total node errors for validation data
def classifyValidationData(dTree, validationData):
    nodeErrorCounts = createNodeList(dTree)
    for instance in validationData:
        classifyValidationDataInstance(child, instance, nodeErrorCounts)
    return nodeErrorCounts


# Second pass:  Create a heap with twigs using nodeErrorCounts
def collectTwigsByErrorCount(decisionTree, nodeErrorCounts, heap=[])
    if isTwig(decisionTree):
        # Count how much the error would increase if the twig were trimmed
        twigErrorIncrease = nodeErrorCounts[decisionTree]
        for child in decisionTree.@children
            twigErrorIncrease -= nodeErrorCounts[child]
        heappush(heap,(twigErrorIncrease, decisionTree))
    else
        for each child in decisiontree.children:
            collectTwigsByErrorCount(child, nodeErrorCounts, heap)
    return heap



# Third pass: Prune a tree to have nLeaves leaves
# Assuming heappop pops smallest value
def pruneByClassificationError(dTree, validationData, nLeaves):
    # First obtain error counts for validation data
    nodeErrorCounts = classifyValidationData(dTree, validationData)
    # Get Twig Heap
    twigHeap = collectTwigsByErrorCount(dTree, nodeErrorCounts)

    totalLeaves = countLeaves(dTtree)
    while totalLeaves &gt; nLeaves:
        twig = heappop(twigHeap)
        totalLeaves -= (length(twig.@children) - 1) #Trimming the twig removes
                                                    #numChildren leaves, but adds
                                                    #the twig itself as a leaf
        twig.@chidren = null  # Kill the chilren
        twig.@isLeaf = True
        twig.@nodeInformationGain = 0

        # Check if the parent is a twig and, if so, put it in the heap
        parent = twig.@parent
        if isTwig(parent):
            twigErrorIncrease = nodeErrorCounts[parent]
            for child in parent.@children
                twigErrorIncrease -= nodeErrorCounts[child]
            heappush(twigHeap,(twigErrorIncrease, parent))
    return</code></pre>
</td>
</tr>
</tbody>
</table>
</div>
<h2>C&aacute;c h&igrave;nh thức cắt tỉa kh&aacute;c</h2>
<p>Việc cắt tỉa cũng c&oacute; thể sử dụng c&aacute;c ti&ecirc;u ch&iacute; kh&aacute;c, v&iacute; dụ: Giảm thiểu độ phức tạp t&iacute;nh to&aacute;n hoặc sử dụng c&aacute;c kỹ thuật kh&aacute;c, v&iacute; dụ: Cắt tỉa ngẫu nhi&ecirc;n của to&agrave;n bộ c&acirc;y con.</p>
</div>
<hr />
<p style="text-align: center;"><em><strong>Fanpage Facebook:</strong>&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a></em>&nbsp;</p>
<p style="text-align: center;"><em><strong>Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:</strong>&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a></em></p>

Vấn Đề Tỉa Cây