<pre style="text-align: center;"><em>"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần <br />n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. <br />Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> <br />hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</em></pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
<p style="text-align: justify;">Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.</p>
<p style="text-align: justify;">Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.</p>
<p style="text-align: justify;">C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.</p>
<p style="text-align: justify;">Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.</p>
<p style="text-align: justify;">Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.</p>
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

<div class="cl-preview-section">
<p style="text-align: justify;">Ở c&aacute;c b&agrave;i trước ta đ&atilde; đi t&igrave;m hiểu về Gradient Descent v&agrave; c&aacute;c biến thể của thuật to&aacute;n n&agrave;y, ở b&agrave;i n&agrave;y ta sẽ đi tổng hợp, so s&aacute;nh c&aacute;c thuật to&aacute;n với nhau v&agrave; thực hiện triển khai bằng code python, tất cả c&aacute;c thuật to&aacute;n dưới đ&acirc;y sẽ c&ugrave;ng sử dụng chung data để ta c&oacute; thể tiến h&agrave;nh so s&aacute;nh mức độ hội tụ của c&aacute;c thuật to&aacute;n</p>
<p style="text-align: justify;">Ta sẽ khởi tạo ngẫu nhi&ecirc;n $500$ điểm với mỗi điểm c&oacute; dạng l&agrave; $x = (a, b)$ như vậy ta sẽ sử dụng một ma trận c&oacute; $500$ h&agrave;ng v&agrave; $2$ cột để lưu trữ c&aacute;c điểm dữ liệu n&agrave;y.</p>
<pre class="language-python"><code>data = np.random.randn(500, 2)</code></pre>
</div>
<h2 id="batch-gradient-descent" style="text-align: justify;">Batch Gradient descent</h2>
<p style="text-align: justify;">Batch Gradient descent l&agrave; kỹ thuật mỗi một lần cập nhật weight sẽ sử dụng trung b&igrave;nh đạo h&agrave;m của to&agrave;n bộ điểm dữ liệu.</p>
<p style="text-align: justify;">H&agrave;m loss được sử dụng đoạn code dưới được gọi l&agrave; $MSE =\frac{\sum_{i=1}^N(y - (m.x +b))^2}{N}$</p>
<h3 id="x&acirc;y-dựng-h&agrave;m-loss" style="text-align: justify;">X&acirc;y dựng h&agrave;m loss:</h3>
<pre class="language-python"><code>def loss_function(data,theta):
    #get m and b
    m = theta[0]
    b = theta[1]
    loss = 0
    #on each data point
    for i in range(0, len(data)):
        #get x and y
        x = data[i, 0]
        y = data[i, 1]
        #predict the value of y
        y_hat = (m*x + b)
        #compute loss as given in quation (2)
        loss = loss + ((y - (y_hat)) ** 2)
    #mean sqaured loss
    mean_squared_loss = loss / float(len(data))
    return mean_squared_loss</code></pre>
<h3 id="x&acirc;y-dựng-h&agrave;m-t&iacute;nh-đạo-h&agrave;m" style="text-align: justify;">X&acirc;y dựng h&agrave;m t&iacute;nh đạo h&agrave;m</h3>
<p style="text-align: justify;">C&ocirc;ng thức đạo h&agrave;m h&agrave;m loss theo m cho một điểm dữ liệu sẽ l&agrave;: $2x(y - (m*x + b))$</p>
<p style="text-align: justify;">C&ocirc;ng thức đạo h&agrave;m h&agrave;m loss theo b cho một điểm dữ liệu sẽ l&agrave;: $2(y - (m*x + b))$</p>
<p style="text-align: justify;">Trong đ&oacute; m v&agrave; b l&agrave; c&aacute;c trọng số cần t&igrave;m để tối thiểu h&agrave;m loss.</p>
<pre class="language-python"><code>def compute_gradients(data, theta):
    gradients = np.zeros(2)
    #total number of data points
    N = float(len(data))
    m = theta[0]
    b = theta[1]
    #for each data point
    for i in range(len(data)):
        x = data[i, 0]
        y = data[i, 1]
        #gradient of loss function with respect to m as given in (3)
        gradients[0] += - (2 / N) * x * (y - (( m* x) + b))
        #gradient of loss funcction with respect to b as given in (4)
        gradients[1] += - (2 / N) * (y - ((theta[0] * x) + b))
    #add epsilon to avoid division by zero error
    epsilon = 1e-6 
    gradients = np.divide(gradients, N + epsilon)
    return gradients</code></pre>
<h3 id="thực-hiện-thuật-to&aacute;n" style="text-align: justify;">Thực hiện thuật to&aacute;n</h3>
<pre class="language-python"><code>theta = np.zeros(2)
gr_loss=[]
for t in range(50000):
    #compute gradients
    gradients = compute_gradients(data, theta)
    #update parameter
    theta = theta - (1e-2*gradients)
    #store the loss
    gr_loss.append(loss_function(data,theta))
plt.plot(gr_loss)</code></pre>
<h3 id="kết-quả" style="text-align: justify;">Kết quả</h3>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/e7a1155d-a579-41f8-b517-aaec60fabe82" alt="gd11" /></p>
<h2 id="mini-batch-gradient-descent" style="text-align: justify;">Mini-batch Gradient Descent</h2>
<p style="text-align: justify;">Mini-batch Gradient Descent l&agrave; kỹ thuật cập nhật weight theo từng batch nhỏ một</p>
<h3 id="x&acirc;y-dựng-h&agrave;m-đ&agrave;o-tạo-theo-từng-batch" style="text-align: justify;">X&acirc;y dựng h&agrave;m đ&agrave;o tạo theo từng batch</h3>
<p style="text-align: justify;">Ta c&ugrave;ng x&acirc;y dựng đoạn code cập nhật weight theo mini-batch dưới đ&acirc;y</p>
<pre class="language-python"><code>def minibatch(data, theta, lr = 1e-2, minibatch_ratio = 0.01, num_iterations = 5000):
    loss = []
    minibatch_size = int(math.ceil(len(data) * minibatch_ratio)) ## Calculate batch_size
    for t in range(num_iterations):
        sample_size = random.sample(range(len(data)), minibatch_size)
        np.random.shuffle(data)
        #sample batch of data
        sample_data = data[0:sample_size[0], :]
        #compute gradients
        grad = compute_gradients(sample_data, theta)
        #update parameters
        theta = theta - (lr * grad)
        loss.append(loss_function(data,theta))
    return loss</code></pre>
<h3 id="chạy-thuật-to&aacute;n" style="text-align: justify;">Chạy thuật to&aacute;n</h3>
<pre class="language-python"><code>theta = np.zeros(2)
loss = minibatch(data, theta, lr = 1e-2, minibatch_ratio = 0.01, num_iterations = 5000)
plt.plot(loss)</code></pre>
<h3 id="kết-quả-1" style="text-align: justify;">Kết quả</h3>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/2e142ad9-d3c4-4a1f-8c75-48e33eb49f78" alt="gd12" /></p>
<p style="text-align: justify;">Nh&igrave;n qu&aacute; tr&igrave;nh thuật to&aacute;n hội tụ ta thấy Mini-batch gradient descent kh&ocirc;ng qu&aacute; ổn định, tuy loss giảm kh&aacute; nhanh nhưng c&oacute; những l&uacute;c loss lại tăng lại.</p>
<h2 id="momentum-based-gradient-descent-sgd" style="text-align: justify;">Momentum based Gradient Descent (SGD)</h2>
<p style="text-align: justify;">Ta biết với &yacute; tưởng momentum l&agrave;m cho c&aacute;c gradient như th&ecirc;m một gia tốc<br />C&ocirc;ng thức cập nhật weight theo momentum:</p>
<p style="text-align: justify;">$v_t = \beta v_{t-1}+\nabla f'(x_t)$</p>
<p style="text-align: justify;">$x_{t+1}=x_{t} - \eta v_t$</p>
<h3 id="x&acirc;y-dựng-h&agrave;m-đ&agrave;o-tạo-momentum-based-gradient-descent" style="text-align: justify;">X&acirc;y dựng h&agrave;m đ&agrave;o tạo Momentum based Gradient Descent</h3>
<p style="text-align: justify;">Lưu &yacute; l&agrave; ở đ&acirc;y ta đ&agrave;o tạo theo Stochastic Gradient Descen (SGD) kết hợp Momentum:</p>
<pre class="language-python"><code>def Momentum(data, theta, lr = 1e-2, gamma = 0.9, num_iterations = 5000):
    loss = []
    #Initialize vt with zeros:
    vt = np.zeros(theta.shape[0])
    for t in range(num_iterations):
        #compute gradients with respect to theta 
        gradients = compute_gradients(data, theta)
        #Update vt by equation (8)
        vt = gamma * vt + gradients
        #update model parameter theta by equation (9)
        theta = theta - lr * vt
        #store loss of every iteration
        loss.append(loss_function(data,theta))
    return loss

theta = np.zeros(2)
mom_loss = Momentum(data, theta, lr = 1e-2, gamma = 0.9, num_iterations = 5000)
plt.plot(mom_loss)
plt.xlabel("iter")
plt.ylabel("loss")</code></pre>
<h3 id="kết-quả-2" style="text-align: justify;">Kết quả</h3>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/3194c53a-103e-4689-bde4-04d4b96eb106" alt="gd13" /></p>
<p style="text-align: justify;">Ta thấy với Momentum h&agrave;m loss kh&aacute; mượt như Batch Gradient Descent đồng thời gi&aacute; trị loss cũng giảm kh&aacute; nhanh.</p>
<h2 id="adagrad" style="text-align: justify;">AdaGrad</h2>
<div class="cl-preview-section" style="text-align: justify;">
<p>Adagrad cũng l&agrave; một thuật to&aacute;n để tối ưu h&oacute;a dựa tr&ecirc;n gradient descent, thuật to&aacute;n n&agrave;y gi&uacute;p điều chỉnh tốc độ học ứng với c&aacute;c t&iacute;nh năng kh&aacute;c nhau.</p>
</div>
<div class="cl-preview-section" style="text-align: justify;">
<p>&Yacute; tưởng ch&iacute;nh đằng sau Adadelta v&agrave; RMSprop hầu hết đều giống nhau đ&oacute; l&agrave; giải quyết tỷ lệ học tập biến mất bằng c&aacute;ch lấy trung b&igrave;nh c&oacute; trọng số của bước gradient.</p>
<h3 id="x&acirc;y-dựng-h&agrave;m-đ&agrave;o-tạo-sử-dụng-kĩ-thuật-adagrad">X&acirc;y dựng h&agrave;m đ&agrave;o tạo sử dụng kĩ thuật AdaGrad</h3>
<p>C&ocirc;ng thức adagrad như sau :</p>
<p>$\mathbf{g}_t= \partial_wl(y_t, f(\mathbf{x}_t, \mathbf{w}))$</p>
<p>$\mathbf{s}_t =\mathbf{s}_{t-1} + \mathbf{g}_t^2$</p>
<p>$\mathbf{w}_t =\mathbf{w}_{t-1} -\frac{\eta}{\sqrt{\mathbf{s}_t + \epsilon}}*\mathbf{g}_t$</p>
<pre class="language-python"><code>def AdaGrad(data, theta, lr = 1e-2, epsilon = 1e-8, num_iterations = 100):
    loss = []
    #initialize gradients_sum for storing sum of gradients
    gradients_sum = np.zeros(theta.shape[0])
    for t in range(num_iterations):
        #compute gradients with respect to theta
        gradients = compute_gradients(data, theta)
        #compute square of sum of gradients
        gradients_sum += gradients ** 2
        #update gradients
        gradient_update = gradients / (np.sqrt(gradients_sum + epsilon))
        #update model parameter according to equation (12)
        theta = theta - (lr * gradient_update)
        loss.append(loss_function(data,theta))
    return loss

theta = np.zeros(2)
ada_loss = AdaGrad(data, theta, lr = 1e-2, epsilon = 1e-8, num_iterations = 100)
plt.plot(ada_loss)
plt.xlabel("iter")
plt.ylabel("loss")</code></pre>
</div>
<h3 id="kết-quả-3" style="text-align: justify;">Kết quả</h3>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/5e234e5f-162b-46b8-8213-95850024a19b" alt="gd4" /></p>
<p style="text-align: justify;">Ta thấy với AdaGrad h&agrave;m loss giảm kh&aacute; nhanh v&agrave; ổn định, chỉ mất khoảng 40 v&ograve;ng lặp thuật to&aacute;n c&oacute; vẻ đ&atilde; hội tụ.</p>
<h2 id="adam" style="text-align: justify;">Adam</h2>
<p style="text-align: justify;">Thuật to&aacute;n Adam kết hợp tất cả c&aacute;c kỹ thuật tr&ecirc;n th&agrave;nh một thuật to&aacute;n học hiệu quả. Như kỳ vọng, đ&acirc;y l&agrave; một trong những thuật to&aacute;n tối ưu hiệu quả được sử dụng phổ biến trong học s&acirc;u.<br />C&ocirc;ng thức của thuật to&aacute;n như sau.</p>
<p style="text-align: justify;">$\mathbf{v}_t=\beta_1\mathbf{v}_{t-1} +(1-\beta_1)\mathbf{g}_t$</p>
<p style="text-align: justify;">$\mathbf{s}_t=\beta_2\mathbf{s}_{t-1}+(1-\beta_2)\mathbf{g}_t^{2}.$</p>
<p style="text-align: justify;">$\hat{\mathbf{v}} = \frac{\mathbf{v}_t}{1-\beta_1^t}$ v&agrave; $\hat{\mathbf{s}} = \frac{\mathbf{s}_t}{1-\beta_2^t}$</p>
<p style="text-align: justify;">$\mathbf{g'}_t=\frac{\eta\hat{\mathbf{v}_t}}{\sqrt{\hat{\mathbf{s}_t}}+\epsilon}$</p>
<p style="text-align: justify;">$\mathbf{x}_t=\mathbf{x}_{t-1} -\mathbf{g'}_t$.</p>
<h3 id="x&acirc;y-dựng-h&agrave;m-đ&agrave;o-tạo-sử-dụng-thuật-to&aacute;n-adam" style="text-align: justify;">X&acirc;y dựng h&agrave;m đ&agrave;o tạo sử dụng thuật to&aacute;n Adam</h3>
<pre class="language-python"><code>def Adam(data, theta, lr = 1e-2, beta1 = 0.9, beta2 = 0.9, epsilon = 1e-6, num_iterations = 1000):
    loss = []
    #initialize first moment mt
    mt = np.zeros(theta.shape[0])
    #initialize second moment vt
    vt = np.zeros(theta.shape[0])
    for t in range(num_iterations):
        #compute gradients with respect to theta
        gradients = compute_gradients(data, theta)
        #update first moment mt as given in equation (19)
        vt = beta1 * mt + (1. - beta1) * gradients
        #update second moment vt as given in equation (20)
        st = beta2 * vt + (1. - beta2) * gradients ** 2
        #compute bias-corected estimate of mt (21)
        vt_hat = vt / (1. - beta1 ** (t+1))
        #compute bias-corrected estimate of vt (22)
        st_hat = st / (1. - beta2 ** (t+1))
        #update the model parameter as given in (23)
        theta = theta - (lr / (np.sqrt(st_hat) + epsilon)) * vt_hat
        loss.append(loss_function(data,theta))
    return loss

theta = np.zeros(2)
ada_loss = AdaGrad(data, theta, lr = 1e-2, epsilon = 1e-8, num_iterations = 100)
plt.plot(ada_loss)
plt.xlabel("iter")
plt.ylabel("loss")</code></pre>
<h3 style="text-align: justify;">Kết quả</h3>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/7f668655-755e-457f-b7cc-86ae78f9a543" alt="adam" /></p>
<p style="text-align: justify;">Ta thấy Adam v&agrave; AdaGrad c&oacute; tốc độ hội tụ trong trường hợp n&agrave;y kh&aacute; tương đương nhau, ở phần 7 ta sẽ xem tốc độ hội tụ tr&ecirc;n dữ liệu nhiều chiều của c&aacute;c thuật to&aacute;n sẽ tr&ocirc;ng thế n&agrave;o.</p>
<h2 id="so-s&aacute;nh-batch-gradient-descent-mini-batch-gradient-descent-momentum" style="text-align: left;">So s&aacute;nh Batch Gradient descent, Mini-Batch Gradient descent, Momentum</h2>
<p style="text-align: justify;">Ta so s&aacute;nh ba kĩ thuật n&agrave;y với nhau bởi v&igrave; hai l&yacute; do, thứ nhất nh&oacute;m n&agrave;y c&oacute; c&aacute;c điểm tương đồng l&agrave; đều giữ nguy&ecirc;n tốc độ học v&agrave; chỉ thay đổi phần đạo h&agrave;m, thứ hai l&agrave; nh&oacute;m thuật to&aacute;n n&agrave;y c&aacute;c kết quả k&eacute;m vượt trội hơn hẳn so với Adam, adagrad.</p>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/88e7060f-498d-47cf-bfa0-e28db5bc5f90" alt="mnbatch_batch_momentum" /></p>
<p style="text-align: justify;">Ta c&oacute; thể thấy với 5000 v&ograve;ng lặp v&agrave; tốc độ học như nhau momentum đang hiệu quả hơn so với Batch Gradient descent v&agrave; Mini-Batch Gradient descent, &nbsp;Batch Gradient descent l&agrave; hội tụ l&acirc;u nhất nhưng lại ổn định, Mini-Batch Gradient descent c&oacute; vẻ kh&ocirc;ng ổn định điều nay nguy&ecirc;n nh&acirc;n l&agrave; do c&oacute; thể tốc độ học chưa ph&ugrave; hợp.</p>
<p style="text-align: justify;">Vậy kết luận ở đ&acirc;y l&agrave; t&ugrave;y v&agrave;o từng điều kiện cụ thể m&agrave; mỗi thuật to&aacute;n c&oacute; thể sẽ hiệu quả kh&aacute;c nhau, hiện nay c&aacute;c nh&agrave; nghi&ecirc;n cứu chỉ đưa ra sự hiệu quả của mỗi thuật to&aacute;n qua thực nghiệm v&agrave; t&ugrave;y v&agrave;o từng điều kiện cụ thể chứ chưa c&oacute; chứng minh ch&iacute;nh thức n&agrave;o về thuật to&aacute;n n&agrave;o hiệu quả hơn thuật to&aacute;n n&agrave;o.</p>
<p style="text-align: justify;">Như ở v&iacute; dụ tr&ecirc;n khi ta thay đổi tốc độ học th&agrave;nh 0.0001 th&igrave; đ&acirc;y l&agrave; kết quả:</p>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/ec2935f7-1cf2-44aa-aced-10d10129be5c" alt="mnbatch_batch_momentum2" /></p>
<p style="text-align: justify;">Ở trường hợp n&agrave;y Mini-Batch Gradient descent đ&atilde; ổn định hơn nhiều v&agrave; kết quả tương đương với momentum.</p>
<h2 id="trực-quan-h&oacute;a-một-số-thuật-to&aacute;n-phổ-biến" style="text-align: justify;">Trực quan h&oacute;a một số thuật to&aacute;n phổ biến</h2>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/b55577d7-72fd-4fcd-a873-6ec156a6a34a" alt="885513eee0b_33163162ddd94900b7d9f5b049e9b7e3_mv2" /></p>
<p><img style="width: 600px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/c68728e3-5e9b-4403-abd2-10d302e24311" alt="4570849325458-fc785480-f585-11e8-8d2a-9012d6024c6e" /></p>
<p style="text-align: justify;">Ta c&oacute; thể thấy miền chung nh&oacute;m thuật to&aacute;n c&oacute; điều chỉnh tốc độ học sẽ c&oacute; hiệu quả tốt hơn nh&oacute;m thuật to&aacute;n kh&ocirc;ng điều chỉnh tốc độ học, l&yacute; do l&agrave; với nh&oacute;m kh&ocirc;ng điều chỉnh tốc độ học sẽ nếu rơi v&agrave;o c&aacute;c v&ugrave;ng local minimum th&igrave; sẽ kh&oacute; tho&aacute;t ra khỏi được những v&ugrave;ng n&agrave;y do đ&oacute; kh&ocirc;ng di chuyển được đến v&ugrave;ng global minimum.</p>
<hr />
<p style="text-align: center;"><em><strong>Fanpage Facebook:</strong>&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a></em>&nbsp;</p>
<p style="text-align: center;"><em><strong>Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:</strong>&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a></em></p>

Cài đặt thuật toán Gradient Descent bằng Python