<blockquote>
<p style="text-align: justify;">Trong b&agrave;i viết n&agrave;y ch&uacute;ng ta sẽ thảo luận về learning rate&nbsp;v&agrave; ch&uacute;ng ta sẽ xem c&aacute;ch n&oacute; được sử dụng khi ch&uacute;ng ta đ&agrave;o tạo mạng neural.</p>
</blockquote>
<p style="text-align: justify;"><strong><img style="width: 100%;" src="../../../public_files/551abef4-56a4-471e-b7ee-e1fa7f495390" alt="deep-neural-network-with-4-layers" /></strong></p>
<p style="text-align: justify;"><strong>Giới thiệu về learning rate</strong></p>
<p style="text-align: justify;">Ch&uacute;ng ta biết rằng mục ti&ecirc;u trong qu&aacute; tr&igrave;nh đ&agrave;o tạo SGD l&agrave; để giảm thiểu sự mất m&aacute;t giữa thực tế v&agrave; dự đo&aacute;n từ c&aacute;c mẫu đ&agrave;o tạo của ch&uacute;ng ta. Con đường hướng tới giảm thiểu sự mất m&aacute;t n&agrave;y được thực hiện qua nhiều bước.</p>
<p style="text-align: justify;">Nhớ lại rằng ch&uacute;ng ta bắt đầu qu&aacute; tr&igrave;nh huấn luyện với c&aacute;c mức trọng số được đặt t&ugrave;y &yacute;, v&agrave; sau đ&oacute; ch&uacute;ng ta cập nhật dần c&aacute;c trọng số n&agrave;y khi ch&uacute;ng ta ng&agrave;y c&agrave;ng tiến gần hơn đến&nbsp;minimized loss.&nbsp;</p>
<p style="text-align: justify;">Giờ đ&acirc;y, quy m&ocirc; của c&aacute;c bước ch&uacute;ng ta đang thực hiện để đạt được&nbsp;minimized loss&nbsp;sẽ phụ thuộc v&agrave;o learning rate&nbsp; (tốc độ học tập). Về mặt kh&aacute;i niệm, ch&uacute;ng ta c&oacute; thể coi tốc độ học tập của m&ocirc; h&igrave;nh l&agrave; k&iacute;ch thước bước nhảy (<em>step size</em>).&nbsp;</p>
<p style="text-align: justify;">Ch&uacute;ng ta biết rằng trong qu&aacute; tr&igrave;nh đ&agrave;o tạo, sau khi t&iacute;nh to&aacute;n mất m&aacute;t cho đầu v&agrave;o, gradient của mất m&aacute;t đ&oacute; sau đ&oacute; sẽ được t&iacute;nh theo từng trọng số trong m&ocirc; h&igrave;nh của ch&uacute;ng ta.&nbsp;</p>
<p style="text-align: justify;">Khi ch&uacute;ng ta c&oacute; gi&aacute; trị của những gradient n&agrave;y, đ&acirc;y l&agrave; l&uacute;c &yacute; tưởng về tỷ lệ học tập của ch&uacute;ng ta xuất hiện. Sau đ&oacute;, gradient sẽ được nh&acirc;n với tỷ lệ học tập.</p>
<div id="urvanov-syntax-highlighter-610f483a8c2f5691534069" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-main">
<pre class="language-markup"><code>gradients * learning rate</code></pre>
</div>
</div>
<p style="text-align: justify;">Tỷ lệ học tập n&agrave;y l&agrave; một con số nhỏ, thường nằm trong khoảng từ 0,01 đến 0,0001, nhưng gi&aacute; trị thực tế c&oacute; thể kh&aacute;c nhau v&agrave; bất kỳ gi&aacute; trị n&agrave;o ch&uacute;ng ta nhận được cho gradient, sẽ trở n&ecirc;n kh&aacute; nhỏ khi ch&uacute;ng ta nh&acirc;n n&oacute; với tốc độ học tập.</p>
<h3 id="ftoc-heading-2" class="ftwp-heading" style="text-align: justify;"><strong>Cập nhật trọng số của mạng</strong></h3>
<p style="text-align: justify;">Dưới đ&acirc;y l&agrave; c&ocirc;ng thức cập nhật trọng số của mạng:</p>
<div id="urvanov-syntax-highlighter-610f483a8c301941881338" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-main">
<pre class="language-markup"><code>new weight = old weight - (learning rate * gradient)</code></pre>
</div>
</div>
<p style="text-align: justify;">Ch&uacute;ng ta loại bỏ c&aacute;c trọng số trước đ&oacute; đ&atilde; được đặt tr&ecirc;n mỗi kết nối v&agrave; cập nhật ch&uacute;ng với c&aacute;c gi&aacute; trị&nbsp;new weight.</p>
<p style="text-align: justify;">Gi&aacute; trị ch&uacute;ng ta chọn cho tỷ lệ học tập sẽ y&ecirc;u cầu một số thử nghiệm. Tốc độ học tập l&agrave; một trong những si&ecirc;u tham số m&agrave; ch&uacute;ng ta phải kiểm tra v&agrave; điều chỉnh với từng m&ocirc; h&igrave;nh trước khi ch&uacute;ng ta biết ch&iacute;nh x&aacute;c gi&aacute; trị m&agrave; ch&uacute;ng ta muốn đặt cho n&oacute;, nhưng như đ&atilde; đề cập trước đ&oacute;, một hướng dẫn điển h&igrave;nh l&agrave; đặt n&oacute; ở đ&acirc;u đ&oacute; trong khoảng 0,01 đến 0,0001.&nbsp;&nbsp;</p>
<p style="text-align: justify;">Khi đặt tỷ lệ học tập cao hơn khoảng tr&ecirc;n, ch&uacute;ng ta c&oacute; thể sẽ xảy ra một số nguy cơ. Qu&aacute; c&aacute;o th&igrave;&nbsp;thuật to&aacute;n kh&ocirc;ng hội tụ được v&igrave; bước nhảy qu&aacute; lớn, khiến n&oacute; cứ quẩn quanh ở đ&iacute;ch.&nbsp;</p>
<p style="text-align: justify;">Để tr&aacute;nh điều n&agrave;y, ch&uacute;ng ta c&oacute; thể đặt tốc độ học th&agrave;nh một số ở ph&iacute;a dưới của phạm vi n&agrave;y. Với t&ugrave;y chọn n&agrave;y, v&igrave; c&aacute;c step của ch&uacute;ng ta sẽ thực sự nhỏ n&ecirc;n ch&uacute;ng ta sẽ mất nhiều thời gian hơn để đạt được&nbsp;minimized loss.</p>
<p style="text-align: justify;">B&acirc;y giờ ch&uacute;ng ta n&ecirc;n c&oacute; &yacute; tưởng về tốc độ học tập v&agrave; c&aacute;ch n&oacute; ph&ugrave; hợp với qu&aacute; tr&igrave;nh đ&agrave;o tạo tổng thể. H&atilde;y xem v&iacute; dụ với keras.</p>
<h3 id="ftoc-heading-3" class="ftwp-heading" style="text-align: justify;"><strong>Learning rates trong keras</strong></h3>
<p style="text-align: justify;">Đ&acirc;y l&agrave; m&ocirc; h&igrave;nh m&agrave; ch&uacute;ng ta đ&atilde; sử dụng trong c&aacute;c b&agrave;i viết trước:</p>
<div id="urvanov-syntax-highlighter-610f483a8c305604953928" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-main">
<pre class="language-python"><code>model = Sequential([
    Dense(units=16, input_shape=(1,), activation='relu'),
    Dense(units=32, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
    Dense(units=2, activation='sigmoid')
])
model.compile(
    optimizer=Adam(learning_rate=0.0001),
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy']
)</code></pre>
<p>&nbsp;</p>
</div>
</div>
<p style="text-align: justify;">Quan s&aacute;t tr&igrave;nh tối ưu h&oacute;a (optimizer), ch&uacute;ng ta c&oacute; thể t&ugrave;y chọn truyền tỷ lệ học tập của m&igrave;nh bằng c&aacute;ch chỉ định tham số&nbsp;<em>learning_rate</em>. Ở đ&acirc;y ch&uacute;ng ta đang chỉ định 0,0001 l&agrave;m tỷ lệ học tập.&nbsp;</p>
<p style="text-align: justify;">Ch&uacute;ng ta đ&atilde; đề cập rằng tham số&nbsp;<em>learning_rate</em>&nbsp;n&agrave;y l&agrave; t&ugrave;y chọn. Nếu ch&uacute;ng ta kh&ocirc;ng đặt n&oacute; một c&aacute;ch r&otilde; r&agrave;ng, th&igrave; tốc độ học tập mặc định m&agrave; Keras đ&atilde; chỉ định cho tr&igrave;nh tối ưu h&oacute;a cụ thể n&agrave;y sẽ được đặt. Để xem tốc độ học mặc định n&agrave;y l&agrave; bao nhi&ecirc;u, bạn cần kiểm tra&nbsp;<a href="https://keras.io/api/optimizers/">t&agrave;i liệu Keras&nbsp;</a>về tr&igrave;nh tối ưu h&oacute;a m&agrave; bạn đang chỉ định.</p>
<p style="text-align: justify;">Ngo&agrave;i ra c&ograve;n c&oacute; một c&aacute;ch kh&aacute;c để ch&uacute;ng ta c&oacute; thể chỉ định tốc độ học tập. Sau khi bi&ecirc;n dịch m&ocirc; h&igrave;nh, ch&uacute;ng ta c&oacute; thể đặt tốc độ học tập bằng c&aacute;ch đặt&nbsp;<em>model.optimizer.learning_rate</em>&nbsp;th&agrave;nh gi&aacute; trị m&agrave; ta chỉ định.</p>
<div id="urvanov-syntax-highlighter-610f483a8c30a547448589" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover"></div>
<pre class="language-python"><code>model.optimizer.learning_rate = 0.01</code></pre>
<p style="text-align: justify;"><br />Ở đ&acirc;y c&oacute; thể thấy rằng ch&uacute;ng ta đang đặt n&oacute; th&agrave;nh 0,01. B&acirc;y giờ, nếu ch&uacute;ng ta in gi&aacute; trị của tốc độ học tập của m&igrave;nh, ch&uacute;ng ta c&oacute; thể thấy n&oacute; hiện đ&atilde; thay đổi từ 0,0001 th&agrave;nh 0,01.</p>
<div id="urvanov-syntax-highlighter-610f483a8c30d323795178" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover"></div>
<pre class="language-python"><code>model.optimizer.learning_rate
0.01</code></pre>
<p style="text-align: justify;"><br />Đ&oacute; l&agrave; tất cả những g&igrave; cần thiết để chỉ định tốc độ học tập cho m&ocirc; h&igrave;nh của ch&uacute;ng ta trong Keras.</p>
<p style="text-align: justify;"><strong>Kết Luận</strong></p>
<p style="text-align: justify;">B&acirc;y giờ ch&uacute;ng ta đ&atilde; hiểu về tốc độ học tập l&agrave; g&igrave;, n&oacute; ph&ugrave; hợp với qu&aacute; tr&igrave;nh đ&agrave;o tạo tổng thể như thế n&agrave;o v&agrave; tại sao ch&uacute;ng ta cần kiểm tra v&agrave; điều chỉnh n&oacute; để t&igrave;m ra gi&aacute; trị ph&ugrave; hợp với m&ocirc; h&igrave;nh của m&igrave;nh. Hẹn gặp lại bạn trong c&aacute;c b&agrave;i viết tiếp theo!</p>

Admin

Learning Rate Trong Neural Network

Cùng tác giả

Admin

Có liên quan