<blockquote>
<p style="text-align: justify;">Trong b&agrave;i đăng n&agrave;y, ch&uacute;ng ta sẽ thảo luận về h&agrave;m mất m&aacute;t l&agrave; g&igrave; v&agrave; n&oacute; được sử dụng như thế n&agrave;o trong mạng neural nh&acirc;n tạo.</p>
</blockquote>
<p style="text-align: justify;">Nhớ lại ch&uacute;ng ta đ&atilde; giới thiệu &yacute; tưởng về h&agrave;m mất m&aacute;t trong b&agrave;i đăng về&nbsp;<a href="../../../dao-tao-mang-neural-nhan-tao/" target="_blank" rel="noopener">đ&agrave;o tạo mạng neural</a>. H&agrave;m mất m&aacute;t l&agrave; những g&igrave; SGD đang cố gắng giảm thiểu bằng c&aacute;ch cập nhật lặp đi lặp lại c&aacute;c trọng số trong mạng.</p>
<p style="text-align: justify;">V&agrave;o cuối mỗi epoch trong qu&aacute; tr&igrave;nh đ&agrave;o tạo, mất m&aacute;t sẽ được t&iacute;nh to&aacute;n bằng c&aacute;ch sử dụng c&aacute;c dự đo&aacute;n đầu ra của mạng v&agrave; nh&atilde;n thực cho đầu v&agrave;o tương ứng.&nbsp;</p>
<p style="text-align: justify;">Giả sử m&ocirc; h&igrave;nh của ch&uacute;ng ta đang ph&acirc;n loại h&igrave;nh ảnh của m&egrave;o v&agrave; ch&oacute;, v&agrave; giả sử rằng nh&atilde;n cho m&egrave;o l&agrave; 0 v&agrave; nh&atilde;n cho ch&oacute; l&agrave; 1.&nbsp;</p>
<ul style="text-align: justify;">
<li>cat: 0&nbsp;</li>
<li>dog: 1&nbsp;</li>
</ul>
<p style="text-align: justify;">B&acirc;y giờ, giả sử ch&uacute;ng ta truyền h&igrave;nh ảnh một con m&egrave;o v&agrave;o m&ocirc; h&igrave;nh v&agrave; kết quả đầu ra được cung cấp l&agrave; 0,25. Trong trường hợp n&agrave;y, ch&ecirc;nh lệch giữa dự đo&aacute;n của m&ocirc; h&igrave;nh v&agrave; nh&atilde;n thực l&agrave; 0,25 &ndash; 0,00 = 0,25. Sự kh&aacute;c biệt n&agrave;y c&ograve;n được gọi l&agrave;&nbsp;<em>error</em>.</p>
<div id="urvanov-syntax-highlighter-610ffb8f0c88f918998170" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-plain-wrap">
<pre class="language-python"><code>error = 0.25 - 0.00 = 0.25</code></pre>
</div>
<div class="urvanov-syntax-highlighter-main">Qu&aacute; tr&igrave;nh n&agrave;y được thực hiện cho mọi đầu ra. Đối với mỗi epoch, error được t&iacute;ch lũy tr&ecirc;n tất cả c&aacute;c đầu ra ri&ecirc;ng lẻ.&nbsp;</div>
</div>
<p style="text-align: justify;">Ch&uacute;ng ta h&atilde;y xem x&eacute;t một h&agrave;m mất m&aacute;t thường được sử dụng trong thực tế được gọi l&agrave; lỗi b&igrave;nh phương trung b&igrave;nh (<em>mean squared error-</em>MSE).</p>
<h3 id="ftoc-heading-1" class="ftwp-heading" style="text-align: justify;"><strong>Mean squared error (MSE)</strong></h3>
<p style="text-align: justify;">Đối với một mẫu duy nhất, với MSE, trước ti&ecirc;n ch&uacute;ng ta t&iacute;nh to&aacute;n sự sai số (error) giữa dự đo&aacute;n đầu ra được cung cấp v&agrave; nh&atilde;n. Đối với một đầu v&agrave;o duy nhất, đ&acirc;y l&agrave; tất cả những g&igrave; ch&uacute;ng ta l&agrave;m.</p>
<div id="urvanov-syntax-highlighter-610ffb8f0c895813607279" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-plain-wrap">
<pre class="language-python"><code>MSE(input) = (output - label)(output - label)</code></pre>
</div>
<div class="urvanov-syntax-highlighter-main">Nếu ch&uacute;ng ta&nbsp; truyền nhiều mẫu cho m&ocirc; h&igrave;nh c&ugrave;ng một l&uacute;c (một batch), th&igrave; ch&uacute;ng ta sẽ lấy gi&aacute; trị trung b&igrave;nh của sai số b&igrave;nh phương tr&ecirc;n tất cả c&aacute;c mẫu n&agrave;y.&nbsp;</div>
</div>
<p style="text-align: justify;">Đ&acirc;y chỉ l&agrave; minh họa to&aacute;n học đằng sau c&aacute;ch một h&agrave;m mất m&aacute;t, MSE, hoạt động. C&oacute; một số h&agrave;m mất m&aacute;t kh&aacute;c nhau m&agrave; ch&uacute;ng ta c&oacute; thể sử dụng.</p>
<p style="text-align: justify;">&Yacute; tưởng chung m&agrave; ch&uacute;ng ta vừa tr&igrave;nh b&agrave;y để t&iacute;nh to&aacute;n sai số của từng mẫu ri&ecirc;ng lẻ sẽ đ&uacute;ng với tất cả c&aacute;c loại h&agrave;m mất m&aacute;t kh&aacute;c nhau. Việc triển khai những g&igrave; ch&uacute;ng ta thực sự l&agrave;m với mỗi error sẽ phụ thuộc v&agrave;o thuật to&aacute;n của h&agrave;m mất m&aacute;t m&agrave; ch&uacute;ng ta lựa chọn sử dụng.</p>
<p style="text-align: justify;">V&iacute; dụ: ch&uacute;ng ta lấy trung b&igrave;nh c&aacute;c lỗi b&igrave;nh phương để t&iacute;nh to&aacute;n MSE, nhưng c&aacute;c h&agrave;m mất m&aacute;t kh&aacute;c sẽ sử dụng c&aacute;c thuật to&aacute;n kh&aacute;c để x&aacute;c định gi&aacute; trị của loss.</p>
<p style="text-align: justify;">Nếu ch&uacute;ng ta chuyển to&agrave;n bộ tập training của m&igrave;nh sang m&ocirc; h&igrave;nh c&ugrave;ng một l&uacute;c (batch_size = 1), th&igrave; qu&aacute; tr&igrave;nh ch&uacute;ng ta vừa thực hiện để t&iacute;nh to&aacute;n mất m&aacute;t sẽ xảy ra ở cuối mỗi epoch trong qu&aacute; tr&igrave;nh huấn luyện.&nbsp;</p>
<p style="text-align: justify;">Nếu ch&uacute;ng ta chia tập training set của m&igrave;nh th&agrave;nh nhiều batches v&agrave; chuyển từng batch cho m&ocirc; h&igrave;nh, th&igrave; mất m&aacute;t sẽ được t&iacute;nh tr&ecirc;n mỗi batch.</p>
<p style="text-align: justify;">Với một trong hai phương ph&aacute;p, v&igrave; mất m&aacute;t phụ thuộc v&agrave;o trọng số n&ecirc;n ch&uacute;ng ta hy vọng sẽ thấy gi&aacute; trị mất m&aacute;t thay đổi mỗi khi trọng số được cập nhật. Do mục ti&ecirc;u của SGD l&agrave; giảm thiểu mất m&aacute;t n&ecirc;n nếu muốn thấy sự mất m&aacute;t của ch&uacute;ng ta giảm th&igrave; h&atilde;y chạy với nhiều epoch hơn.</p>
<h3 id="ftoc-heading-2" class="ftwp-heading" style="text-align: justify;"><strong>Loss functions với keras</strong></h3>
<p style="text-align: justify;"><img style="width: 100%;" src="../../../public_files/0dc44d07-e6dc-4b5b-8f5d-a61346bc4001" alt="ham-mat-mat-trong-mang-neural-2" /></p>
<p style="text-align: justify;">B&acirc;y giờ ch&uacute;ng ta đ&atilde; c&oacute; &yacute; tưởng về h&agrave;m mất m&aacute;t l&agrave; g&igrave;, h&atilde;y xem c&aacute;ch chỉ định một h&agrave;m mất m&aacute;t trong code bằng Keras.</p>
<p style="text-align: justify;">H&atilde;y xem x&eacute;t m&ocirc; h&igrave;nh m&agrave; ch&uacute;ng ta đ&atilde; x&aacute;c định trong&nbsp;<a href="../../../cach-mot-mang-neural-hoc/" target="_blank" rel="noopener">b&agrave;i trước</a>.</p>
<div id="urvanov-syntax-highlighter-610ffb8f0c899521865653" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-plain-wrap">
<pre class="language-python"><code>[crayon-610ffb8f0c89b301327678 inline="true"  class="&rsquo;python&rsquo;"]model = Sequential([
    Dense(16, input_shape=(1,), activation='relu'),
    Dense(32, activation='relu'),
    Dense(2, activation='sigmoid')
])</code></pre>
</div>
<div class="urvanov-syntax-highlighter-main">Khi ch&uacute;ng ta c&oacute; m&ocirc; h&igrave;nh của m&igrave;nh, ch&uacute;ng ta c&oacute; thể bi&ecirc;n dịch n&oacute; như vậy:</div>
</div>
<div id="urvanov-syntax-highlighter-610ffb8f0c89d150700315" class="urvanov-syntax-highlighter-syntax crayon-theme-classic urvanov-syntax-highlighter-font-monaco urvanov-syntax-highlighter-os-pc print-yes notranslate" style="text-align: justify;" data-settings=" minimize scroll-mouseover">
<div class="urvanov-syntax-highlighter-plain-wrap">
<pre class="language-python"><code>[crayon-610ffb8f0c89e305882269 inline="true"  class="&rsquo;python&rsquo;"]model.compile(
    Adam(learning_rate=.0001),
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy']
)</code></pre>
</div>
<div class="urvanov-syntax-highlighter-main">Nh&igrave;n v&agrave;o tham số thứ hai của lời gọi <em>compile()</em>, ch&uacute;ng ta c&oacute; thể thấy h&agrave;m mất m&aacute;t được chỉ định l&agrave;&nbsp;<em>loss =&rsquo;precision_categorical_crossentropy&rsquo;</em>.</div>
</div>
<p style="text-align: justify;">Trong v&iacute; dụ n&agrave;y, ch&uacute;ng ta đang sử dụng một h&agrave;m loss được gọi l&agrave;&nbsp;<em>sparse categorical crossentropy</em>, nhưng c&oacute; một số h&agrave;m kh&aacute;c m&agrave; ch&uacute;ng ta c&oacute; thể chọn, chẳng hạn như MSE.</p>
<p style="text-align: justify;">C&aacute;c<a href="https://keras.io/api/losses/">&nbsp;h&agrave;m mất m&aacute;t hiện c&oacute; sẵn cho Keras</a>&nbsp;như sau:</p>
<ul style="text-align: justify;">
<li>mean_squared_error</li>
<li>mean_absolute_error</li>
<li>mean_absolute_percentage_error</li>
<li>mean_squared_logarithmic_error</li>
<li>squared_hinge</li>
<li>hinge</li>
<li>categorical_hinge</li>
<li>logcosh</li>
<li>categorical_crossentropy</li>
<li>sparse_categorical_crossentropy</li>
<li>binary_crossentropy</li>
<li>kullback_leibler_divergence</li>
<li>poisson</li>
<li>cosine_proximity</li>
</ul>
<p style="text-align: justify;">Hy vọng rằng b&acirc;y giờ bạn đ&atilde; c&oacute; một &yacute; tưởng chung cho h&agrave;m loss l&agrave; g&igrave;, n&oacute; hoạt động như thế n&agrave;o trong mạng neural v&agrave; c&aacute;ch chỉ định một h&agrave;m trong code với Keras. Hẹn gặp lại bạn trong b&agrave;i viết tiếp theo!</p>
<hr />
<p style="text-align: center;"><em><strong>Fanpage Facebook:</strong>&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a></em>&nbsp;</p>
<p style="text-align: center;"><em><strong>Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:</strong>&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a></em></p>

Admin

Hàm Mất Mát Trong Mạng Neural

Cùng tác giả

Admin

Có liên quan