Để đ&aacute;nh gi&aacute; khả năng hoạt động của c&aacute;c thuật to&aacute;n machine learning, ch&uacute;ng ta cần phải lượng h&oacute;a n&oacute; bằng một số đại lượng c&oacute; thể đo đếm được. C&aacute;c đại lượng n&agrave;y được gọi l&agrave; độ đo hiệu quả P của thuật to&aacute;n machine learning v&agrave; đặc trưng cho từng nhiệm vụ T kh&aacute;c nhau.
V&iacute; dụ 1. Chẳng hạn như b&agrave;i to&aacute;n ph&acirc;n lớp ch&uacute;ng ta c&oacute; thể đặc trưng bằng đại lượng độ ch&iacute;nh x&aacute;c (accuracy). Độ ch&iacute;nh x&aacute;c đơn giản l&agrave; tỷ lệ c&aacute;c mẫu được dự đo&aacute;n đ&uacute;ng bởi m&ocirc; h&igrave;nh tr&ecirc;n to&agrave;n bộ c&aacute;c mẫu thử. Hoặc một đại lượng tương đương kh&aacute;c l&agrave; tỷ lệ sai (error rate), tức l&agrave; tỷ lệ c&aacute;c mẫu bị dự đo&aacute;n sai bởi m&ocirc; h&igrave;nh. Hai đại lượng n&agrave;y c&oacute; mối quan hệ r&agrave;ng buộc v&agrave; tất nhi&ecirc;n tỷ lệ đ&uacute;ng c&agrave;ng cao c&agrave;ng tốt v&agrave; ngược lại tỷ lệ sai c&agrave;ng thấp th&igrave; c&agrave;ng tốt. Error rate thường được t&iacute;nh qua một h&agrave;m mất m&aacute;t dạng 0-1 loss. Tức l&agrave; nhận gi&aacute; trị l&agrave; 0 nếu dự đo&aacute;n đ&uacute;ng v&agrave; nhận gi&aacute; trị l&agrave; 1 nếu dự đo&aacute;n sai. 
V&iacute; dụ 2. Ngược lại với v&iacute; dụ tr&ecirc;n, đối với b&agrave;i to&aacute;n ước lượng mật độ, độ ch&iacute;nh x&aacute;c, tỷ lệ sai, hay bất cứ một độ đo n&agrave;o dựa tr&ecirc;n c&aacute;c h&agrave;m mất m&aacute;t 0-1 loss sẽ kh&ocirc;ng c&oacute; bất cứ &yacute; nghĩa n&agrave;o, bởi ở đ&acirc;y ch&uacute;ng ta kh&ocirc;ng ph&acirc;n lớp v&agrave; cũng chẳng biết lớp n&agrave;o do đ&oacute;, c&agrave;ng chẳng biết ch&uacute;ng đ&uacute;ng sai ra sao. Thay v&igrave; vậy, ch&uacute;ng ta cần sử dụng một độ đo hiệu quả kh&aacute;c cho c&aacute;c gi&aacute; trị li&ecirc;n tục để đo sự sai kh&aacute;c giữa từng mẫu quan s&aacute;t. Độ đo thường gặp nhất l&agrave; c&aacute;c c&aacute;c gi&aacute; trị được t&iacute;nh tại mỗi mẫu quan s&aacute;t tr&ecirc;n một h&agrave;m likelihood cho ph&eacute;p ước lượng mức độ tương đồng của c&aacute;c ph&acirc;n phối.
V&iacute; dụ 3. Với nhiệm vụ ph&acirc;n lớp thư r&aacute;c v&agrave; thư sạch, th&igrave; ngo&agrave;i độ ch&iacute;nh x&aacute;c, hay tỷ lệ ph&acirc;n lớp đ&uacute;ng tổng thể th&igrave; ch&uacute;ng ta c&ograve;n cần quan t&acirc;m đến một số độ đo kh&aacute;c, chẳng hạn như FPR (False Positive Rate - dương t&iacute;nh giả hay cảnh b&aacute;o giả), tức l&agrave; những trường hợp thư sạch nhưng bị nhận nhầm l&agrave; thư r&aacute;c. Tỷ lệ n&agrave;y phải c&agrave;ng nhỏ c&agrave;ng tốt (thậm ch&iacute; phải bằng 0) bởi chẳng ai muốn những bức thư quan trọng của m&igrave;nh bị nhảy v&agrave;o th&ugrave;ng r&aacute;c cả, nhưng ngược lại th&igrave; người d&ugrave;ng ho&agrave;n to&agrave;n c&oacute; thể chấp nhận th&ecirc;m đ&ocirc;i ch&uacute;t phiền phức với tỷ lệ FNR (False Negative Rate tức l&agrave; &acirc;m t&iacute;nh giả) cao hơn khi nhận nhầm thư r&aacute;c l&agrave; thư sạch.
V&iacute; dụ 4. Trường hợp ngược lại với c&aacute;c m&ocirc; h&igrave;nh ph&aacute;t hiện bệnh l&acirc;y truyền cao như Covid, hay c&aacute;c m&ocirc; h&igrave;nh ph&aacute;t hiện m&atilde; độc, ph&aacute;t hiện tấn c&ocirc;ng mạng,... th&igrave; việc "giết nhầm c&ograve;n hơn bỏ s&oacute;t" lại quan trọng hơn, v&agrave; do đ&oacute; ngược với trường hợp tr&ecirc;n l&uacute;c n&agrave;y ch&uacute;ng ta lại rất cần FNR thấp (hoặc bằng 0), trong khi ho&agrave;n to&agrave;n c&oacute; thể chấp nhận đ&ocirc;i ch&uacute;t sai s&oacute;t dạng FPR.
<img title="X&eacute;t nghiệm Covid &ndash; Nguồn: Dhamad AE, Abdal Rhida MA. 2020." src="https://old.tek4.vn/wp-content/uploads/2021/02/Phat-hien-covid-768x592.jpg" alt="X&eacute;t nghiệm Covid &ndash; Nguồn: Dhamad AE, Abdal Rhida MA. 2020." width="700" height="540" />
X&eacute;t nghiệm Covid &ndash; Nguồn: Dhamad AE, Abdal Rhida MA. 2020.
Độ đo hiệu quả P c&oacute; hai t&aacute;c dụng ch&iacute;nh trong machine learning:
<ol>
<li style="text-align: justify;">L&agrave;m ti&ecirc;u ch&iacute; để tối ưu h&oacute;a nhằm thực hiện việc huấn luyện m&ocirc; h&igrave;nh, tức l&agrave; mọi thuật to&aacute;n đều sẽ cố gắng tối ưu để đạt được độ đo P lớn nhất tr&ecirc;n bộ dữ liệu huấn luyện. Điều n&agrave;y tu&acirc;n theo đ&uacute;ng định nghĩa về machine learning được tr&igrave;nh b&agrave;y ở <a href="https://tek4.vn/machine-learning-la-gi-nhung-khai-niem-co-ban/">b&agrave;i trước</a>. Tức l&agrave; độ đo P sẽ được cải thiện khi được cung cấp nhiều dữ liệu quan s&aacute;t, hay <a href="https://tek4.vn/du-lieu-trong-machine-learning-va-nhung-dieu-can-biet/">kinh nghiệm E</a>.</li>
<li style="text-align: justify;">Để đ&aacute;nh gi&aacute; hiệu quả c&aacute;c m&ocirc; h&igrave;nh v&agrave; thuật to&aacute;n sau khi thực hiện việc huấn luyện khi sử dụng trong thực tế hoặc tr&ecirc;n bộ dữ liệu kiểm thử (testing data). Th&ocirc;ng thường, ch&uacute;ng ta quan t&acirc;m đến việc thuật to&aacute;n học m&aacute;y hoạt động tốt như thế n&agrave;o tr&ecirc;n dữ liệu m&agrave; n&oacute; chưa từng thấy trước đ&acirc;y, v&igrave; điều n&agrave;y sẽ quyết định việc n&oacute; sẽ hoạt động tốt ra sao khi được triển khai trong thực tế. Do đ&oacute;, ch&uacute;ng ta đ&aacute;nh gi&aacute; c&aacute;c độ đo hiệu quả P n&agrave;y bằng c&aacute;ch sử dụng bộ dữ liệu thử nghiệm (testing set) t&aacute;ch biệt với dữ liệu được sử dụng để đ&agrave;o tạo hệ thống học m&aacute;y. Việc đ&aacute;nh gi&aacute; n&agrave;y sẽ được quay trở lại cụ thể hơn ở b&agrave;i viết "Đ&aacute;nh gi&aacute; m&ocirc; h&igrave;nh học m&aacute;y" trong <a href="https://tek4.vn/machine-learning-co-ban/">Series b&agrave;i viết n&agrave;y</a>.</li>
</ol>
Th&ocirc;ng thường, việc lựa chọn c&aacute;c độ đo hiệu quả c&oacute; vẻ kh&aacute; đơn giản v&agrave; trực quan, tuy nhi&ecirc;n thực tế th&igrave; thật sự thường rất kh&oacute; để chọn một độ đo hiệu quả tương ứng tốt với h&agrave;nh vi mong muốn của hệ thống. Chẳng hạn ch&uacute;ng ta thấy ở v&iacute; dụ 3 v&agrave; v&iacute; dụ 4 ở tr&ecirc;n, ch&uacute;ng ta cần cả việc ph&acirc;n lớp ch&iacute;nh x&aacute;c, lẫn kh&ocirc;ng được sai qu&aacute; trong trường hợp dương t&iacute;nh hay &acirc;m t&iacute;nh v&agrave; độ ch&iacute;nh x&aacute;c ở đ&acirc;y kh&ocirc;ng phải l&agrave; độ đo duy nhất cần quan t&acirc;m. Ngược lại FPR v&agrave; FNR cũng kh&ocirc;ng phải l&agrave; độ đo cần quan t&acirc;m duy nhất bởi d&ugrave; FNR c&oacute; bằng 0 th&igrave; việc nhận dạng sai qu&aacute; nhiều cũng l&agrave;m m&ocirc; h&igrave;nh trở l&ecirc;n v&ocirc; dụng. Đ&acirc;y l&agrave; một vấn đề kh&aacute; kh&oacute; khăn đối với việc lựa chọn độ đo ph&ugrave; hợp để đ&aacute;nh gi&aacute; cho m&ocirc; h&igrave;nh. Đ&ocirc;i khi c&aacute;c độ đo n&agrave;y c&ograve;n l&agrave;m b&agrave;i to&aacute;n trở th&agrave;nh c&aacute;c b&agrave;i to&aacute;n tối ưu đa mục ti&ecirc;u. Trong một số trường hợp, thậm ch&iacute; c&ograve;n rất kh&oacute; để x&aacute;c định đ&acirc;u l&agrave; hiệu quả n&ecirc;n được đo lường. V&iacute; dụ:
<ul style="text-align: justify;">
<li>Khi thực hiện nhiệm vụ phi&ecirc;n dịch, ch&uacute;ng ta n&ecirc;n đo độ ch&iacute;nh x&aacute;c của hệ thống khi dịch to&agrave;n bộ chuỗi văn bản hay ch&uacute;ng ta chỉ sử dụng một độ đo hiệu quả cụ thể hơn để cung cấp đ&aacute;nh gi&aacute; về một phần của văn bản (kiểu dịch word by word)?</li>
<li>Khi thực hiện một nhiệm vụ hồi quy, liệu ch&uacute;ng ta c&oacute; n&ecirc;n phạt hệ thống nhiều hơn nếu n&oacute; thường xuy&ecirc;n mắc những lỗi vừa phải hay phạt nặng hơn nếu n&oacute; hiếm khi mắc lỗi nhưng khi mắc lại mắc những lỗi rất lớn?</li>
</ul>
Tr&ecirc;n thực tế, việc lựa chọn c&aacute;c ti&ecirc;u ch&iacute; đ&aacute;nh gi&aacute; hoặc độ đo hiệu quả P phụ thuộc rất lớn v&agrave;o từng ứng dụng. C&ugrave;ng một nhiệm vụ ph&acirc;n lớp hoặc hồi quy, tuy nhi&ecirc;n với b&agrave;i to&aacute;n ph&aacute;t hiện bệnh truyền nhiễm lại kh&aacute;c với b&agrave;i to&aacute;n ph&aacute;t hiện thư r&aacute;c. N&oacute; phụ thuộc rất lớn v&agrave;o đặc t&iacute;nh của từng b&agrave;i to&aacute;n cụ thể.
Trong c&aacute;c trường hợp kh&aacute;c, mặc d&ugrave; ch&uacute;ng ta biết được đ&acirc;u l&agrave; độ đo hiệu quả P l&yacute; tưởng nhất cho b&agrave;i to&aacute;n, nhưng việc đo n&oacute; l&agrave; kh&ocirc;ng thực tế. V&iacute; dụ: điều n&agrave;y ph&aacute;t sinh thường xuy&ecirc;n trong trường hợp c&aacute;c b&agrave;i to&aacute;n ước lượng mật độ. Nhiều m&ocirc; h&igrave;nh x&aacute;c suất tốt nhất chỉ biểu thị c&aacute;c ph&acirc;n phối x&aacute;c suất một c&aacute;ch ngầm định. Việc t&iacute;nh to&aacute;n gi&aacute; trị x&aacute;c suất thực tế được g&aacute;n cho một điểm cụ thể trong kh&ocirc;ng gian trong nhiều m&ocirc; h&igrave;nh như vậy l&agrave; kh&ocirc;ng thể thực hiện được. Trong những trường hợp n&agrave;y, người ta phải thiết kế một ti&ecirc;u ch&iacute; thay thế m&agrave; vẫn tương ứng với c&aacute;c mục ti&ecirc;u thiết kế, hoặc thiết kế một ti&ecirc;u ch&iacute; gần đ&uacute;ng với ti&ecirc;u ch&iacute; mong muốn.
Trong b&agrave;i viết n&agrave;y, ch&uacute;ng ta đ&atilde; t&igrave;m hiểu sơ qua về kh&aacute;i niệm chung của độ đo đ&aacute;nh gi&aacute; hiệu quả P cho b&agrave;i to&aacute;n machine learning. Với từng b&agrave;i to&aacute;n cụ thể ch&uacute;ng ta sẽ c&ograve;n tiếp tục đi s&acirc;u hơn v&agrave;o c&aacute;c v&iacute; dụ cụ thể trong c&aacute;c b&agrave;i sau. Ngo&agrave;i ra, việc sử dụng c&aacute;c độ đo v&agrave; c&aacute;ch thức để đo lường hiệu quả của c&aacute;c m&ocirc; h&igrave;nh machine learning một c&aacute;ch ch&iacute;nh x&aacute;c v&agrave; hiệu quả sẽ được tr&igrave;nh b&agrave;y cụ thể trong b&agrave;i viết "Đ&aacute;nh gi&aacute; m&ocirc; h&igrave;nh học m&aacute;y". Trong b&agrave;i tiếp theo để dễ theo d&otilde;i, ch&uacute;ng ta h&atilde;y c&ugrave;ng đi v&agrave;o một v&iacute; dụ cụ thể đơn giản nhất về machine learning "Dự đo&aacute;n mức độ h&agrave;i l&ograve;ng với c&ocirc;ng việc &ndash; V&iacute; dụ đầu ti&ecirc;n về machine learning".
&nbsp;
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Admin

Độ đo hiệu quả P trong machine learning

Cùng tác giả

Admin

Có liên quan