Khi dữ liệu đ&agrave;o tạo trong học m&aacute;y c&oacute; gi&aacute;m s&aacute;t, ch&uacute;ng ta kh&ocirc;ng t&igrave;m kiếm m&ocirc; h&igrave;nh hoạt động tốt như thế n&agrave;o tr&ecirc;n dữ liệu đ&agrave;o tạo m&agrave; tr&ecirc;n dữ liệu mới (v&iacute; dụ: kh&aacute;ch h&agrave;ng mới, tội phạm mới, h&igrave;nh ảnh mới, v.v.). Do đ&oacute;, c&aacute;ch tiếp cận đ&aacute;nh gi&aacute; sẽ cho ph&eacute;p ch&uacute;ng ta kiểm tra vi&ecirc;̣c c&aacute;c m&ocirc; h&igrave;nh c&oacute; thể dự đo&aacute;n hi&ecirc;̣u quả như th&ecirc;́ nào từ dữ liệu m&agrave; ch&uacute;ng chưa từng thấy trước đ&acirc;y.
Bạn c&oacute; thể muốn giữ lại một phần dữ liệu để kiểm tra giả thuyết. Ch&uacute;ng t&ocirc;i gọi quy tr&igrave;nh n&agrave;y l&agrave; "x&aacute;c thực" (hoặc giữ lại). Quan s&aacute;t (c&aacute;c t&iacute;nh năng v&agrave; mục ti&ecirc;u) được chia th&agrave;nh hai nh&oacute;m trong qu&aacute; tr&igrave;nh x&aacute;c nhận, đó l&agrave; bộ đ&agrave;o tạo v&agrave; kiểm tra.
Trong bước tiếp theo, ch&uacute;ng ta sử dụng dữ liệu đ&agrave;o tạo để hướng dẫn m&ocirc; h&igrave;nh c&aacute;ch tạo ra c&aacute;c dự đo&aacute;n ch&iacute;nh x&aacute;c nhất. Bước cuối c&ugrave;ng, ch&uacute;ng ta đ&aacute;nh gi&aacute; hiệu suất của m&ocirc; h&igrave;nh được đ&agrave;o tạo tr&ecirc;n bộ đ&agrave;o tạo tr&ecirc;n bộ thử nghiệm của ch&uacute;ng t&ocirc;i.
C&oacute; một số sai s&oacute;t trong chiến lược n&agrave;y. Sẽ kh&ocirc;ng c&oacute; đủ dữ liệu trong tập dữ li&ecirc;̣u huấn luyện để m&ocirc; h&igrave;nh t&igrave;m hiểu mối quan hệ giữa đầu v&agrave;o v&agrave; đầu ra cho c&aacute;c tập dữ liệu nhỏ, v&agrave; quy tr&igrave;nh x&aacute;c nhận ch&eacute;o k-lần sẽ ph&ugrave; hợp ở đ&acirc;y.
K-fold cross-validation (KFCV) l&agrave; một kỹ thuật chia dữ liệu th&agrave;nh <code>k</code> phần được gọi l&agrave; "folds". Sau đ&oacute;, m&ocirc; h&igrave;nh được huấn luyện bằng c&aacute;ch sử dụng <code>k-1</code> folds được t&iacute;ch hợp v&agrave;o một tập huấn luyện duy nhất, v&agrave; nếp gấp cuối c&ugrave;ng được sử dụng như một tập thử nghiệm. Điều n&agrave;y được lặp lại <code>k</code> lần, mỗi lần sử dụng một fold kh&aacute;c nhau l&agrave;m tập thử nghiệm. Hiệu suất của m&ocirc; h&igrave;nh sau đ&oacute; được t&iacute;nh trung b&igrave;nh qua <code>k</code> lần lặp để cung cấp ph&eacute;p đo tổng thể.
 <img style="width: 100%;" src="https://tek4.vn/public_files/03b527a6-d373-4d3c-a814-5b976d44582b" alt="grid_search_cross_validation" />
nguồn: scikit-learn.org
Đối với bản demo của hướng dẫn n&agrave;y, h&atilde;y đảm bảo rằng bạn đ&atilde; c&agrave;i đặt g&oacute;i scikit-learning:
<pre class="language-python"><code>$ pip install scikit-learn</code></pre>
H&atilde;y bắt đầu bằng c&aacute;ch tải c&aacute;c h&agrave;m v&agrave; lớp cần thiết:
<pre class="language-python"><code># Load libraries
from sklearn import datasets
from sklearn import metrics
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler</code></pre>
Ch&uacute;ng t&ocirc;i sẽ sử dụng tập dữ liệu c&aacute;c chữ số đơn giản l&agrave;m minh chứng cho hướng dẫn n&agrave;y:
<pre class="language-python"><code># digits dataset loading
digits = datasets.load_digits()
# Create features matrix
features = digits.data
# Create target vector
target = digits.target</code></pre>
Tạo &nbsp;<code>StandardScaler</code> v&agrave; m&ocirc; h&igrave;nh, trong trường hợp n&agrave;y, ch&uacute;ng t&ocirc;i sẽ chọn <code>LogisticRegression()</code>:
<pre class="language-python"><code># standardization
standard_scaler = StandardScaler()
# logistic regression creation
logit = LogisticRegression()</code></pre>
Để c&oacute; được điểm x&aacute;c thực ch&eacute;o KFold trong Scikit-learning, bạn c&oacute; thể sử dụng lớp <code>KFold</code> v&agrave; chuyển n&oacute; v&agrave;o h&agrave;m <code>cross_val_score()</code>, c&ugrave;ng với đường ống (tiền xử l&yacute; v&agrave; m&ocirc; h&igrave;nh) v&agrave; tập dữ liệu:
<pre class="language-python"><code># pipeline creation for standardization and performing logistic regression
pipeline = make_pipeline(standard_scaler, logit)
# perform k-Fold cross-validation
kf = KFold(n_splits=11, shuffle=True, random_state=2)
# k-fold cross-validation conduction
cv_results = cross_val_score(pipeline, # Pipeline
 features, # Feature matrix
 target, # Target vector
 cv=kf, # Cross-validation technique
 scoring="accuracy", # Loss function
 n_jobs=-1) # Use all CPU cores
# View score for all 11 folds
cv_results</code></pre>
<pre class="language-python"><code>array([0.92682927, 0.98170732, 0.95731707, 0.95121951, 0.98159509,
 0.97546012, 0.98159509, 0.98773006, 0.96319018, 0.97546012,
 0.96932515])</code></pre>
Ch&uacute;ng ta sử dụng x&aacute;c thực ch&eacute;o k-lần với 11 lần. H&atilde;y t&iacute;nh điểm CV trung b&igrave;nh:
<pre class="language-python"><code># Calculate mean
cv_results.mean()</code></pre>
<pre class="language-python"><code>0.968311727177506</code></pre>
H&agrave;m <code>cross_val_score()</code> chấp nhận một số tham số:
<ul style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1"><code>estimator</code>: Đối tượng để sử dụng để ph&ugrave; hợp với dữ liệu, c&ocirc;ng cụ ước t&iacute;nh hoặc một đường ống như trong trường hợp của ch&uacute;ng t&ocirc;i.</li>
<li style="font-weight: 400;" aria-level="1"><code>X</code> v&agrave; <code>y</code>: Đầu v&agrave;o v&agrave; đầu ra của tập dữ liệu.</li>
<li style="font-weight: 400;" aria-level="1">Phương ph&aacute;p x&aacute;c thực ch&eacute;o được x&aacute;c định bởi tham số <code>cv</code>. Cho đến nay, K-fold l&agrave; phổ biến nhất, mặc d&ugrave; c&oacute; một số c&aacute;ch kh&aacute;c, chẳng hạn như x&aacute;c thực ch&eacute;o để lại một lần, trong đ&oacute; số lần <code>k</code> fold khớp với số quan s&aacute;t.</li>
<li style="font-weight: 400;" aria-level="1">Tham số <code>scoring</code> x&aacute;c định thước đo th&agrave;nh c&ocirc;ng.</li>
<li style="font-weight: 400;" aria-level="1">Cuối c&ugrave;ng, &nbsp;<code>n_jobs=-1</code> hướng dẫn scikit-learning sử dụng mọi l&otilde;i c&oacute; sẵn. V&iacute; dụ: nếu m&aacute;y t&iacute;nh của bạn c&oacute; bốn l&otilde;i (phổ biến trong m&aacute;y t&iacute;nh x&aacute;ch tay), scikit-learning sẽ sử dụng đồng thời cả bốn l&otilde;i để tăng tốc quy tr&igrave;nh.</li>
</ul>
Khi bạn thực hiện KFCV, c&oacute; ba điều bạn cần ghi nhớ:
<ul style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">V&igrave; mỗi quan s&aacute;t được cho l&agrave; đ&atilde; được tạo độc lập, KFCV bắt đầu với tiền đề rằng dữ liệu độc lập v&agrave; được ph&acirc;n phối giống hệt nhau (IID). Tập dữ liệu IID n&ecirc;n được x&aacute;o trộn khi được g&aacute;n cho c&aacute;c phần gấp. Đặt <code>shuffle = True</code> trong lớp <code>KFold</code> để tiến h&agrave;nh x&aacute;o trộn.</li>
<li style="font-weight: 400;" aria-level="1">Thứ hai, khi sử dụng KFCV để đ&aacute;nh gi&aacute; bộ ph&acirc;n loại, thường c&oacute; gi&aacute; trị để c&oacute; c&aacute;c nếp gấp chứa tỷ lệ dữ liệu gần như bằng nhau từ mỗi lớp đ&iacute;ch (k-lần ph&acirc;n tầng). Nếu ch&uacute;ng ta muốn thực hiện x&aacute;c thực ch&eacute;o KFold ph&acirc;n tầng trong scikit-learning, ch&uacute;ng ta chỉ cần thay thế lớp <code>KFold</code> bằng <code>StratifiedKFold</code>.</li>
<li style="font-weight: 400;" aria-level="1">Khi sử dụng c&aacute;c tập x&aacute;c thực hoặc x&aacute;c thực ch&eacute;o, điều quan trọng l&agrave; phải xử l&yacute; trước dữ liệu dựa tr&ecirc;n tập huấn luyện v&agrave; sau đ&oacute; &aacute;p dụng c&aacute;c biến đổi đ&oacute; cho cả tập huấn luyện v&agrave; thử nghiệm. L&yacute; do cho điều n&agrave;y l&agrave; ch&uacute;ng t&ocirc;i tuy&ecirc;n bố rằng dữ liệu thử nghiệm l&agrave; dữ liệu kh&ocirc;ng x&aacute;c định. Khi ch&uacute;ng t&ocirc;i điều chỉnh cả hai bộ tiền xử l&yacute; của m&igrave;nh bằng c&aacute;ch sử dụng c&aacute;c quan s&aacute;t từ tập huấn luyện v&agrave; tập kiểm tra, một số th&ocirc;ng tin từ tập kiểm tra sẽ thấm v&agrave;o tập huấn luyện. Quy tắc n&agrave;y đ&uacute;ng cho mọi bước tiền xử l&yacute;, bao gồm cả lựa chọn t&iacute;nh năng. M&ocirc;-đun đường ống trong scikit-learning l&agrave;m cho việc n&agrave;y trở n&ecirc;n đơn giản trong khi sử dụng c&aacute;c phương ph&aacute;p x&aacute;c nhận ch&eacute;o. Ch&uacute;ng t&ocirc;i bắt đầu bằng c&aacute;ch x&acirc;y dựng một đường ống xử l&yacute; trước dữ liệu (v&iacute; dụ: <code>standard_scaler</code>) trước khi đ&agrave;o tạo m&ocirc; h&igrave;nh (hồi quy logistic, logit): cho mọi bước tiền xử l&yacute;, bao gồm cả lựa chọn t&iacute;nh năng.</li>
<li style="font-weight: 400;" aria-level="1">KFCV l&agrave; phương ph&aacute;p ưa th&iacute;ch cho c&aacute;c bộ dữ liệu nhỏ hơn so với việc ph&acirc;n chia t&agrave;u / thử nghiệm. Tuy nhi&ecirc;n, n&oacute; rất tốn k&eacute;m về mặt t&iacute;nh to&aacute;n, đặc biệt l&agrave; khi <code>k</code> được chọn cao.</li>
</ul>
[___NOTE_Bạn c&oacute; thể định cấu h&igrave;nh x&aacute;c thực ch&eacute;o sao cho k&iacute;ch thước m&agrave;n h&igrave;nh đầu ti&ecirc;n l&agrave; một (k được đặt th&agrave;nh số quan s&aacute;t trong tập dữ liệu). Như đ&atilde; thảo luận trong hướng dẫn, loại x&aacute;c thực ch&eacute;o n&agrave;y được gọi l&agrave; x&aacute;c thực ch&eacute;o bỏ đi. Do đ&oacute;, nhiều chỉ số hiệu suất c&oacute; thể được tổng hợp để đ&aacute;nh gi&aacute; độ ch&iacute;nh x&aacute;c của m&ocirc; h&igrave;nh tr&ecirc;n dữ liệu kh&ocirc;ng nh&igrave;n thấy một c&aacute;ch ch&iacute;nh x&aacute;c. Một đi&ecirc;̉m bất lợi l&agrave; n&oacute; c&oacute; thể t&iacute;nh to&aacute;n tốn k&eacute;m hơn so với x&aacute;c thực ch&eacute;o k-fold._NOTE___]

Admin

Kỹ thuật xác thực chéo K-Fold bằng Scikit-Learn trong Python

Cùng tác giả

Admin

Có liên quan