Ch&agrave;o mừng c&aacute;c bạn quay trở lại với loạt b&agrave;i về&nbsp;<a href="https://tek4.vn/lap-trinh-neural-network-voi-pytorch-deep-learning-voi-pytorch/">Lập Tr&igrave;nh Neural Network Với Pytorch</a>.&nbsp;Trong b&agrave;i n&agrave;y, ch&uacute;ng ta sẽ xem c&aacute;ch ch&uacute;ng ta c&oacute; thể th&ecirc;m batch normalization&nbsp;(&ldquo;batch norm&rdquo;) v&agrave;o PyTorch CNN. Bắt đầu th&ocirc;i!
<img style="width: 100%;" src="http://tek4vn.2soft.top/public_files/batch-norm-trong-pytorch-png-1" alt="Batch Norm Trong PyTorch" />
<a href="https://tek4.vn/sequential-models-lap-trinh-neural-network-voi-pytorch/" target="_blank" rel="noopener">Xem th&ecirc;m b&agrave;i viết trước:&nbsp;Sequential Models</a>
<h3 class="section-heading" style="text-align: justify;">Batch norm l&agrave; g&igrave;</h3>
Để hiểu batch norm, trước ti&ecirc;n ch&uacute;ng ta cần hiểu chuẩn h&oacute;a dữ liệu n&oacute;i chung l&agrave; g&igrave; v&agrave; ch&uacute;ng ta đ&atilde; t&igrave;m hiểu về kh&aacute;i niệm n&agrave;y trong b&agrave;i viết về <a href="https://tek4.vn/chuan-hoa-du-lieu-lap-trinh-neural-network-voi-pytorch/" target="_blank" rel="noopener">Chuẩn H&oacute;a Dữ Liệu</a>&nbsp;.
Khi ch&uacute;ng ta chuẩn h&oacute;a tập dữ liệu l&agrave; ch&uacute;ng ta đang chuẩn h&oacute;a dữ liệu đầu v&agrave;o sẽ được chuyển đến mạng v&agrave; khi ch&uacute;ng ta th&ecirc;m batch norm v&agrave;o mạng của m&igrave;nh nghĩa l&agrave; ch&uacute;ng ta đang chuẩn h&oacute;a lại dữ liệu sau khi n&oacute; đ&atilde; đi qua một hoặc nhiều layers.
Một c&acirc;u hỏi c&oacute; thể đặt ra ở đ&acirc;y l&agrave;:
<pre><code>Tại sao phải chuẩn h&oacute;a lại nếu đầu v&agrave;o đ&atilde; được chuẩn h&oacute;a?</code></pre>
Khi dữ liệu bắt đầu di chuyển qua c&aacute;c layers, c&aacute;c gi&aacute; trị sẽ bắt đầu thay đổi khi c&aacute;c ph&eacute;p biến đổi layer được định dạng trước.&nbsp;Việc chuẩn h&oacute;a c&aacute;c kết quả đầu ra từ một layer đảm bảo rằng scale nằm trong một phạm vi cụ thể khi dữ liệu chạy qua mạng từ đầu v&agrave;o đến đầu ra.
Kỹ thuật chuẩn h&oacute;a cụ thể thường được sử dụng được gọi l&agrave;&nbsp;standardization.&nbsp;Đ&acirc;y l&agrave; nơi ch&uacute;ng ta t&iacute;nh z-score bằng c&aacute;ch sử dụng gi&aacute; trị trung b&igrave;nh v&agrave; độ lệch chuẩn.
$z=\frac{x-mean}{std}$
<h4 class="sub-section-heading" style="text-align: justify;">C&aacute;ch hoạt động của batch norm</h4>
Khi sử dụng batch norm, c&aacute;c gi&aacute; trị trung b&igrave;nh v&agrave; độ lệch chuẩn được t&iacute;nh to&aacute;n đối với batch tại thời điểm &aacute;p dụng chuẩn h&oacute;a (normalization).&nbsp;Điều n&agrave;y tr&aacute;i ngược với to&agrave;n bộ tập dữ liệu, giống như ch&uacute;ng ta đ&atilde; thấy với việc chuẩn h&oacute;a tập dữ liệu.
Ngo&agrave;i ra, c&oacute; hai tham số c&oacute; thể học được cho ph&eacute;p dữ liệu được chia tỷ lệ (scale) v&agrave; dịch chuyển dữ liệu (shifted). Ch&uacute;ng ta c&oacute; thể thấy điều n&agrave;y trong b&agrave;i b&aacute;o:&nbsp;&nbsp;<a href="https://arxiv.org/pdf/1502.03167.pdf">Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift</a>
Lưu &yacute; rằng scaling cho bởi $\gamma$ tương ứng với ph&eacute;p t&iacute;nh nh&acirc;n, v&agrave; sifting cho bởi $\beta$ tương ứng với ph&eacute;p cộng.
C&aacute;c hoạt động scale v&agrave; sift nghe c&oacute; vẻ lạ, nhưng ch&uacute;ng chỉ đơn giản c&oacute; nghĩa l&agrave; nh&acirc;n v&agrave; cộng.
<h3 class="section-heading" style="text-align: justify;">Th&ecirc;m batch norm v&agrave;o CNN</h3>
B&acirc;y giờ,&nbsp;h&atilde;y tạo hai mạng, một c&oacute; batch norm v&agrave; một kh&ocirc;ng c&oacute;.&nbsp;Sau đ&oacute;, ch&uacute;ng ta sẽ kiểm tra c&aacute;c thiết lập n&agrave;y bằng c&aacute;ch sử dụng testing framework m&agrave; ch&uacute;ng ta đ&atilde; ph&aacute;t triển cho đến nay trong loạt b&agrave;i n&agrave;y.&nbsp;Để l&agrave;m điều n&agrave;y, ch&uacute;ng ta sẽ sử dụng lớp nn.Sequential.&nbsp;
Mạng đầu ti&ecirc;n của ch&uacute;ng ta sẽ được gọi l&agrave; network1:
<pre class="language-python"><code>torch.manual_seed(50)
network1 = nn.Sequential(
 nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5)
 , nn.ReLU()
 , nn.MaxPool2d(kernel_size=2, stride=2)
 , nn.Conv2d(in_channels=6, out_channels=12, kernel_size=5)
 , nn.ReLU()
 , nn.MaxPool2d(kernel_size=2, stride=2)
 , nn.Flatten(start_dim=1) 
 , nn.Linear(in_features=12*4*4, out_features=120)
 , nn.ReLU()
 , nn.Linear(in_features=120, out_features=60)
 , nn.ReLU()
 , nn.Linear(in_features=60, out_features=10)
)</code></pre>
Mạng thứ hai của ch&uacute;ng ta sẽ được gọi l&agrave; network2:
<pre class="language-python"><code>torch.manual_seed(50)
network2 = nn.Sequential(
 nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5)
 , nn.ReLU()
 , nn.MaxPool2d(kernel_size=2, stride=2)
 , nn.BatchNorm2d(6)
 , nn.Conv2d(in_channels=6, out_channels=12, kernel_size=5)
 , nn.ReLU()
 , nn.MaxPool2d(kernel_size=2, stride=2)
 , nn.Flatten(start_dim=1) 
 , nn.Linear(in_features=12*4*4, out_features=120)
 , nn.ReLU()
 , nn.BatchNorm1d(120)
 , nn.Linear(in_features=120, out_features=60)
 , nn.ReLU()
 , nn.Linear(in_features=60, out_features=10)
)</code></pre>
B&acirc;y giờ, ch&uacute;ng ta sẽ tạo một từ điển networks m&agrave; ch&uacute;ng ta sẽ sử dụng để lưu trữ hai mạng.
<pre class="language-python"><code>networks = {
 'no_batch_norm': network1
 ,'batch_norm': network2
}</code></pre>
T&ecirc;n hoặc kh&oacute;a của từ điển n&agrave;y sẽ được sử dụng b&ecirc;n trong v&ograve;ng lặp chạy của ch&uacute;ng ta để truy cập từng mạng.&nbsp;Để định cấu h&igrave;nh c&aacute;c lần chạy, ch&uacute;ng ta c&oacute; thể sử dụng c&aacute;c kh&oacute;a của từ điển thay v&igrave; viết ra từng gi&aacute; trị r&otilde; r&agrave;ng.&nbsp;Điều n&agrave;y kh&aacute; tuyệt v&igrave; n&oacute; cho ph&eacute;p ch&uacute;ng ta dễ d&agrave;ng kiểm tra c&aacute;c mạng kh&aacute;c nhau với nhau chỉ bằng c&aacute;ch th&ecirc;m nhiều mạng hơn v&agrave;o từ điển.
<pre class="language-python"><code>params = OrderedDict(
 lr = [.01]
 , batch_size = [1000]
 , num_workers = [1]
 , device = ['cuda']
 , trainset = ['normal']
 , network = list(networks.keys())
)</code></pre>
B&acirc;y giờ, tất cả những g&igrave; ch&uacute;ng ta l&agrave;m b&ecirc;n trong v&ograve;ng lặp chạy của ch&uacute;ng ta chỉ đơn giản l&agrave; truy cập mạng bằng c&aacute;ch sử dụng đối tượng run cho ph&eacute;p ch&uacute;ng ta truy cập v&agrave;o từ điển của c&aacute;c mạng.&nbsp;N&oacute; như thế n&agrave;y:
<pre class="language-python"><code>network = networks[run.network].to(device)</code></pre>
Ch&uacute;ng ta đ&atilde; sẵn s&agrave;ng để kiểm tra.&nbsp;Kết quả như sau:
<table style="width: 951px;" width="861">
<tbody>
<tr>
<td style="width: 33.25px;">run</td>
<td style="width: 52.25px;">epoch</td>
<td style="width: 53.25px;">loss</td>
<td style="width: 72.25px;">accuracy</td>
<td style="width: 80.25px;">epoch duration</td>
<td style="width: 76.25px;">run duration</td>
<td style="width: 53.25px;">lr</td>
<td style="width: 55.25px;">
batch_
size
</td>
<td style="width: 66.25px;">
num_
workers
</td>
<td style="width: 55.25px;">device</td>
<td style="width: 64.25px;">trainset</td>
<td style="width: 116.25px;">network</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">20</td>
<td style="width: 53.25px;">0.1636</td>
<td style="width: 72.25px;">0.9377</td>
<td style="width: 80.25px;">9.5200</td>
<td style="width: 76.25px;">196.9300</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">19</td>
<td style="width: 53.25px;">0.1716</td>
<td style="width: 72.25px;">0.9335</td>
<td style="width: 80.25px;">9.5300</td>
<td style="width: 76.25px;">187.2900</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">18</td>
<td style="width: 53.25px;">0.1757</td>
<td style="width: 72.25px;">0.9315</td>
<td style="width: 80.25px;">9.6400</td>
<td style="width: 76.25px;">177.6500</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">17</td>
<td style="width: 53.25px;">0.1799</td>
<td style="width: 72.25px;">0.9311</td>
<td style="width: 80.25px;">9.5700</td>
<td style="width: 76.25px;">167.8900</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">16</td>
<td style="width: 53.25px;">0.1865</td>
<td style="width: 72.25px;">0.9285</td>
<td style="width: 80.25px;">9.6200</td>
<td style="width: 76.25px;">158.2000</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">15</td>
<td style="width: 53.25px;">0.1932</td>
<td style="width: 72.25px;">0.9266</td>
<td style="width: 80.25px;">9.6100</td>
<td style="width: 76.25px;">148.4700</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">14</td>
<td style="width: 53.25px;">0.1978</td>
<td style="width: 72.25px;">0.9252</td>
<td style="width: 80.25px;">9.6800</td>
<td style="width: 76.25px;">138.7500</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">13</td>
<td style="width: 53.25px;">0.2075</td>
<td style="width: 72.25px;">0.9214</td>
<td style="width: 80.25px;">9.5400</td>
<td style="width: 76.25px;">128.9700</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">12</td>
<td style="width: 53.25px;">0.2087</td>
<td style="width: 72.25px;">0.9209</td>
<td style="width: 80.25px;">9.5500</td>
<td style="width: 76.25px;">119.3200</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">11</td>
<td style="width: 53.25px;">0.2151</td>
<td style="width: 72.25px;">0.9197</td>
<td style="width: 80.25px;">9.5800</td>
<td style="width: 76.25px;">109.6600</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">10</td>
<td style="width: 53.25px;">0.2240</td>
<td style="width: 72.25px;">0.9156</td>
<td style="width: 80.25px;">9.7100</td>
<td style="width: 76.25px;">99.9800</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">1</td>
<td style="width: 52.25px;">20</td>
<td style="width: 53.25px;">0.2254</td>
<td style="width: 72.25px;">0.9150</td>
<td style="width: 80.25px;">9.6600</td>
<td style="width: 76.25px;">196.2000</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">no_batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">2</td>
<td style="width: 52.25px;">9</td>
<td style="width: 53.25px;">0.2304</td>
<td style="width: 72.25px;">0.9133</td>
<td style="width: 80.25px;">9.6600</td>
<td style="width: 76.25px;">90.1600</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">batch_norm</td>
</tr>
<tr>
<td style="width: 33.25px;">1</td>
<td style="width: 52.25px;">19</td>
<td style="width: 53.25px;">0.2315</td>
<td style="width: 72.25px;">0.9130</td>
<td style="width: 80.25px;">9.6700</td>
<td style="width: 76.25px;">186.4500</td>
<td style="width: 53.25px;">0.0100</td>
<td style="width: 55.25px;">1000</td>
<td style="width: 66.25px;">1</td>
<td style="width: 55.25px;">cuda</td>
<td style="width: 64.25px;">normal</td>
<td style="width: 116.25px;">no_batch_norm</td>
</tr>
</tbody>
</table>
Batch norm&nbsp;đ&atilde; thu h&uacute;t sự cạnh tranh v&agrave; mang lại cho ch&uacute;ng ta độ ch&iacute;nh x&aacute;c cao nhất m&agrave; ch&uacute;ng ta từng thấy.
&nbsp;
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Admin

Batch Norm Trong PyTorch

Cùng tác giả

Admin

Có liên quan