Ch&agrave;o mừng c&aacute;c bạn quay trở lại với loạt b&agrave;i về <a href="https://tek4.vn/lap-trinh-neural-network-voi-pytorch-deep-learning-voi-pytorch/">Lập Tr&igrave;nh Neural Network Với Pytorch</a>. Trong b&agrave;i n&agrave;y, ch&uacute;ng ta sẽ học c&aacute;ch sử dụng TensorBoard để trực quan h&oacute;a c&aacute;c số liệu của CNN trong qu&aacute; tr&igrave;nh đ&agrave;o tạo mạng neural. Bắt đầu th&ocirc;i!
<img style="width: 100%;" src="http://tek4vn.2soft.top/public_files/tensorboard-voi-pytorch-png-1" alt="TensorBoard Với PyTorch" />
<a href="https://tek4.vn/stack-va-concat-trong-pytorch-lap-trinh-neural-network-voi-pytorch/" target="_blank" rel="noopener">Xem th&ecirc;m b&agrave;i viết trước:&nbsp;Stack V&agrave; Concat Trong Pytorch</a>
<h3 style="text-align: justify;">Tiến độ của dự &aacute;n</h3>
Tại thời điểm n&agrave;y trong loạt b&agrave;i, ch&uacute;ng ta vừa ho&agrave;n th&agrave;nh việc chạy mạng của m&igrave;nh th&ocirc;ng qua qu&aacute; tr&igrave;nh đ&agrave;o tạo. B&acirc;y giờ, ch&uacute;ng ta đang ở giai đoạn 4 l&agrave; ph&acirc;n t&iacute;ch kết quả m&ocirc; h&igrave;nh v&agrave; muốn c&oacute; th&ecirc;m số liệu về qu&aacute; tr&igrave;nh n&agrave;y để hiểu r&otilde; hơn về những g&igrave; đang diễn ra.&nbsp;
<ol style="text-align: justify;">
<li style="list-style-type: none;">
<ol>
<li style="font-weight: 400;">Chuẩn bị dữ liệu</li>
<li style="font-weight: 400;">X&acirc;y dựng m&ocirc; h&igrave;nh</li>
<li style="font-weight: 400;">Đ&agrave;o tạo m&ocirc; h&igrave;nh</li>
<li style="font-weight: 400;">Ph&acirc;n t&iacute;ch kết quả của m&ocirc; h&igrave;nh</li>
</ol>
</li>
</ol>
<h3 style="text-align: justify;">TensorBoard: Bộ c&ocirc;ng cụ trực quan h&oacute;a của TensorFlow</h3>
<a href="https://www.tensorflow.org/tensorboard/">TensorBoard</a> cung cấp h&igrave;nh ảnh v&agrave; c&ocirc;ng cụ cần thiết cho c&aacute;c thử nghiệm học m&aacute;y:
<ul style="text-align: justify;">
<li style="font-weight: 400;">Tracking v&agrave; visualizing c&aacute;c chỉ số như mất m&aacute;t v&agrave; độ ch&iacute;nh x&aacute;c.</li>
<li style="font-weight: 400;">Visualizing the model graph (ops and layers)&nbsp;</li>
<li style="font-weight: 400;">Xem biểu đồ trọng số, độ lệch hoặc c&aacute;c yếu tố kh&aacute;c khi ch&uacute;ng thay đổi theo thời gian</li>
<li style="font-weight: 400;">Chiếu c&aacute;c bản nh&uacute;ng v&agrave;o kh&ocirc;ng gian c&oacute; chiều thấp hơn</li>
<li style="font-weight: 400;">Hiển thị dữ liệu h&igrave;nh ảnh, văn bản v&agrave; &acirc;m thanh</li>
<li style="font-weight: 400;">Lập hồ sơ chương tr&igrave;nh TensorFlow</li>
<li style="font-weight: 400;">V&agrave; nhiều hơn nữa.</li>
</ul>
Kể từ phi&ecirc;n bản PyTorch 1.1.0, PyTorch đ&atilde; bổ sung một g&oacute;i tiện &iacute;ch tensorboard cho ph&eacute;p ch&uacute;ng ta sử dụng TensorBoard với PyTorch.
<pre class="language-python"><code>print(torch.__version__)
1.1.0
from torch.utils.tensorboard import SummaryWriter</code></pre>
<h3 class="section-heading" style="text-align: justify;">C&agrave;i đặt TensorBoard cho PyTorch</h3>
Để c&agrave;i đặt TensorBoard cho PyTorch, h&atilde;y l&agrave;m theo c&aacute;c bước sau:
1. X&aacute;c minh rằng bạn đang chạy PyTorch phi&ecirc;n bản 1.1.0 trở l&ecirc;n.
2. Chắc chắn&nbsp;rằng bạn đang chạy TensorBoard phi&ecirc;n bản 1.15 trở l&ecirc;n.
3. Lưu &yacute; rằng TensorBoard m&agrave; PyTorch sử dụng ch&iacute;nh l&agrave; TensorBoard đ&atilde; được tạo cho TensorFlow.&nbsp;Kiểm tra phi&ecirc;n bản TensorBoard được c&agrave;i đặt tr&ecirc;n hệ thống của bạn bằng lệnh sau:
<pre><code>tensorboard --version</code></pre>
4. C&agrave;i đặt TensorBoard bằng lệnh sau.
<pre><code>pip install tensorboard</code></pre>
5. Sau khi c&agrave;i đặt TensorBoard phi&ecirc;n bản 1.15 trở l&ecirc;n, ch&uacute;ng ta đ&atilde; sẵn s&agrave;ng!
<h3 class="section-heading" style="text-align: justify;">Bắt đầu với TensorBoard cho PyTorch</h3>
TensorBoard l&agrave; một giao diện web front-end về cơ bản đọc dữ liệu từ một tệp v&agrave; hiển thị n&oacute;.&nbsp;Để sử dụng TensorBoard, nhiệm vụ của ch&uacute;ng ta l&agrave; lấy dữ liệu muốn hiển thị được lưu v&agrave;o một tệp m&agrave; TensorBoard c&oacute; thể đọc được.
Để gi&uacute;p dễ d&agrave;ng hơn, PyTorch đ&atilde; tạo một lớp tiện &iacute;ch c&oacute; t&ecirc;n l&agrave; SummaryWriter.&nbsp;Để c&oacute; quyền truy cập v&agrave;o lớp n&agrave;y, ch&uacute;ng ta import như sau:
<pre class="language-python"><code>from torch.utils.tensorboard import SummaryWriter</code></pre>
Khi ch&uacute;ng ta đ&atilde; import lớp, ch&uacute;ng ta c&oacute; thể tạo một instance của lớp m&agrave; sau đ&oacute; sẽ sử dụng để lấy dữ liệu ra khỏi chương tr&igrave;nh v&agrave; v&agrave;o hệ thống tệp nơi sau đ&oacute; TensorBoard c&oacute; thể sử dụng n&oacute;.
<h4 class="sub-section-heading" style="text-align: justify;">Network Graph v&agrave; Training Set Images</h4>
Lớp SummaryWriter đi k&egrave;m với một loạt c&aacute;c phương thức m&agrave; ch&uacute;ng ta c&oacute; thể gọi để chọn v&agrave; chọn dữ liệu m&agrave; ch&uacute;ng ta muốn c&oacute; sẵn cho TensorBoard.&nbsp;Trước ti&ecirc;n, ch&uacute;ng ta sẽ bắt đầu bằng c&aacute;ch chuyển mạng v&agrave; một batch h&igrave;nh ảnh cho writer.
<pre class="language-python"><code>tb = SummaryWriter()

network = Network()
images, labels = next(iter(train_loader))
grid = torchvision.utils.make_grid(images)

tb.add_image('images', grid)
tb.add_graph(network, images)
tb.close()</code></pre>
Code&nbsp;n&agrave;y tạo một instance SummaryWriter được gọi l&agrave; tb cho TensorBoard.&nbsp;&nbsp;Sau đ&oacute;, tạo một instance của mạng PyTorch v&agrave; giải n&eacute;n một batch h&igrave;nh ảnh v&agrave; nh&atilde;n từ đối tượng data loader PyTorch của ch&uacute;ng ta.&nbsp;Sau đ&oacute;, h&igrave;nh ảnh v&agrave; mạng được th&ecirc;m v&agrave;o tệp m&agrave; TensorBoard sẽ sử dụng.
<h4 class="section-heading" style="text-align: justify;">Chạy TensorBoard</h4>
Để khởi chạy TensorBoard, ch&uacute;ng ta cần chạy lệnh tensorboard tại cmd của m&igrave;nh.&nbsp;Thao t&aacute;c n&agrave;y sẽ khởi chạy một m&aacute;y chủ cục bộ sẽ phục vụ giao diện người d&ugrave;ng v&agrave; dữ liệu SummaryWriter của ch&uacute;ng ta đ&atilde; ghi v&agrave;o đĩa.
Theo mặc định, đối tượng PyTorch SummaryWriter ghi dữ liệu v&agrave;o đĩa trong thư mục c&oacute; t&ecirc;n ./runs được tạo trong thư mục l&agrave;m việc hiện tại.
Khi ch&uacute;ng ta chạy lệnh tensorboard, ch&uacute;ng ta truyền một đối số cho&nbsp;tensorboard biết&nbsp;dữ liệu đang ở đ&acirc;u.&nbsp;V&igrave; vậy, n&oacute; như thế n&agrave;y:
<pre><code>tensorboard --logdir=runs</code></pre>
M&aacute;y chủ TensorBoard sẽ khởi chạy v&agrave; lắng nghe c&aacute;c y&ecirc;u cầu http tr&ecirc;n cổng 6006.&nbsp;C&aacute;c chi tiết n&agrave;y sẽ được hiển thị trong bảng điều khiển.
Truy cập giao diện người d&ugrave;ng TensorBoard bằng c&aacute;ch duyệt tới:
<pre><code>http://localhost:6006</code></pre>
Tại đ&acirc;y, ch&uacute;ng ta c&oacute; thể xem biểu đồ mạng v&agrave; dữ liệu h&igrave;nh ảnh của ch&uacute;ng ta.&nbsp;Tại thời điểm hiện tại, điều n&agrave;y cung cấp cho ch&uacute;ng ta một h&igrave;nh ảnh trực quan, nhưng n&oacute; kh&ocirc;ng hữu &iacute;ch bằng những g&igrave; tiếp theo.
<h4 class="section-heading" style="text-align: justify;">TensorBoard Histograms v&agrave; Scalars</h4>
C&aacute;c loại dữ liệu import tiếp theo m&agrave; ch&uacute;ng ta c&oacute; thể th&ecirc;m v&agrave;o TensorBoard l&agrave; dữ liệu số.&nbsp;Ch&uacute;ng ta c&oacute; thể th&ecirc;m c&aacute;c gi&aacute; trị v&ocirc; hướng sẽ được hiển thị theo thời gian hoặc theo epoch.&nbsp;Ch&uacute;ng ta cũng c&oacute; thể th&ecirc;m gi&aacute; trị v&agrave;o biểu đồ để xem ph&acirc;n bố tần số của ch&uacute;ng.
Để th&ecirc;m c&aacute;c đại lượng v&ocirc; hướng v&agrave; biểu đồ, ch&uacute;ng ta sử dụng c&aacute;c phương thức tương ứng được cung cấp bởi lớp PyTorch SummaryWriter.
Đ&acirc;y l&agrave; một v&iacute; dụ về c&aacute;c lệnh gọi:
<pre class="language-python"><code>tb.add_scalar('Loss', total_loss, epoch)
tb.add_scalar('Number Correct', total_correct, epoch)
tb.add_scalar('Accuracy', total_correct / len(train_set), epoch)

tb.add_histogram('conv1.bias', network.conv1.bias, epoch)
tb.add_histogram('conv1.weight', network.conv1.weight, epoch)
tb.add_histogram('conv1.weight.grad', network.conv1.weight.grad, epoch)</code></pre>
V&agrave; đ&acirc;y l&agrave; một v&iacute; dụ về nơi ch&uacute;ng ta sẽ đặt c&aacute;c lệnh gọi n&agrave;y b&ecirc;n trong v&ograve;ng lặp đ&agrave;o tạo:
<pre class="language-python"><code>network = Network()
train_loader = torch.utils.data.DataLoader(train_set, batch_size=100)
optimizer = optim.Adam(network.parameters(), lr=0.01)

images, labels = next(iter(train_loader))
grid = torchvision.utils.make_grid(images)

tb = SummaryWriter()
tb.add_image('images', grid)
tb.add_graph(network, images)

for epoch in range(1):

 total_loss = 0
 total_correct = 0

 for batch in train_loader: # Get Batch

 # Pass Batch
 # Calculate Loss
 # Calculate Gradient
 # Update Weights

 tb.add_scalar('Loss', total_loss, epoch)
 tb.add_scalar('Number Correct', total_correct, epoch)
 tb.add_scalar('Accuracy', total_correct / len(train_set), epoch)

 tb.add_histogram('conv1.bias', network.conv1.bias, epoch)
 tb.add_histogram('conv1.weight', network.conv1.weight, epoch)
 tb.add_histogram(
 'conv1.weight.grad'
 ,network.conv1.weight.grad
 ,epoch
 )

 print(
 "epoch", epoch, 
 "total_correct:", total_correct, 
 "loss:", total_loss
 )

tb.close()</code></pre>
Thao t&aacute;c n&agrave;y sẽ th&ecirc;m c&aacute;c gi&aacute; trị n&agrave;y v&agrave;o TensorBoard.&nbsp;C&aacute;c gi&aacute; trị thậm ch&iacute; cập nhật theo thời gian thực khi mạng đ&agrave;o tạo.
Sẽ rất hữu &iacute;ch khi xem c&aacute;c gi&aacute; trị mất m&aacute;t v&agrave; độ ch&iacute;nh x&aacute;c theo thời gian.&nbsp;Tuy nhi&ecirc;n, ch&uacute;ng ta c&oacute; thể cần thừa nhận rằng TensorBoard thực sự kh&ocirc;ng cần thiết cho việc n&agrave;y.
Sức mạnh thực sự của TensorBoard l&agrave; khả năng vượt trội của n&oacute; trong việc so s&aacute;nh giữa nhiều lần chạy.&nbsp;Điều n&agrave;y cho ph&eacute;p ch&uacute;ng ta nhanh ch&oacute;ng thử nghiệm bằng c&aacute;ch thay đổi c&aacute;c gi&aacute; trị si&ecirc;u tham số v&agrave; so s&aacute;nh c&aacute;c lần chạy để xem tham số n&agrave;o hoạt động tốt nhất.
<h3 style="text-align: justify;">Kết Luận</h3>
B&acirc;y giờ ch&uacute;ng ta đ&atilde; hiểu r&otilde; về TensorBoard l&agrave; g&igrave; v&agrave; c&aacute;ch c&oacute; thể sử dụng n&oacute;.&nbsp;Trong b&agrave;i tiếp theo, ch&uacute;ng ta sẽ xem c&aacute;ch tận dụng TensorBoard để đ&aacute;nh gi&aacute; tốt hơn giữa c&aacute;c lần chạy huấn luyện mạng kh&aacute;c nhau.&nbsp;Hẹn gặp lại c&aacute;c bạn trong những b&agrave;i tiếp theo!
<a href="https://tek4.vn/sieu-tham-so-lap-trinh-neural-network-voi-pytorch/" target="_blank" rel="noopener">B&agrave;i tiếp theo: Si&ecirc;u Tham Số</a>
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Admin

TensorBoard Với PyTorch

Cùng tác giả

Admin

Có liên quan