Ch&agrave;o mừng c&aacute;c bạn đến với b&agrave;i viết thứ t&aacute;m trong loạt b&agrave;i về&nbsp;<a href="https://tek4.vn/lap-trinh-neural-network-voi-pytorch-deep-learning-voi-pytorch/" target="_blank" rel="noopener">Lập Tr&igrave;nh Neural Network Với Pytorch</a>.&nbsp;Trong b&agrave;i viết n&agrave;y, ch&uacute;ng ta sẽ xem x&eacute;t kỹ c&aacute;ch tạo tensors pytorch v&agrave; sự kh&aacute;c biệt giữa c&aacute;c c&aacute;ch để chuyển đổi dữ liệu th&agrave;nh tensors trong PyTorch. Đến cuối b&agrave;i viết&nbsp;ch&uacute;ng ta sẽ biết sự kh&aacute;c biệt giữa c&aacute;c t&ugrave;y chọn cũng như t&ugrave;y chọn n&agrave;o n&ecirc;n được sử dụng v&agrave; sử dụng khi n&agrave;o.
Bắt đầu th&ocirc;i!
C&aacute;c tensors PyTorch như ch&uacute;ng ta đ&atilde; thấy l&agrave; c&aacute;c đối tượng của lớp&nbsp;torch.Tensor.&nbsp;Sự kh&aacute;c biệt giữa kh&aacute;i niệm về tensor v&agrave; tensor PyTorch đ&oacute; l&agrave; tensor PyTorch cung cấp cho ch&uacute;ng ta một triển khai cụ thể m&agrave; ch&uacute;ng ta c&oacute; thể l&agrave;m việc với code.
Trong b&agrave;i viết trước, ch&uacute;ng ta đ&atilde; biết c&aacute;ch tạo tensor trong PyTorch bằng c&aacute;ch sử dụng dữ liệu như list Python, chuỗi v&agrave; ndarrays NumPy.&nbsp;Với một numpy.ndarray, ch&uacute;ng ta thấy rằng c&oacute; bốn c&aacute;ch để tạo một đối tượng torch.Tensor.Như dưới đ&acirc;y:
<pre class="language-python"><code>&gt; data = np.array([1,2,3])
&gt; type(data)
numpy.ndarray

&gt; o1 = torch.Tensor(data)
&gt; o2 = torch.tensor(data)
&gt; o3 = torch.as_tensor(data)
&gt; o4 = torch.from_numpy(data)
&gt; print(o1)
tensor([1., 2., 3.])
&gt; print(o2)
tensor([1, 2, 3], dtype=torch.int32)
&gt; print(o3)
tensor([1, 2, 3], dtype=torch.int32)
&gt; print(o4)
tensor([1, 2, 3], dtype=torch.int32)</code></pre>
&nbsp;
Nhiệm vụ của ch&uacute;ng ta trong b&agrave;i n&agrave;y l&agrave; kh&aacute;m ph&aacute; sự kh&aacute;c biệt giữa 4 c&aacute;ch n&agrave;y v&agrave; đề xuất một c&aacute;ch tốt nhất cho nhu cầu tạo tensor của ch&uacute;ng ta.
<h3 style="text-align: justify;">Numpy dtype tr&ecirc;n c&aacute;c hệ thống kh&aacute;c nhau</h3>
Numpy đặt kiểu dtype mặc định của n&oacute;&nbsp;dựa tr&ecirc;n việc n&oacute; đang chạy tr&ecirc;n hệ thống 32 bit hay 64 bit v&agrave; h&agrave;nh vi cũng kh&aacute;c nhau tr&ecirc;n c&aacute;c hệ thống Windows kh&aacute;c nhau.
<a href="https://stackoverflow.com/questions/36278590/numpy-array-dtype-is-coming-as-int32-by-default-in-a-windows-10-64-bit-machine" target="_blank" rel="noopener">Li&ecirc;n kết n&agrave;y</a> cung cấp th&ecirc;m th&ocirc;ng tin về sự kh&aacute;c biệt được thấy tr&ecirc;n hệ thống Windows.&nbsp;C&aacute;c phương thức bị ảnh hưởng l&agrave;: tensor, as_tensor v&agrave; from_numpy.
<h3 style="text-align: justify;">Sự kh&aacute;c nhau giữa c&aacute;c t&ugrave;y chọn tạo tensor l&agrave; g&igrave;?</h3>
<h4 style="text-align: justify;">Chữ hoa/chữ thường (Uppercase/lowercase): torch.Tensor() v&agrave; torch.tensor()</h4>
Để &yacute; thấy t&ugrave;y chọn đầu ti&ecirc;n torch.Tensor() c&oacute; chữ T viết hoa trong khi t&ugrave;y chọn thứ hai torch.tensor() c&oacute; chữ t viết thường. Vậy sự kh&aacute;c biệt ở đ&acirc;y l&agrave; g&igrave;?
T&ugrave;y chọn đầu ti&ecirc;n với chữ T&nbsp;hoa l&agrave; constructor của lớp torch.Tensor, v&agrave; t&ugrave;y chọn thứ hai l&agrave; t&ugrave;y chọn m&agrave; ch&uacute;ng ta gọi l&agrave; một factory function&nbsp; c&oacute; chức năng x&acirc;y dựng c&aacute;c đối tượng torch.Tensor v&agrave; trả ch&uacute;ng cho người gọi.
Bạn c&oacute; thể nghĩ về h&agrave;m torch.tensor() như một nh&agrave; m&aacute;y tạo ra c&aacute;c tensor với một số&nbsp;tham số đầu v&agrave;o.&nbsp;Factory functions&nbsp;l&agrave; một mẫu thiết kế phần mềm để tạo c&aacute;c đối tượng.&nbsp;Nếu bạn muốn đọc th&ecirc;m về n&oacute;, h&atilde;y kiểm tra <a href="https://en.wikipedia.org/wiki/Factory_(object-oriented_programming)" target="_blank" rel="noopener">ở đ&acirc;y</a>.
Đ&oacute; l&agrave; sự kh&aacute;c biệt giữa chữ T hoa v&agrave; chữ t viết thường, nhưng c&aacute;ch n&agrave;o tốt hơn giữa hai chữ n&agrave;y?&nbsp;C&acirc;u trả lời l&agrave; bạn c&oacute; thể sử dụng một trong hai.&nbsp;Tuy nhi&ecirc;n, h&agrave;m&nbsp;factory function torch.tensor()&nbsp;c&oacute; t&agrave;i liệu hướng dẫn tốt hơn v&agrave; nhiều t&ugrave;y chọn cấu h&igrave;nh hơn, v&igrave; vậy n&oacute; được khuy&ecirc;n d&ugrave;ng nhiều hơn.
<h4 style="text-align: justify;">Default dtype V&agrave; Inferred dtype</h4>
Trước khi ch&uacute;ng ta loại bỏ h&agrave;m torch.Tensor() khỏi danh s&aacute;ch c&aacute;c t&ugrave;y chọn ưu ti&ecirc;n sử dụng, h&atilde;y xem sự kh&aacute;c biệt m&agrave; ch&uacute;ng ta quan s&aacute;t được trong c&aacute;c đầu ra của tensor.
Sự kh&aacute;c biệt l&agrave; ở loại dtype của mỗi tensor:
<pre class="language-python"><code>&gt; print(o1.dtype)
torch.float32

&gt; print(o2.dtype)
torch.int32

&gt; print(o3.dtype)
torch.int32

&gt; print(o4.dtype)
torch.int32</code></pre>
Sự kh&aacute;c biệt ở đ&acirc;y l&agrave; h&agrave;m tạo torch.Tensor() sử dụng loại dtype mặc định khi x&acirc;y dựng tensor.&nbsp;Ch&uacute;ng ta c&oacute; thể x&aacute;c minh dtype mặc định bằng phương thức torch.get_default_dtype().&nbsp;
<pre class="language-python"><code>&gt; torch.get_default_dtype()
torch.float32</code></pre>
Để x&aacute;c minh bằng code, ch&uacute;ng ta c&oacute; thể l&agrave;m như sau:
<pre class="language-python"><code>&gt; o1.dtype == torch.get_default_dtype()
True</code></pre>
C&aacute;c t&ugrave;y chọn kh&aacute;c chọn dtype dựa tr&ecirc;n dữ liệu đến. Đ&acirc;y được gọi l&agrave;&nbsp;type inference, l&agrave; loại dtype được suy ra dựa tr&ecirc;n dữ liệu đến.Lưu &yacute; rằng&nbsp;dtype cũng c&oacute; thể được chỉ định r&otilde; r&agrave;ng bằng c&aacute;ch chỉ định loại dtype l&agrave;m đối số:
<pre class="language-python"><code>&gt; torch.tensor(data, dtype=torch.float32)
&gt; torch.as_tensor(data, dtype=torch.float32)</code></pre>
Với torch.Tensor(), ch&uacute;ng ta kh&ocirc;ng thể thay đổi dtype mặc định.&nbsp;Đ&acirc;y l&agrave; một v&iacute; dụ cho thấy h&agrave;m torch.Tensor()&nbsp;kh&ocirc;ng linh động trong việc t&ugrave;y chọn cấu h&igrave;nh, đ&oacute; cũng l&agrave; một trong những l&yacute; do ch&uacute;ng ta n&ecirc;n sử dụng&nbsp;factory function torch.tensor() để tạo tensor trong pytorch.
<h4 class="sub-section-heading" style="text-align: justify;">Sharing Memory For Performance: Copy Vs Share</h4>
Để thấy sự kh&aacute;c nhau, ch&uacute;ng ta sẽ thực hiện thay đổi đối với dữ liệu đầu v&agrave;o ban đầu trong numpy.ndarray sau khi sử dụng ndarray để tạo tensor.
<pre class="language-python"><code>&gt; print('old:', data)
old: [1 2 3]

&gt; data[0] = 0

&gt; print('new:', data)
new: [0 2 3]

&gt; print(o1)
tensor([1., 2., 3.])

&gt; print(o2)
tensor([1, 2, 3], dtype=torch.int32)

&gt; print(o3)
tensor([0, 2, 3], dtype=torch.int32)

&gt; print(o4)
tensor([0, 2, 3], dtype=torch.int32)</code></pre>
C&oacute; thể thấy, ban đầu ch&uacute;ng ta c&oacute; data[0]=1, lưu &yacute; rằng ch&uacute;ng ta&nbsp;chỉ thay đổi dữ liệu trong numpy.ndarray ban đầu. Chứ&nbsp;kh&ocirc;ng thực hiện bất kỳ thay đổi n&agrave;o đối với c&aacute;c tensors của ch&uacute;ng ta (o1, o2, o3, o4).
Tuy nhi&ecirc;n, sau khi thiết lập data[0]=0 ta c&oacute; thể thấy một số tensor đ&atilde; c&oacute; sự thay đổi.&nbsp;o1 v&agrave; o2 vẫn c&oacute; gi&aacute; trị ban đầu l&agrave; 1 cho index = 0, trong khi hai đ&oacute; o3 v&agrave; o4 c&oacute; gi&aacute; trị mới l&agrave; 0 cho index = 0.
Điều n&agrave;y xảy ra v&igrave; torch.Tensor() v&agrave; torch.tensor() sao ch&eacute;p dữ liệu đầu v&agrave;o của ch&uacute;ng trong khi torch.as_tensor() v&agrave; torch.from_numpy()&nbsp;lại chia sẻ dữ liệu đầu v&agrave;o của ch&uacute;ng trong bộ nhớ với đối tượng đầu v&agrave;o ban đầu.
<table class=" aligncenter" style="height: 105px; width: 524px;" width="693">
<tbody>
<tr>
<td style="text-align: center; width: 250px;">Share Data</td>
<td style="text-align: center; width: 245px;">Copy Data</td>
</tr>
<tr>
<td style="width: 250px;">torch.as_tensor()</td>
<td style="width: 245px;">torch.tensor()</td>
</tr>
<tr>
<td style="width: 250px;">torch.from_numpy()</td>
<td style="width: 245px;">torch.Tensor()</td>
</tr>
</tbody>
</table>
Việc chia sẻ (share data) n&agrave;y c&oacute; nghĩa l&agrave; dữ liệu thực tế trong bộ nhớ tồn tại ở một nơi duy nhất.&nbsp;Do đ&oacute;, bất kỳ thay đổi n&agrave;o xảy ra trong dữ liệu sẽ được thay đổi trong cả hai đối tượng, torch.Tensor v&agrave; numpy.ndarray.
Chia sẻ dữ liệu hiệu quả hơn v&agrave; sử dụng &iacute;t bộ nhớ hơn so với sao ch&eacute;p dữ liệu v&igrave; dữ liệu kh&ocirc;ng được ghi v&agrave;o hai vị tr&iacute; trong bộ nhớ.
Nếu ch&uacute;ng ta c&oacute; một torch.Tensor v&agrave; ch&uacute;ng ta muốn chuyển n&oacute; th&agrave;nh numpy.ndarray, ch&uacute;ng ta l&agrave;m như sau:
<pre class="language-python"><code>&gt; print(o3.numpy())
[0 2 3]

&gt; print(o4.numpy())
[0 2 3]</code></pre>
Kiểm tra:
<pre class="language-python"><code>&gt; print(type(o3.numpy()))
&lt;class 'numpy.ndarray'&gt;

&gt; print(type(o4.numpy()))
&lt;class 'numpy.ndarray'&gt;</code></pre>
Điều n&agrave;y chỉ ra rằng torch.as_tensor() v&agrave; torch.from_numpy() đều chia sẻ bộ nhớ với dữ liệu đầu v&agrave;o của ch&uacute;ng.&nbsp;Tuy nhi&ecirc;n, ch&uacute;ng ta n&ecirc;n sử dụng c&aacute;i n&agrave;o, v&agrave; ch&uacute;ng kh&aacute;c nhau như thế n&agrave;o?
H&agrave;m torch.from_numpy() chỉ chấp nhận numpy.ndarrays, trong khi h&agrave;m torch.as_tensor() chấp nhận nhiều đối tượng giống mảng bao gồm c&aacute;c tensors PyTorch kh&aacute;c.&nbsp;V&igrave; l&yacute; do n&agrave;y, torch.as_tensor() l&agrave; lựa chọn th&iacute;ch hợp nhất để sử dụng.
<h3 style="text-align: justify;">C&aacute;c t&ugrave;y chọn tốt nhất để tạo tensor Pytorch.</h3>
Với tất cả những g&igrave; đ&atilde; tr&igrave;nh b&agrave;y ở tr&ecirc;n, ch&uacute;ng ta c&oacute; thể kết luận c&aacute;c t&ugrave;y chọn sau đ&acirc;y l&agrave; tốt nhất để sử dụng:
<ul style="text-align: justify;">
<li>torch.tensor()</li>
<li>torch.as_tensor()</li>
</ul>
Một số điều cần lưu &yacute; về chia sẻ bộ nhớ:
V&igrave; c&aacute;c đối tượng numpy.ndarray được ph&acirc;n bổ tr&ecirc;n CPU, n&ecirc;n h&agrave;m as_tensor() phải sao ch&eacute;p dữ liệu từ CPU sang GPU khi GPU đang được sử dụng.
Chia sẻ bộ nhớ của as_tensor() kh&ocirc;ng hoạt động với c&aacute;c cấu tr&uacute;c dữ liệu Python t&iacute;ch hợp sẵn như list.
Lệnh gọi as_tensor() y&ecirc;u cầu nh&agrave; ph&aacute;t triển phải c&oacute; kiến ​​thức về t&iacute;nh năng chia sẻ.&nbsp;Điều n&agrave;y l&agrave; cần thiết để ch&uacute;ng ta kh&ocirc;ng v&ocirc; t&igrave;nh thực hiện một thay đổi kh&ocirc;ng mong muốn đối với dữ liệu&nbsp; m&agrave; kh&ocirc;ng nhận ra rằng thay đổi n&agrave;y sẽ ảnh hưởng đến nhiều đối tượng.
Việc cải thiện hiệu suất as_tensor() sẽ lớn hơn nếu c&oacute; nhiều hoạt động qua lại giữa c&aacute;c đối tượng numpy.ndarray v&agrave; đối tượng tensor.&nbsp;Tuy nhi&ecirc;n, nếu chỉ c&oacute; một hoạt động tải duy nhất, th&igrave; sẽ kh&ocirc;ng c&oacute; nhiều t&aacute;c động từ g&oacute;c độ hiệu suất.
<h3 style="text-align: justify;">Kết Luận</h3>
B&agrave;i viết n&agrave;y đ&atilde; gi&uacute;p ch&uacute;ng ta hiểu r&otilde; hơn về c&aacute;c t&ugrave;y chọn tạo tensor pytorch.&nbsp;Ch&uacute;ng ta đ&atilde; t&igrave;m hiểu về factory functions, đ&atilde; thấy c&aacute;ch chia sẻ bộ nhớ v&agrave; sao ch&eacute;p c&oacute; thể t&aacute;c động đến hiệu suất của chương tr&igrave;nh. Hi vọng bạn thấy th&iacute;ch b&agrave;i viết n&agrave;y. Hẹn gặp bạn trong c&aacute;c b&agrave;i viết tiếp theo!
&nbsp;
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Admin

Tạo Tensors PyTorch – Lập Trình Neural Network Với Pytorch Bài 8

Cùng tác giả

Admin

Có liên quan