Nếu l&agrave; một nh&agrave; khoa học dữ liệu, bạn c&oacute; thể đ&atilde; sử dụng Pandas để xử l&yacute; dữ liệu dạng bảng của m&igrave;nh, &aacute;p dụng c&aacute;c ph&eacute;p to&aacute;n ma trận tr&ecirc;n c&aacute;c h&agrave;ng hoặc cột, thực hiện c&aacute;c ph&eacute;p hợp nhất phức tạp giữa c&aacute;c khung dữ liệu, chuỗi thời gian, t&iacute;nh to&aacute;n tổng hợp,...
Pandas l&agrave; một c&ocirc;ng cụ tuyệt vời, nhanh ch&oacute;ng v&agrave; đ&aacute;ng tin cậy kh&ocirc;ng bao giờ rời khỏi hộp c&ocirc;ng cụ của bạn.
Tuy nhi&ecirc;n, nếu bạn l&agrave; một người d&ugrave;ng Pandas chuy&ecirc;n s&acirc;u, bạn c&oacute; thể đ&atilde; phải đối mặt với một số vấn đề li&ecirc;n quan đến việc thực thi chậm hoặc giới hạn bộ nhớ.
Trong b&agrave;i viết n&agrave;y, t&ocirc;i sẽ chia sẻ với bạn ba mẹo để tối ưu h&oacute;a quy tr&igrave;nh l&agrave;m việc của bạn với Pandas hơn nữa. Gần đ&acirc;y, t&ocirc;i đ&atilde; &aacute;p dụng những mẹo n&agrave;y trong một dự &aacute;n li&ecirc;n quan đến tập dữ liệu rất lớn v&agrave; n&oacute; đ&atilde; gi&uacute;p t&ocirc;i rất nhiều.
<h2 style="text-align: justify;">1. Giảm mức ti&ecirc;u thụ bộ nhớ của khung dữ liệu</h2>
Pandas c&oacute; thể xử l&yacute; c&aacute;c cột thuộc nhiều loại dữ liệu kh&aacute;c nhau như sau:
<ul style="text-align: justify;">
<li>object - chuỗi hoặc c&aacute;c kiểu dữ liệu hỗn hợp</li>
<li>string - kể từ Pandas 1.0.0</li>
<li>int - số nguy&ecirc;n</li>
<li>float - số thực dấu phẩy động</li>
<li>bool - True v&agrave; False</li>
<li>datetime - gi&aacute; trị ng&agrave;y v&agrave; giờ</li>
<li>timedelta - ch&ecirc;nh lệch m&uacute;i giờ giữa thời gian</li>
<li>category - danh s&aacute;ch giới hạn c&aacute;c gi&aacute; trị được lưu trữ dưới dạng tra cứu hiệu quả về bộ nhớ</li>
</ul>
<h3 style="text-align: justify;"> Sự kh&aacute;c biệt giữa int16, int32 v&agrave; int64 l&agrave; g&igrave;?</h3>
Ch&uacute;ng l&agrave; tất cả c&aacute;c loại số nguy&ecirc;n c&oacute; dấu. Sự kh&aacute;c biệt nằm ở dung lượng lưu trữ của mỗi kiểu. int16 cho ph&eacute;p bạn sử dụng c&aacute;c số nguy&ecirc;n nằm trong khoảng [-32,768, +32,767], trong khi int32 cho ph&eacute;p bạn sử dụng c&aacute;c số nguy&ecirc;n trong khoảng [2,147,483,648 đến +2,147,483,647].
<h3 style="text-align: justify;">float32 v&agrave; float64</h3>
float32 l&agrave; một số 32 bit, float64 sử dụng 64 bit. Điều đ&oacute; c&oacute; nghĩa l&agrave; float64 chiếm gấp đ&ocirc;i bộ nhớ v&agrave; thực hiện c&aacute;c ph&eacute;p to&aacute;n v&agrave; n&oacute; c&oacute; thể chậm hơn rất nhiều trong một số kiến tr&uacute;c của m&aacute;y t&iacute;nh. Tuy nhi&ecirc;n, float64 c&oacute; thể biểu diễn số ch&iacute;nh x&aacute;c hơn nhiều so với float 32-bit.
Vấn đề với Pandas: Nếu bạn để Pandas tự động suy ra c&aacute;c kiểu dữ liệu của cột từ tệp CSV, n&oacute; sẽ thực hiện tốt c&ocirc;ng việc đo&aacute;n sự kh&aacute;c biệt giữa số thực, số nguy&ecirc;n v&agrave; đối tượng. Nhưng liệu điều n&agrave;y c&oacute; phải l&agrave; tối ưu hay kh&ocirc;ng? Kh&ocirc;ng phải l&uacute;c n&agrave;o cũng vậy.
Tại sao bạn lại sử dụng kiểu int32 cho một trong c&aacute;c cột của m&igrave;nh nếu gi&aacute; trị của n&oacute; nằm trong khoảng [-32,768, +32,767]? V&agrave; tại sao bạn lại sử dụng kiểu float64 nếu bạn chỉ cần độ ch&iacute;nh x&aacute;c từ hai đến ba dấu thập ph&acirc;n?
Đ&acirc;y l&agrave; một h&agrave;m sẽ tối ưu h&oacute;a việc sử dụng bộ nhớ của khung dữ liệu của bạn: N&oacute; sẽ chỉ lặp lại c&aacute;c cột số (cả số thực v&agrave; số nguy&ecirc;n) v&agrave; &eacute;p kiểu c&aacute;c loại của ch&uacute;ng khi c&oacute; thể (v&iacute; dụ: từ np.float32 đến np.float16) bằng c&aacute;ch c&oacute; t&iacute;nh đến gi&aacute; trị lớn nhất v&agrave; nhỏ nhất của cột.
<pre class="language-python"><code># Nguồn: https://www.kaggle.com/ratan123/m5-forecasting-lightgbm-with-timeseries-splits

def reduce_mem_usage(df, verbose=True):
 numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
 start_mem = df.memory_usage().sum() / 1024**2 
 for col in df.columns:
 col_type = df[col].dtypes
 if col_type in numerics:
 c_min = df[col].min()
 c_max = df[col].max()
 if str(col_type)[:3] == 'int':
 if c_min &gt; np.iinfo(np.int8).min and c_max &lt; np.iinfo(np.int8).max:
 df[col] = df[col].astype(np.int8)
 elif c_min &gt; np.iinfo(np.int16).min and c_max &lt; np.iinfo(np.int16).max:
 df[col] = df[col].astype(np.int16)
 elif c_min &gt; np.iinfo(np.int32).min and c_max &lt; np.iinfo(np.int32).max:
 df[col] = df[col].astype(np.int32)
 elif c_min &gt; np.iinfo(np.int64).min and c_max &lt; np.iinfo(np.int64).max:
 df[col] = df[col].astype(np.int64) 
 else:
 if c_min &gt; np.finfo(np.float16).min and c_max &lt; np.finfo(np.float16).max:
 df[col] = df[col].astype(np.float16)
 elif c_min &gt; np.finfo(np.float32).min and c_max &lt; np.finfo(np.float32).max
 df[col] = df[col].astype(np.float32)
 else:
 df[col] = df[col].astype(np.float64) 
 end_mem = df.memory_usage().sum() / 1024**2
 if verbose: 
 print('Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction)'.format(
 end_mem, 100 * (start_mem - end_mem) / start_mem))
 return df</code></pre>
Bạn sẽ thấy h&agrave;m n&agrave;y thường xuy&ecirc;n được sử dụng trong nh&acirc;n Kaggle. N&oacute; cực kỳ hữu &iacute;ch. Tr&ecirc;n khung dữ liệu lớn m&agrave; t&ocirc;i đang l&agrave;m việc gần đ&acirc;y (32 triệu h&agrave;ng v&agrave; 10 cột số), h&agrave;m n&agrave;y giải ph&oacute;ng tới 700 MB RAM.
<h2 style="text-align: justify;">2. Thực hiện song song với pandarallel</h2>
Nếu bạn thực hiện c&aacute;c ph&eacute;p to&aacute;n tốn thời gian tr&ecirc;n dữ liệu của m&igrave;nh, bạn c&oacute; thể tận dụng nhiều l&otilde;i của trạm l&agrave;m việc của m&igrave;nh v&agrave; sử dụng Pandarallel để song song h&oacute;a Pandas.
Tất nhi&ecirc;n, c&oacute; c&aacute;c giải ph&aacute;p kh&aacute;c, chẳng hạn như Dask hoặc Modin, để thử để tăng tốc độ cho Pandas. T&ocirc;i thấy Pandarallel rất dễ sử dụng v&igrave; n&oacute; kh&ocirc;ng buộc bạn phải học c&uacute; ph&aacute;p.
Bạn c&oacute; thể c&agrave;i đặt Pandarallel bằng pip:
<pre class="language-python"><code>pip install pandarallel</code></pre>
V&agrave; thay v&igrave; sử dụng phương thức apply ti&ecirc;u chuẩn, như sau:
<pre class="language-python"><code>res = df.progress_apply(func, axis = 1)</code></pre>
C&aacute;c bạn h&atilde;y sử dụng phương thức parallel_apply:
<pre class="language-python"><code>res_parrallel = df.parallel_apply(func, axis = 1)</code></pre>
Một lưu &yacute; nhỏ: Nếu bạn sử dụng Pandarallel tr&ecirc;n khung dữ liệu lớn, th&igrave; việc thực thi song song sẽ kh&ocirc;ng diễn ra ngay lập tức. Dự kiến sẽ c&oacute; một khoảng thời gian ti&ecirc;u tốn do sao ch&eacute;p dữ liệu giữa nhiều l&otilde;i.
<h2 style="text-align: justify;"> 3. Ngừng xuất dữ liệu của bạn sang CSV</h2>
Tất cả ch&uacute;ng ta đều đang sử dụng CSV. Con người c&oacute; thể đọc được, c&oacute; thể chỉnh sửa từ bất kỳ IDE n&agrave;o v&agrave; mọi người c&oacute; thể mở n&oacute; từ bất kỳ nền tảng n&agrave;o. Tuy nhi&ecirc;n, thao t&aacute;c với tệp CSV trong Pandas cũng đi k&egrave;m với những nhược điểm của n&oacute;:
<ul style="text-align: justify;">
<li>N&oacute; sử dụng rất nhiều kh&ocirc;ng gian.</li>
<li>Đọc v&agrave; viết chậm. (T&ocirc;i mất khoảng 60 gi&acirc;y để xuất một khung dữ liệu lớn với 32 triệu h&agrave;ng.)</li>
<li>N&oacute; kh&ocirc;ng lưu trữ c&aacute;c kiểu dữ liệu của cột.</li>
</ul>
Để khắc phục những vấn đề n&agrave;y, gần đ&acirc;y t&ocirc;i đ&atilde; bắt đầu sử dụng c&aacute;c định dạng Parquet (https://parquet.apache.org/) để chuẩn h&oacute;a c&aacute;c khung dữ liệu của m&igrave;nh. Định dạng của Parquet c&oacute; nhiều ưu điểm hơn so với CSV:
<ul style="text-align: justify;">
<li>N&oacute; nhanh hơn.</li>
<li>Tệp kết quả nhỏ hơn (~ 50% CSV).</li>
<li>N&oacute; lưu trữ th&ocirc;ng tin về c&aacute;c kiểu dữ liệu.</li>
<li>N&oacute; được hỗ trợ rộng r&atilde;i trong hệ sinh th&aacute;i Hadoop, cho ph&eacute;p lọc nhanh qua nhiều ph&acirc;n v&ugrave;ng.</li>
</ul>
<h2 style="text-align: justify;">Kết luận</h2>
C&oacute; rất nhiều c&aacute;ch kh&aacute;c để tăng tốc Pandas v&agrave; cải thiện quy tr&igrave;nh l&agrave;m việc của bạn. Nếu bạn biết c&aacute;c thủ thuật hữu &iacute;ch kh&aacute;c, h&atilde;y cho t&ocirc;i biết trong phần b&igrave;nh luận.

Admin

3 mẹo để nâng cao tốc độ xử lý của pandas

Cùng tác giả

Admin

Có liên quan