<h2 style="text-align: justify;">Giới thiệu</h2>
Trong những năm gần đ&acirc;y, xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n (NLP) c&oacute; tốc độ ph&aacute;t triển rất nhanh v&agrave; trở th&agrave;nh một lĩnh vực nghi&ecirc;n cứu s&acirc;u nhờ t&iacute;nh hiệu suất cao của c&aacute;c m&ocirc; h&igrave;nh mạng nơ-ron. C&aacute;c m&ocirc; h&igrave;nh n&agrave;y phụ thuộc v&agrave;o khả năng "đọc hiểu" văn bản v&agrave; c&oacute; thể được đ&agrave;o tạo theo phương ph&aacute;p kh&ocirc;ng gi&aacute;m s&aacute;t tr&ecirc;n tập dữ liệu lớn. Trong tập hợp series c&aacute;c b&agrave;i học về xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n (NLP) với Pytorch n&agrave;y, ch&uacute;ng ta sẽ c&ugrave;ng t&igrave;m hiểu về c&aacute;c kiến tr&uacute;c mạng nơ-ron kh&aacute;c nhau để xử l&yacute; văn bản ng&ocirc;n ngữ tự nhi&ecirc;n. Ch&uacute;ng ta sẽ tập trung v&agrave;o c&aacute;c kh&iacute;a cạnh cơ bản trong việc biểu diễn dữ liệu dưới dạng cấu tr&uacute;c dữ liệu tensor của PyTorch v&agrave; kiến tr&uacute;c NLP cổ điển, v&iacute; dụ như c&aacute;c kiến tr&uacute;c bag-of-words, embedding v&agrave; mạng nơ-ron hồi quy.
<h2 style="text-align: justify;">C&aacute;c nhiệm vụ xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n</h2>
Một số nhiệm vụ NLP m&agrave; ch&uacute;ng ta cần giải quyết bằng c&aacute;ch sử dụng mạng nơ-ron bao gồm:
<ul style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">Ph&acirc;n loại văn bản được sử dụng khi ch&uacute;ng ta cần thực hiện ph&acirc;n loại một đoạn văn bản v&agrave; đặt v&agrave;o một trong c&aacute;c lớp ph&acirc;n loại đ&atilde; được x&aacute;c định trước. C&aacute;c v&iacute; dụ về ph&acirc;n loại văn bản bao gồm ph&aacute;t hiện thư r&aacute;c Email, ph&acirc;n loại tin tức.</li>
<li style="font-weight: 400;" aria-level="1">Ph&acirc;n loại &yacute; nghĩa l&agrave; một trường hợp ph&acirc;n loại văn bản, trong đ&oacute;, ch&uacute;ng ta cần thực hiện &aacute;nh xạ dữ liệu lời n&oacute;i đầu v&agrave;o với một trong những &yacute; nghĩa thực tế của cụm từ hoặc &yacute; định của người d&ugrave;ng.</li>
<li style="font-weight: 400;" aria-level="1">Ph&acirc;n t&iacute;ch cảm x&uacute;c l&agrave; một b&agrave;i to&aacute;n hồi quy, trong đ&oacute;, ch&uacute;ng ta cần phải ph&acirc;n t&iacute;ch được mức độ phủ định trong một đoạn văn bản. Ch&uacute;ng ta c&oacute; thể thực hiện g&aacute;n nh&atilde;n cho c&aacute;c đoạn văn bản trong tập dữ liệu từ gi&aacute; trị &acirc;m nhỏ nhất l&agrave; -1 đến gi&aacute; trị dương lớn nhất l&agrave; +1 v&agrave; thực hiện đ&agrave;o tạo một m&ocirc; h&igrave;nh c&oacute; chức năng trả về một số gi&aacute; trị dương cho đoạn văn bản được đưa v&agrave;o.</li>
<li style="font-weight: 400;" aria-level="1">Named entity recognition (NER) l&agrave; một nhiệm vụ tr&iacute;ch xuất một số đối tượng thực thể từ đoạn văn bản, v&iacute; dụ như ng&agrave;y th&aacute;ng, địa chỉ, t&ecirc;n người,... B&ecirc;n cạnh nhiệm vụ ph&acirc;n loại &yacute; nghĩa, NER thường được sử dụng trong c&aacute;c chương tr&igrave;nh giao tiếp để tr&iacute;ch xuất c&aacute;c tham số từ lời n&oacute;i của người d&ugrave;ng.</li>
<li style="font-weight: 400;" aria-level="1">Một nhiệm vụ tương tự l&agrave; tr&iacute;ch xuất từ ​​kh&oacute;a, cũng c&oacute; thể được sử dụng để t&igrave;m c&aacute;c từ c&oacute; &yacute; nghĩa nhất b&ecirc;n trong một đoạn văn bản.</li>
<li style="font-weight: 400;" aria-level="1">T&oacute;m tắt văn bản l&agrave; một nhiệm vụ thực hiện tr&iacute;ch xuất c&aacute;c phần văn bản c&oacute; &yacute; nghĩa nhất, gi&uacute;p đưa ra một đoạn văn bản ngắn gọn v&agrave; s&uacute;c t&iacute;ch cho người d&ugrave;ng.</li>
<li style="font-weight: 400;" aria-level="1">Đặt c&acirc;u hỏi/ đưa ra c&acirc;u trả lời l&agrave; một nhiệm vụ thực hiện tr&iacute;ch xuất c&acirc;u trả lời từ một phần trong đoạn văn bản. M&ocirc; h&igrave;nh nhận đầu v&agrave;o l&agrave; một ph&acirc;n đoạn văn bản v&agrave; một c&acirc;u hỏi, sau đ&oacute; thực hiện t&igrave;m vị tr&iacute; ch&iacute;nh x&aacute;c trong văn bản c&oacute; chứa c&acirc;u trả lời. V&iacute; dụ, một đoạn văn bản c&oacute; nội dung l&agrave; "Nam l&agrave; một sinh vi&ecirc;n của trường Đại học Y H&agrave; Nội" v&agrave; c&acirc;u hỏi &ldquo;Nam học trường n&agrave;o?&rdquo; cần phải trả về cho ch&uacute;ng ta c&acirc;u trả lời l&agrave; &ldquo;Đại học Y H&agrave; Nội&rdquo;.</li>
</ul>
Trong học phần n&agrave;y, ch&uacute;ng ta sẽ tập trung chủ yếu v&agrave;o nhiệm vụ ph&acirc;n loại văn bản. Tuy nhi&ecirc;n, ch&uacute;ng ta cũng cần t&igrave;m hiểu về tất cả c&aacute;c kh&aacute;i niệm li&ecirc;n quan để c&oacute; thể xử l&yacute; c&aacute;c b&agrave;i to&aacute;n kh&oacute; hơn sau n&agrave;y. Nội dung cụ thể m&agrave; ch&uacute;ng ta sẽ c&ugrave;ng t&igrave;m hiểu bao gồm c&aacute;c b&agrave;i sau:
<ol style="text-align: justify;">
<li><a href="https://tek4.vn/bieu-dien-du-lieu-duoi-dang-tensor">Biểu diễn dữ liệu dưới dạng tensor</a></li>
<li><a href="https://tek4.vn/bieu-dien-cac-tu-bang-ky-thuat-embeddings">Biểu diễn c&aacute;c từ bằng kỹ thuật embeddings</a></li>
<li><a href="https://tek4.vn/su-dung-mang-rnn-trong-viec-trich-xuat-y-nghia-cua-cau">Sử dụng mạng RNN trong việc tr&iacute;ch xuất &yacute; nghĩa của c&acirc;u</a></li>
<li><a href="https://tek4.vn/sinh-van-ban-bang-cach-su-dung-mang-rnn">Sinh văn bản bằng c&aacute;ch sử dụng mạng RNN</a></li>
<li><a href="https://tek4.vn/co-che-attention-va-mo-hinh-transformer">Cơ chế Attention v&agrave; m&ocirc; h&igrave;nh Transformer</a></li>
<li><a href="https://tek4.vn/tong-hop-cac-cau-hoi-cuoi-khoa-va-lam-bai-tap">Tổng hợp c&aacute;c c&acirc;u hỏi cuối kh&oacute;a v&agrave; l&agrave;m b&agrave;i tập</a></li>
</ol>
<h2 style="text-align: justify;">Mục ti&ecirc;u b&agrave;i học</h2>
Trong kh&oacute;a học n&agrave;y, ch&uacute;ng ta sẽ:
<ul style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">T&igrave;m hiểu về c&aacute;ch xử l&yacute; văn bản cho c&aacute;c b&agrave;i to&aacute;n xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n</li>
<li style="font-weight: 400;" aria-level="1">L&agrave;m quen với mạng nơ-ron hồi quy RNN v&agrave; Generative Neural Network (GNN)</li>
<li style="font-weight: 400;" aria-level="1">T&igrave;m hiểu về cơ chế Attention</li>
<li style="font-weight: 400;" aria-level="1">T&igrave;m hiểu về c&aacute;ch x&acirc;y dựng m&ocirc; h&igrave;nh ph&acirc;n loại văn bản</li>
</ul>
<h2 style="text-align: justify;">Kỹ năng cần c&oacute;</h2>
Để c&oacute; thể tham gia v&agrave;o kh&oacute;a học n&agrave;y, trước ti&ecirc;n c&aacute;c bạn cần đảm bảo 3 y&ecirc;u cầu sau:
<ol>
<li style="font-weight: 400; text-align: justify;" aria-level="1">Kiến thức cơ bản về ng&ocirc;n ngữ lập tr&igrave;nh Python</li>
<li style="font-weight: 400; text-align: justify;" aria-level="1">Kiến thức cơ bản về c&aacute;ch sử dụng Jupyter Notebooks</li>
<li style="font-weight: 400; text-align: justify;" aria-level="1">Hiểu biết cơ bản về học m&aacute;y</li>
</ol>

Admin

Xử lý ngôn ngữ tự nhiên với Pytorch

Cùng tác giả

Admin

Có liên quan