C&acirc;u hỏi 1. Giả sử tập dữ liệu văn bản chứa 80000 từ kh&aacute;c nhau. Thao t&aacute;c n&agrave;o được thực hiện để giảm số chiều của vectơ đầu v&agrave;o cho m&ocirc; h&igrave;nh ph&acirc;n loại nơ-ron?
<ol style="text-align: justify;">
<li> Chọn ngẫu nhi&ecirc;n 10% số từ v&agrave; bỏ qua số lượng dữ liệu c&ograve;n lại</li>
<li> Sử dụng lớp t&iacute;ch chập trước lớp ph&acirc;n loại được li&ecirc;n kết ho&agrave;n chỉnh</li>
<li> Sử dụng lớp embedding trước lớp ph&acirc;n loại được li&ecirc;n kết ho&agrave;n chỉnh</li>
<li> Chọn 10% c&aacute;c từ được sử dụng thường xuy&ecirc;n nhất v&agrave; bỏ qua số lượng từ c&ograve;n lại</li>
</ol>
C&acirc;u hỏi 2: Ch&uacute;ng ta muốn đ&agrave;o tạo một mạng nơ-ron để sinh ra c&aacute;c từ h&agrave;i hước mới cho s&aacute;ch d&agrave;nh cho trẻ em. Ch&uacute;ng ta c&oacute; thể sử dụng kiến tr&uacute;c n&agrave;o sau đ&acirc;y?
<ol style="text-align: justify;">
<li> LSTM xử l&yacute; từ</li>
<li> LSTM xử l&yacute; k&yacute; tự</li>
<li> RNN xử l&yacute; từ</li>
<li> Mạng nơ-ron xử l&yacute; k&yacute; tự</li>
</ol>
C&acirc;u hỏi 3: Mạng nơ-ron được gọi l&agrave; Recurrent bởi
<ol style="text-align: justify;">
<li> Một mạng được &aacute;p dụng cho mỗi phần tử đầu v&agrave;o, v&agrave; kết quả đầu ra từ ứng dụng trước đ&oacute; được truyền cho ứng dụng tiếp theo</li>
<li> Mạng được đ&agrave;o tạo bởi một qu&aacute; tr&igrave;nh lặp lại</li>
<li> Mạng chứa c&aacute;c lớp bao gồm c&aacute;c mạng con b&ecirc;n trong kh&aacute;c</li>
</ol>
C&acirc;u hỏi 4: &Yacute; tưởng ch&iacute;nh đằng sau kiến tr&uacute;c mạng LSTM l&agrave; g&igrave;?
<ol style="text-align: justify;">
<li> Số lượng khối LSTM cho to&agrave;n bộ tập dữ liệu c&oacute; t&iacute;nh cố định</li>
<li> Mạng LSTM bao gồm nhiều lớp mạng nơ-ron hồi quy</li>
<li> Khả năng quản l&yacute; trạng th&aacute;i r&otilde; r&agrave;ng với chức năng loại bỏ v&agrave; k&iacute;ch hoạt trạng th&aacute;i</li>
</ol>
C&acirc;u hỏi 5: &Yacute; tưởng ch&iacute;nh của cơ chế attention l&agrave; g&igrave;?
<ol style="text-align: justify;">
<li> Cơ chế attention thực hiện g&aacute;n một hệ số trọng số cho mỗi từ trong tập hợp c&aacute;c từ để chỉ r&otilde; mức độ quan trọng của n&oacute;</li>
<li> Cơ chế attention l&agrave; một lớp mạng sử dụng ma trận attention để kiểm tra mức độ ảnh hưởng của c&aacute;c trạng th&aacute;i đầu v&agrave;o từ mỗi bước tới kết quả cuối c&ugrave;ng</li>
<li> Cơ chế attention x&acirc;y dựng ma trận tương quan to&agrave;n cục cho c&aacute;c từ trong tập hợp c&aacute;c từ, biểu diễn khả năng xảy ra đồng thời của c&aacute;c từ.</li>
</ol>
Trong học phần n&agrave;y, ch&uacute;ng ta đ&atilde; đề cập đến tất cả c&aacute;c kh&aacute;i niệm cơ bản về Xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n, từ biểu diễn văn bản, đến c&aacute;c m&ocirc; h&igrave;nh mạng nơ-ron hồi quy v&agrave; c&aacute;c m&ocirc; h&igrave;nh hiện đại nhất. Đ&acirc;y l&agrave; học phần cung cấp đủ đơn vị kiến thức để gi&uacute;p bạn c&oacute; thể bắt đầu với bất kỳ t&aacute;c vụ xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n n&agrave;o.
Tuy nhi&ecirc;n, ch&uacute;ng ta sẽ chủ yếu tập trung v&agrave;o nhiệm vụ ph&acirc;n loại văn bản v&agrave; kh&ocirc;ng thảo luận chi tiết về c&aacute;c nhiệm vụ kh&aacute;c, v&iacute; dụ như nhận dạng thực thể được đặt t&ecirc;n, dịch m&aacute;y v&agrave; trả lời c&acirc;u hỏi. Để thực hiện c&aacute;c nhiệm vụ n&agrave;y, c&aacute;c nguy&ecirc;n tắc cơ bản tương tự hoặc c&aacute;c mạng nơ-ron hồi quy c&oacute; &aacute;p dụng cơ chế attention được sử dụng, b&ecirc;n cạnh đ&oacute;, kiến tr&uacute;c lớp tr&ecirc;n c&ugrave;ng của c&aacute;c mạng n&agrave;y l&agrave; kh&aacute;c nhau. Để hiểu đầy đủ hơn về lĩnh vực NLP, bạn n&ecirc;n thực h&agrave;nh xử l&yacute; c&aacute;c vấn đề n&agrave;y.
Một trong những lĩnh vực mới nổi kh&aacute;c của NLP l&agrave; trực quan h&oacute;a v&agrave; thực hiện ph&acirc;n loại. C&aacute;ch tiếp cận n&agrave;y c&ograve;n được gọi l&agrave; BERTology. Như ch&uacute;ng ta đ&atilde; thấy trong phần trước, ma trận attention thể hiện rất nhiều về c&aacute;ch thức m&agrave; dịch m&aacute;y hoạt động v&agrave; m&ocirc; h&igrave;nh sẽ r&agrave; so&aacute;t ở đ&acirc;u khi thực hiện dịch một từ. C&oacute; những phương ph&aacute;p kh&aacute;c để hiểu r&otilde; về c&aacute;c th&agrave;nh phần b&ecirc;n trong của BERT.
C&aacute;c m&ocirc; h&igrave;nh sinh văn bản mới nhất, chẳng hạn như GPT-2/3 kh&aacute;c với BERT ở chỗ ch&uacute;ng c&oacute; thể được "lập tr&igrave;nh" để giải quyết c&aacute;c nhiệm vụ kh&aacute;c nhau bằng c&aacute;ch cung cấp chuỗi ban đầu ph&ugrave; hợp cho việc tạo đoạn văn bản. Điều n&agrave;y cho ph&eacute;p ch&uacute;ng ta thực hiện thay đổi c&aacute;ch tiếp cận, thay v&igrave; thực hiện transfer learning, ch&uacute;ng ta sẽ tập trung v&agrave;o việc tạo ra c&aacute;c c&acirc;u hỏi ph&ugrave; hợp cho c&aacute;c mạng lớn đ&atilde; được đ&agrave;o tạo trước. Nếu bạn muốn thực sự t&igrave;m hiểu về NLP, bạn sẽ cần phải t&igrave;m hiểu về một số m&ocirc; h&igrave;nh tạo văn bản mới nhất, v&iacute; dụ như GPT-2 hoặc Microsoft Turing NLG.
Việc đ&agrave;o tạo những m&ocirc; h&igrave;nh lớn như vậy đ&ograve;i hỏi rất nhiều nguồn t&agrave;i nguy&ecirc;n v&agrave; cần được thực hiện theo hướng tiếp cận ph&acirc;n t&aacute;n. Huấn luyện ph&acirc;n t&aacute;n l&agrave; một lĩnh vực kh&aacute;c m&agrave; bạn cần tập trung nếu muốn tham gia v&agrave;o c&aacute;c dự &aacute;n NLP.

Admin

Tổng hợp các câu hỏi cuối khóa và làm bài tập

Cùng tác giả

Admin

Có liên quan