<h2 style="text-align: justify;">Cơ chế attention v&agrave; transformers</h2>
Một nhược điểm lớn của recurrent networks l&agrave; tất cả c&aacute;c từ trong một chuỗi đều c&oacute; t&aacute;c động giống nhau đến kết quả. Điều n&agrave;y g&acirc;y ra hiệu suất dưới mức tối ưu với c&aacute;c m&ocirc; h&igrave;nh LSTM encoder-decoder ti&ecirc;u chuẩn cho c&aacute;c t&aacute;c vụ tuần tự, chẳng hạn như Nhận dạng đối tượng được đặt t&ecirc;n (Named Entity Recognition) v&agrave; Dịch m&aacute;y (Machine Translation). Tr&ecirc;n thực tế, c&aacute;c từ cụ thể trong chuỗi đầu v&agrave;o thường c&oacute; nhiều t&aacute;c động đến đầu ra tuần tự hơn những từ kh&aacute;c.
Xem x&eacute;t m&ocirc; h&igrave;nh sequence-to-sequence, chẳng hạn như dịch m&aacute;y. N&oacute; được thực hiện bởi hai mạng recurrent, trong đ&oacute; một mạng (bộ m&atilde; h&oacute;a) sẽ thu gọn chuỗi đầu v&agrave;o th&agrave;nh trạng th&aacute;i ẩn v&agrave; một mạng kh&aacute;c, bộ giải m&atilde;, sẽ giải m&atilde; trạng th&aacute;i ẩn n&agrave;y th&agrave;nh kết quả đ&atilde; dịch. Vấn đề với c&aacute;ch tiếp cận n&agrave;y l&agrave; trạng th&aacute;i cuối c&ugrave;ng của mạng sẽ kh&oacute; nhớ đầu c&acirc;u, do đ&oacute; g&acirc;y ra chất lượng k&eacute;m của m&ocirc; h&igrave;nh đối với c&aacute;c c&acirc;u d&agrave;i.&nbsp;
Cơ chế attention&nbsp;cung cấp một phương tiện x&aacute;c định trọng số t&aacute;c động theo ngữ cảnh của mỗi vectơ đầu v&agrave;o đối với mỗi dự đo&aacute;n đầu ra của RNN. N&oacute; được thực hiện l&agrave; bằng c&aacute;ch tạo c&aacute;c ph&iacute;m tắt giữa c&aacute;c trạng th&aacute;i trung gian của RNN đầu v&agrave;o v&agrave; RNN đầu ra. Theo c&aacute;ch n&agrave;y, khi tạo k&yacute; hiệu đầu ra $y_t$ ch&uacute;ng ta sẽ t&iacute;nh đến tất cả c&aacute;c trạng th&aacute;i ẩn đầu v&agrave;o $h_i$ với c&aacute;c hệ số trọng số kh&aacute;c nhau $\alpha_{t,i}$.
<img style="width: 700px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/ecb16778-ea20-43ca-bdea-f370e2ec2a92" alt="encoder-decoder-attention (1)" />
Ma trận attention $\alpha_{t,i}$ sẽ đại diện cho mức độ m&agrave; c&aacute;c từ đầu v&agrave;o nhất định đ&oacute;ng vai tr&ograve; tạo ra một từ nhất định trong chuỗi đầu ra. Dưới đ&acirc;y l&agrave; v&iacute; dụ về một ma trận như vậy:
<img style="width: 700px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/fb4d4cfd-5d89-4bbf-97da-ececc8d0b6b8" alt="bahdanau-fig3" />
Cơ chế attention chịu tr&aacute;ch nhiệm cho phần lớn trạng th&aacute;i hiện tại hoặc gần hiện tại của kỹ thuật xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n. Tuy nhi&ecirc;n, việc th&ecirc;m sự ch&uacute; &yacute; sẽ l&agrave;m tăng đ&aacute;ng kể số lượng tham số m&ocirc; h&igrave;nh dẫn đến c&aacute;c vấn đề về scalling với RNN. Một hạn chế ch&iacute;nh của việc mở rộng quy m&ocirc; RNN l&agrave; t&iacute;nh chất lặp lại của c&aacute;c m&ocirc; h&igrave;nh l&agrave;m cho việc đ&agrave;o tạo h&agrave;ng loạt v&agrave; song song trở n&ecirc;n kh&oacute; khăn. Đ&oacute; l&agrave; bởi v&igrave; trong RNN, mỗi phần tử của một chuỗi cần được xử l&yacute; theo thứ tự tuần tự, c&oacute; nghĩa l&agrave; kh&ocirc;ng thể dễ d&agrave;ng song song h&oacute;a n&oacute;.
Việc &aacute;p dụng c&aacute;c cơ chế attention kết hợp với hạn chế n&agrave;y đ&atilde; dẫn đến việc tạo ra c&aacute;c m&ocirc; h&igrave;nh State of the Art Transformer m&agrave; ch&uacute;ng ta biết v&agrave; sử dụng ng&agrave;y nay từ BERT đến OpenGPT3.&nbsp;
<h2 style="text-align: justify;">Transformer models</h2>
Thay v&igrave; chuyển tiếp ngữ cảnh của từng dự đo&aacute;n trước đ&oacute; sang bước đ&aacute;nh gi&aacute; tiếp theo, c&aacute;c m&ocirc; h&igrave;nh transformer sử dụng positional encodings v&agrave; attention để nắm bắt ngữ cảnh của một đầu v&agrave;o nhất định trong một cửa sổ văn bản được cung cấp. H&igrave;nh ảnh dưới đ&acirc;y cho thấy c&aacute;ch c&aacute;c positional encodings c&oacute; attention c&oacute; thể nắm bắt ngữ cảnh trong một cửa sổ nhất định.
<img style="width: 700px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/ce1afd41-5f1a-42c9-b5cf-78c8f25d3c69" alt="transformer-animated-explanation" />
V&igrave; mỗi vị tr&iacute; đầu v&agrave;o được &aacute;nh xạ độc lập với mỗi vị tr&iacute; đầu ra, transformers c&oacute; thể song song tốt hơn so với RNN, cho ph&eacute;p c&aacute;c m&ocirc; h&igrave;nh ng&ocirc;n ngữ lớn hơn. Mỗi attention c&oacute; thể được sử dụng để t&igrave;m hiểu c&aacute;c mối quan hệ kh&aacute;c nhau giữa c&aacute;c từ gi&uacute;p cải thiện c&aacute;c nhiệm vụ Xử l&yacute; ng&ocirc;n ngữ tự nhi&ecirc;n.
BERT (Bidirectional Encoder Representations from Transformers) l&agrave; một multi layer transformer rất lớn với 12 layers cho BERT-base v&agrave; 24 cho BERT-large. Đầu ti&ecirc;n, m&ocirc; h&igrave;nh được đ&agrave;o tạo trước tr&ecirc;n kho dữ liệu văn bản lớn (WikiPedia + books) bằng c&aacute;ch sử dụng đ&agrave;o tạo kh&ocirc;ng gi&aacute;m s&aacute;t (dự đo&aacute;n c&aacute;c từ bị che trong một c&acirc;u). Trong qu&aacute; tr&igrave;nh đ&agrave;o tạo trước, m&ocirc; h&igrave;nh hấp thụ mức độ hiểu ng&ocirc;n ngữ đ&aacute;ng kể, sau đ&oacute; c&oacute; thể được tận dụng với c&aacute;c bộ dữ liệu kh&aacute;c bằng c&aacute;ch sử dụng fine tuning. Qu&aacute; tr&igrave;nh n&agrave;y được gọi l&agrave; học chuyển giao.
<img style="width: 700px; display: block; margin-left: auto; margin-right: auto;" src="https://tek4.vn/public_files/b3864d83-44df-416f-85df-03364a330e1d" alt="jalammarBERT-language-modeling-masked-lm" />
C&oacute; nhiều biến thể của kiến tr&uacute;c Transformer bao gồm BERT, DistilBERT. BigBird, OpenGPT3 v&agrave; hơn thế nữa c&oacute; thể được fine tuned.
<h2 style="text-align: justify;">Sử dụng BERT để ph&acirc;n loại văn bản</h2>
H&atilde;y xem c&aacute;ch ch&uacute;ng ta c&oacute; thể sử dụng m&ocirc; h&igrave;nh BERT được đ&agrave;o tạo trước để giải quyết nhiệm vụ truyền thống của ch&uacute;ng ta: sequence classification. Tiếp tục ph&acirc;n loại tập dữ liệu AG News ban đầu của ch&uacute;ng ta.&nbsp;
Đầu ti&ecirc;n, h&atilde;y load thư viện HuggingFace v&agrave; tập dữ liệu:
<pre class="language-python"><code>import torch
import torchtext
from torchnlp import *
import transformers
train_dataset, test_dataset, classes, vocab = load_dataset()
vocab_len = len(vocab)</code></pre>
Bởi v&igrave; sử dụng m&ocirc; h&igrave;nh BERT được đ&agrave;o tạo trước, n&ecirc;n ch&uacute;ng ta sẽ cần phải sử dụng tokenizer cụ thể. Đầu ti&ecirc;n, load một tokenizer được li&ecirc;n kết với m&ocirc; h&igrave;nh BERT được đ&agrave;o tạo trước.&nbsp;
Thư viện HuggingFace chứa một kho lưu trữ c&aacute;c m&ocirc; h&igrave;nh được đ&agrave;o tạo trước, m&agrave; bạn c&oacute; thể sử dụng chỉ bằng c&aacute;ch chỉ định t&ecirc;n của ch&uacute;ng l&agrave;m đối số cho c&aacute;c h&agrave;m from_pretrained. Tất cả c&aacute;c tệp nhị ph&acirc;n cần thiết cho m&ocirc; h&igrave;nh sẽ tự động được tải xuống.
Tuy nhi&ecirc;n, tại một số thời điểm nhất định, bạn sẽ cần tải c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh, trong trường hợp đ&oacute;, bạn c&oacute; thể chỉ định thư mục chứa tất cả c&aacute;c tệp c&oacute; li&ecirc;n quan, bao gồm c&aacute;c tham số cho tokenizer, tệp config.json với c&aacute;c tham số m&ocirc; h&igrave;nh, trọng số nhị ph&acirc;n, v.v.
<pre class="language-python"><code># To load the model from Internet repository using model name. 
# Use this if you are running from your own copy of the notebooks
bert_model = 'bert-base-uncased' 

# To load the model from the directory on disk. Use this for Microsoft Learn module, because we have
# prepared all required files for you.
bert_model = './bert'

tokenizer = transformers.BertTokenizer.from_pretrained(bert_model)

MAX_SEQ_LEN = 128
PAD_INDEX = tokenizer.convert_tokens_to_ids(tokenizer.pad_token)
UNK_INDEX = tokenizer.convert_tokens_to_ids(tokenizer.unk_token)</code></pre>
Đối tượng tokenizer chứa h&agrave;m m&atilde; h&oacute;a c&oacute; thể được sử dụng trực tiếp để m&atilde; h&oacute;a văn bản:
<pre class="language-python"><code>tokenizer.encode('PyTorch is a great framework for NLP')</code></pre>
Sau đ&oacute;, h&atilde;y tạo c&aacute;c tr&igrave;nh iterators m&agrave; ch&uacute;ng ta sẽ sử dụng trong qu&aacute; tr&igrave;nh đ&agrave;o tạo để truy cập dữ liệu. Bởi v&igrave; BERT sử dụng h&agrave;m m&atilde; h&oacute;a ri&ecirc;ng của n&oacute;, n&ecirc;n sẽ cần phải x&aacute;c định một h&agrave;m padding tương tự như <code>padify </code>m&agrave; ch&uacute;ng ta đ&atilde; x&aacute;c định trước đ&acirc;y:&nbsp;
<pre class="language-python"><code>def pad_bert(b):
 # b is the list of tuples of length batch_size
 # - first element of a tuple = label, 
 # - second = feature (text sequence)
 # build vectorized sequence
 v = [tokenizer.encode(x[1]) for x in b]
 # compute max length of a sequence in this minibatch
 l = max(map(len,v))
 return ( # tuple of two tensors - labels and features
 torch.LongTensor([t[0] for t in b]),
 torch.stack([torch.nn.functional.pad(torch.tensor(t),(0,l-len(t)),mode='constant',value=0) for t in v])
 )

train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=8, collate_fn=pad_bert, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=8, collate_fn=pad_bert)</code></pre>
Trong trường hợp n&agrave;y, ch&uacute;ng ta sẽ sử dụng m&ocirc; h&igrave;nh BERT được đ&agrave;o tạo trước được gọi l&agrave; <code>bert-base-unsased</code>. H&atilde;y load m&ocirc; h&igrave;nh bằng c&aacute;ch sử dụng g&oacute;i <code>BertForSequenceClassfication</code>. Điều n&agrave;y đảm bảo rằng m&ocirc; h&igrave;nh của ch&uacute;ng ta đ&atilde; c&oacute; một kiến tr&uacute;c bắt buộc để ph&acirc;n loại, bao gồm cả tr&igrave;nh ph&acirc;n loại cuối c&ugrave;ng. Bạn sẽ thấy th&ocirc;ng b&aacute;o cảnh b&aacute;o cho biết rằng trọng số của bộ ph&acirc;n loại cuối c&ugrave;ng chưa được khởi tạo v&agrave; m&ocirc; h&igrave;nh sẽ y&ecirc;u cầu đ&agrave;o tạo trước - điều đ&oacute; ho&agrave;n to&agrave;n ổn, v&igrave; đ&oacute; ch&iacute;nh x&aacute;c l&agrave; những g&igrave; ch&uacute;ng ta sắp l&agrave;m!
<pre class="language-python"><code>model = transformers.BertForSequenceClassification.from_pretrained(bert_model,num_labels=4).to(device)</code></pre>
B&acirc;y giờ đ&atilde; sẵn s&agrave;ng để bắt đầu đ&agrave;o tạo! Bởi v&igrave; BERT đ&atilde; được đ&agrave;o tạo trước, ch&uacute;ng ta muốn bắt đầu với learning rate kh&aacute; nhỏ để kh&ocirc;ng ph&aacute; hủy trọng số ban đầu. Tất cả c&aacute;c c&ocirc;ng việc kh&oacute; khăn được thực hiện bởi m&ocirc; h&igrave;nh <code>BertForSequenceClassification</code>. Khi ch&uacute;ng ta gọi m&ocirc; h&igrave;nh tr&ecirc;n dữ liệu đ&agrave;o tạo, n&oacute; trả về cả mất m&aacute;t v&agrave; đầu ra mạng cho minibatch đầu v&agrave;o. Ch&uacute;ng ta sử dụng mất m&aacute;t để tối ưu h&oacute;a tham số (loss.backward()) v&agrave; <code>out</code> để t&iacute;nh to&aacute;n độ ch&iacute;nh x&aacute;c đ&agrave;o tạo bằng c&aacute;ch so s&aacute;nh c&aacute;c nh&atilde;n thu được &nbsp;<code>labs</code>&nbsp;(được t&iacute;nh to&aacute;n bằng c&aacute;ch sử dụng argmax) với c&aacute;c nh&atilde;n mong đợi.
Để kiểm so&aacute;t quy tr&igrave;nh, ch&uacute;ng ta t&iacute;ch lũy số lượng mất m&aacute;t v&agrave; độ ch&iacute;nh x&aacute;c qua một số lần lặp lại v&agrave; in ch&uacute;ng sau mỗi chu kỳ đ&agrave;o tạo <code>report_freq</code>. Việc đ&agrave;o tạo n&agrave;y c&oacute; thể sẽ mất kh&aacute; nhiều thời gian, v&igrave; vậy ch&uacute;ng ta giới hạn số lần lặp lại.
<pre class="language-python"><code>optimizer = torch.optim.Adam(model.parameters(), lr=2e-5)

report_freq = 50
iterations = 500 # make this larger to train for longer time!

model.train()

i,c = 0,0
acc_loss = 0
acc_acc = 0

for labels,texts in train_loader:
 labels = labels.to(device)-1 # get labels in the range 0-3 
 texts = texts.to(device)
 loss, out = model(texts, labels=labels)[:2]
 labs = out.argmax(dim=1)
 acc = torch.mean((labs==labels).type(torch.float32))
 optimizer.zero_grad()
 loss.backward()
 optimizer.step()
 acc_loss += loss
 acc_acc += acc
 i+=1
 c+=1
 if i%report_freq==0:
 print(f"Loss = {acc_loss.item()/c}, Accuracy = {acc_acc.item()/c}")
 c = 0
 acc_loss = 0
 acc_acc = 0
 iterations-=1
 if not iterations:
 break</code></pre>
Bạn c&oacute; thể thấy (đặc biệt nếu bạn tăng số lần lặp lại v&agrave; đợi đủ l&acirc;u) th&igrave; ph&acirc;n loại BERT mang lại cho ch&uacute;ng ta độ ch&iacute;nh x&aacute;c kh&aacute; tốt! Đ&oacute; l&agrave; bởi v&igrave; BERT đ&atilde; hiểu kh&aacute; r&otilde; cấu tr&uacute;c của ng&ocirc;n ngữ v&agrave; ch&uacute;ng ta chỉ cần tinh chỉnh bộ ph&acirc;n loại cuối c&ugrave;ng. Tuy nhi&ecirc;n, v&igrave; BERT l&agrave; một m&ocirc; h&igrave;nh lớn, to&agrave;n bộ qu&aacute; tr&igrave;nh đ&agrave;o tạo mất nhiều thời gian, v&agrave; đ&ograve;i hỏi khả năng t&iacute;nh to&aacute;n nghi&ecirc;m t&uacute;c! (GPU v&agrave; tốt nhất l&agrave; nhiều hơn một).&nbsp;
[___NOTE_Lưu &yacute;: Trong v&iacute; dụ n&agrave;y, ch&uacute;ng ta đ&atilde; sử dụng một trong những m&ocirc; h&igrave;nh BERT nhỏ nhất được đ&agrave;o tạo trước. C&oacute; những m&ocirc; h&igrave;nh lớn hơn c&oacute; khả năng mang lại kết quả tốt hơn._NOTE___]&nbsp;
<h2 style="text-align: justify;">Đ&aacute;nh gi&aacute; hiệu suất m&ocirc; h&igrave;nh</h2>
B&acirc;y giờ ch&uacute;ng ta c&oacute; thể đ&aacute;nh gi&aacute; hiệu suất m&ocirc; h&igrave;nh của m&igrave;nh tr&ecirc;n tập dữ liệu thử nghiệm. V&ograve;ng lặp đ&aacute;nh gi&aacute; kh&aacute; giống với v&ograve;ng lặp huấn luyện, nhưng ch&uacute;ng ta kh&ocirc;ng n&ecirc;n qu&ecirc;n chuyển m&ocirc; h&igrave;nh sang chế độ đ&aacute;nh gi&aacute; bằng c&aacute;ch gọi <code>model.eval()</code>.&nbsp;
<pre class="language-python"><code>model.eval()
iterations = 100
acc = 0
i = 0
for labels,texts in test_loader:
 labels = labels.to(device)-1 
 texts = texts.to(device)
 _, out = model(texts, labels=labels)[:2]
 labs = out.argmax(dim=1)
 acc += torch.mean((labs==labels).type(torch.float32))
 i+=1
 if i&gt;iterations: break
 
print(f"Final accuracy: {acc.item()/i}")</code></pre>
Trong b&agrave;i n&agrave;y, ch&uacute;ng ta đ&atilde; thấy việc lấy m&ocirc; h&igrave;nh ng&ocirc;n ngữ được đ&agrave;o tạo trước từ thư viện transformers v&agrave; điều chỉnh n&oacute; dễ d&agrave;ng như thế n&agrave;o cho ph&ugrave; hợp với nhiệm vụ ph&acirc;n loại văn bản. Tương tự, c&aacute;c m&ocirc; h&igrave;nh BERT c&oacute; thể được sử dụng để tr&iacute;ch xuất thực thể, trả lời c&acirc;u hỏi v&agrave; c&aacute;c nhiệm vụ NLP kh&aacute;c.&nbsp;
C&aacute;c m&ocirc; h&igrave;nh transformers đại diện cho state-of-the-art hiện tại trong NLP v&agrave; trong hầu hết c&aacute;c trường hợp, n&oacute; phải l&agrave; giải ph&aacute;p đầu ti&ecirc;n bạn bắt đầu thử nghiệm khi triển khai c&aacute;c giải ph&aacute;p NLP t&ugrave;y chỉnh. Tuy nhi&ecirc;n, việc hiểu c&aacute;c nguy&ecirc;n tắc cơ bản của recurrent neural networks được thảo luận trong loạt b&agrave;i n&agrave;y l&agrave; cực kỳ quan trọng nếu bạn muốn x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh nơ-ron n&acirc;ng cao.&nbsp;

Admin

Attention models và transformers models

Cùng tác giả

Admin

Có liên quan