<h2 style="text-align: justify;"> 1. Kh&aacute;i niệm</h2>
Bag of Words (BOW) l&agrave; một phương ph&aacute;p để tr&iacute;ch xuất c&aacute;c đặc điểm từ c&aacute;c dữ liệu văn bản. C&aacute;c đặc điểm n&agrave;y c&oacute; thể được sử dụng để đ&agrave;o tạo c&aacute;c thuật to&aacute;n học m&aacute;y. N&oacute; tạo ra một kho từ vựng chứa tất cả c&aacute;c từ duy nhất c&oacute; trong tất cả c&aacute;c dữ liệu văn bản trong tập huấn luyện. Hay n&oacute;i c&aacute;ch kh&aacute;c, đ&oacute; l&agrave; một tập hợp bao gồm c&aacute;c cặp gi&aacute; trị key v&agrave; value, gi&aacute; trị key l&agrave; từ duy nhất c&oacute; trong tập dữ liệu, gi&aacute; trị value l&agrave; số lần xuất hiện của từ đ&oacute; trong c&acirc;u, v&agrave; BOW hầu như kh&ocirc;ng quan t&acirc;m đến thứ tự xuất hiện của c&aacute;c từ đ&oacute;.
Ở mức cấp cao, n&oacute; bao gồm c&aacute;c bước sau:
<ol style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">Dữ liệu văn bản được l&agrave;m sạch</li>
<li style="font-weight: 400;" aria-level="1">Thực hiện t&aacute;ch từ</li>
<li style="font-weight: 400;" aria-level="1">X&acirc;y dựng cấu tr&uacute;c ngữ ph&aacute;p</li>
<li style="font-weight: 400;" aria-level="1">Sinh ra c&aacute;c vectơ</li>
</ol>
C&aacute;c vectơ đ&atilde; được sinh ra c&oacute; thể được đưa v&agrave;o thuật to&aacute;n học m&aacute;y. Ch&uacute;ng ta sẽ bắt đầu với một v&iacute; dụ. C&oacute; 2 c&acirc;u như sau:
<ol style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">"John likes to watch movies. Mary likes movies too."</li>
<li style="font-weight: 400;" aria-level="1">"John also likes to watch football games."</li>
</ol>
C&aacute;c c&acirc;u n&agrave;y sẽ được biểu diễn ở dạng tập hợp c&aacute;c từ như sau:
<ol style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">['John', 'likes', 'to', 'watch', 'movies.', 'Mary', 'likes', 'movies', 'too.']</li>
<li style="font-weight: 400;" aria-level="1">['John', 'also', 'likes', 'to', 'watch', 'football', 'games']</li>
</ol>
Ngo&agrave;i ra, trong mỗi c&acirc;u, ta sẽ thực hiện loại bỏ số lần xuất hiện lặp lại của từ v&agrave; sử dụng số lượng từ để biểu diễn.
<ol style="text-align: justify;">
<li style="font-weight: 400;" aria-level="1">{"John":1,"likes":2,"to":1,"watch":1,"movies":2,"Mary":1,"too":1}</li>
<li style="font-weight: 400;" aria-level="1">{"John":1,"also":1,"likes":1,"to":1,"watch":1,"football":1, &nbsp; "games":1}</li>
</ol>
Giả sử những c&acirc;u n&agrave;y l&agrave; một phần của dữ liệu văn bản, dưới đ&acirc;y l&agrave; tần suất từ được kết hợp cho to&agrave;n bộ dữ liệu văn bản.
<ul style="text-align: justify;">
<li>{"John":2,"likes":3,"to":2,"watch":2,"movies":2,"Mary":1,"too":1,&nbsp; "also":1,"football":1,"games":1}</li>
</ul>
Cấu tr&uacute;c từ vựng ở tr&ecirc;n của tất cả c&aacute;c từ, với số lượng từ tương ứng của ch&uacute;ng, sẽ được sử dụng để tạo c&aacute;c vectơ cho mỗi c&acirc;u. Độ d&agrave;i của vectơ sẽ lu&ocirc;n bằng k&iacute;ch thước của tập hợp từ vựng. Trong trường hợp n&agrave;y, độ d&agrave;i vectơ l&agrave; 11. Để biểu diễn c&aacute;c c&acirc;u gốc trong một vectơ, mỗi vectơ sẽ được khởi tạo bằng tất cả c&aacute;c gi&aacute; trị số kh&ocirc;ng - [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]. Tiếp theo l&agrave; lặp lại v&agrave; so s&aacute;nh với từng từ trong tập hợp từ vựng của ch&uacute;ng ta v&agrave; tăng gi&aacute; trị vectơ nếu c&acirc;u c&oacute; chứa từ đ&oacute;.
<ol style="text-align: justify;">
<li>John likes to watch movies. Mary likes movies too.[1, 2, 1, 1, 2, 1, 1, 0, 0, 0]</li>
<li>John also likes to watch football games.[1, 1, 1, 1, 0, 0, 0, 1, 1, 1]</li>
</ol>
V&iacute; dụ, trong c&acirc;u 1, từ likes xuất hiện ở vị tr&iacute; thứ hai v&agrave; xuất hiện hai lần. V&igrave; vậy, phần tử thứ hai của vectơ cho c&acirc;u 1 sẽ l&agrave; 2: [1, 2, 1, 1, 2, 1, 1, 0, 0, 0].
Vectơ lu&ocirc;n tỷ lệ thuận với k&iacute;ch thước từ vựng của ch&uacute;ng ta.
<h2 style="text-align: justify;">2. Thực hiện viết giải thuật</h2>
Đầu v&agrave;o sẽ c&oacute; dạng như sau:
<ol style="text-align: justify;">
<li>["Joe waited for the train", "The train was late", "Mary and Samantha took the bus",</li>
<li>"I looked for Mary and Samantha at the bus station",</li>
</ol>
<h3 style="text-align: justify;"> Bước 1: Thực hiện t&aacute;ch từ</h3>
Ch&uacute;ng ta sẽ bắt đầu bằng c&aacute;ch loại bỏ c&aacute;c stopwords khỏi c&aacute;c c&acirc;u.
Stopwords l&agrave; những từ kh&ocirc;ng c&oacute; đủ &yacute; nghĩa để được sử dụng m&agrave; kh&ocirc;ng c&oacute; thuật to&aacute;n. Ch&uacute;ng ta sẽ kh&ocirc;ng muốn những từ n&agrave;y chiếm dung lượng trong cơ sở dữ liệu hoặc mất thời gian xử l&yacute;. Ch&uacute;ng ta c&oacute; thể loại bỏ ch&uacute;ng một c&aacute;ch dễ d&agrave;ng bằng c&aacute;ch lưu trữ danh s&aacute;ch c&aacute;c từ m&agrave; bạn cho l&agrave; Stopwords.
Tokenization l&agrave; h&agrave;nh động chia nhỏ một chuỗi k&yacute; tự th&agrave;nh nhiều phần như từ, từ kh&oacute;a, cụm từ, k&yacute; hiệu v&agrave; c&aacute;c phần tử kh&aacute;c được gọi l&agrave; token. Token c&oacute; thể l&agrave; c&aacute;c từ, cụm từ ri&ecirc;ng lẻ hoặc thậm ch&iacute; cả c&acirc;u. Trong qu&aacute; tr&igrave;nh t&aacute;ch từ, một số k&yacute; tự như dấu chấm c&acirc;u sẽ bị loại bỏ.
<pre class="line-numbers language-python" tabindex="0"><code>def word_extraction(sentence):
 ignore = ['a', "the", "is"]
 words = re.sub("[^\w]", " ", sentence).split()
 cleaned_text = [w.lower() for w in words if w not in ignore]
 return cleaned_text</code></pre>
Để triển khai t&iacute;nh năng mạnh mẽ hơn, bạn c&oacute; thể sử dụng thư viện nltk trong Python. N&oacute; c&oacute; một tập hợp c&aacute;c từ được x&aacute;c định trước cho mỗi ng&ocirc;n ngữ.
V&iacute; dụ:
<pre class="line-numbers language-python" tabindex="0"><code>import nltk from nltk.corpus
import stopwords
set(stopwords.words('english'))</code></pre>
<h3 style="text-align: justify;"> Bước 2: &Aacute;p dụng t&aacute;ch từ</h3>
<pre class="line-numbers language-python" tabindex="0"><code>def tokenize(sentences):
 words = []
 for sentence in sentences:
 w = word_extraction(sentence)
 words.extend(w)
 words = sorted(list(set(words)))
 return words</code></pre>
Phương thức sẽ lặp qua tất cả c&aacute;c c&acirc;u v&agrave; th&ecirc;m từ được tr&iacute;ch xuất v&agrave;o một mảng. Đầu ra của phương thức n&agrave;y sẽ l&agrave;:
<pre class="line-numbers language-markup" tabindex="0"><code>['and', 'arrived', 'at', 'bus', 'but', 'early', 'for', 'i', 'joe', 'late', 'looked', 'mary', 'noon', 'samantha', 'station', 'the', 'took', 'train', 'until', 'waited', 'was']</code></pre>
<h3 style="text-align: justify;"> Bước 3: X&acirc;y dựng tập hợp từ vựng v&agrave; sinh ra c&aacute;c vectơ</h3>
Ch&uacute;ng ta sẽ sử dụng c&aacute;c phương thức được x&aacute;c định trong bước 1 v&agrave; 2 để tạo tập hợp từ vựng cho dữ liệu văn bản v&agrave; tr&iacute;ch xuất c&aacute;c từ từ c&aacute;c c&acirc;u.
<pre class="line-numbers language-python" tabindex="0"><code>def generate_bow(allsentences):
 vocab = tokenize(allsentences)
 print("Word List for Document \n{0} \n".format(vocab));

for sentence in allsentences:
 words = word_extraction(sentence)
 bag_vector = numpy.zeros(len(vocab))
 for w in words:
 for i,word in enumerate(vocab):
 if word == w:
 bag_vector[i] += 1
 print("{0}\n{1}\n".format(sentence,numpy.array(bag_vector)))</code></pre>
Sau đ&acirc;y l&agrave; dữ liệu đầu v&agrave;o đ&atilde; được định nghĩa v&agrave; luồng thực thi đoạn m&atilde;:
<pre class="line-numbers language-python" tabindex="0"><code>allsentences = ["Joe waited for the train train", "The train was late", "Mary and Samantha took the bus",
"I looked for Mary and Samantha at the bus station",
"Mary and Samantha arrived at the bus station early but waited until noon for the bus"]
generate_bow(allsentences)</code></pre>
Kết quả đầu ra l&agrave; c&aacute;c vectơ cho mỗi c&acirc;u như sau:
<pre class="line-numbers language-markup" tabindex="0"><code>Joe waited for the train train[0. 0. 0. 0. 0. 0. 1. 0. 1. 0. 0. 0. 0. 0. 0. 0. 0. 2. 0. 1. 0.]
The train was late[0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 0. 0. 0. 0. 0. 1. 0. 1. 0. 0. 1.]
Mary and Samantha took the bus[1. 0. 0. 1. 0. 0. 0. 0. 0. 0. 0. 1. 0. 1. 0. 0. 1. 0. 0. 0. 0.]
I looked for Mary and Samantha at the bus station[1. 0. 1. 1. 0. 0. 1. 1. 0. 0. 1. 1. 0. 1. 1. 0. 0. 0. 0. 0. 0.]
Mary and Samantha arrived at the bus station early but waited until noon for the bus[1. 1. 1. 2. 1. 1. 1. 0. 0. 0. 0. 1. 1. 1. 1. 0. 0. 0. 1. 1. 0.]</code></pre>
Như bạn c&oacute; thể thấy, mỗi c&acirc;u đ&atilde; được so s&aacute;nh với danh s&aacute;ch từ được tạo ở bước 1. Dựa tr&ecirc;n kết quả so s&aacute;nh, gi&aacute; trị phần tử của vectơ c&oacute; thể được tăng l&ecirc;n. C&aacute;c vectơ n&agrave;y c&oacute; thể được sử dụng trong c&aacute;c thuật to&aacute;n ML để ph&acirc;n loại v&agrave; dự đo&aacute;n dữ liệu.

Admin

Xây dựng chương trình Bag of Words

Cùng tác giả

Admin

Có liên quan