<pre style="text-align: center;"><em>"[___WARNING_Kh&oacute;a học đang trong qu&aacute; tr&igrave;nh cập nhật nội dung mỗi tuần <br />n&ecirc;n kh&ocirc;ng thể tr&aacute;nh khỏi sai s&oacute;t. Rất mong bạn đọc th&ocirc;ng cảm. <br />Nếu c&oacute; bất cứ thắc mắc n&agrave;o h&atilde;y ib cho page <a href="https://www.facebook.com/tek4.vn">TEK4.VN</a> <br />hoặc thảo luận tại group <a href="https://www.facebook.com/groups/tek4.vn">TEK4.VN- Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>_WARNING___]"</em></pre>
<h3 style="text-align: justify;">Giới thiệu kh&oacute;a học machine learning cơ bản với Python</h3>
<p style="text-align: justify;">Bạn nghe n&oacute;i về tr&iacute; tuệ nh&acirc;n tạo rồi machine learning v&agrave; muốn t&igrave;m hiểu về n&oacute;. Kh&oacute;a học n&agrave;y l&agrave; gi&agrave;nh cho bạn.</p>
<p style="text-align: justify;">Kh&oacute;a học n&agrave;y được thiết kế một c&aacute;ch b&agrave;i bản với những kiến thức từ cơ bản đến n&acirc;ng cao gi&uacute;p bạn c&oacute; khả năng l&agrave;m quen một c&aacute;ch dễ d&agrave;ng nhất với lĩnh vực machine learning.</p>
<p style="text-align: justify;">C&aacute;c chủ đề của kh&oacute;a học được thiết kế liền mạch với những giải th&iacute;ch dễ hiểu v&agrave; v&iacute; dụ minh họa thực tế. Với mỗi b&agrave;i học, bạn sẽ được l&agrave;m quen với c&aacute;c kỹ năng mới v&agrave; n&acirc;ng cao hiểu biết của m&igrave;nh về lĩnh vực học m&aacute;y đầy th&aacute;ch thức nhưng lại v&ocirc; c&ugrave;ng th&uacute; vị với nhiều ứng dụng thực tế n&agrave;y.</p>
<p style="text-align: justify;">Một điều đặc biệt nữa của kh&oacute;a học l&agrave; n&oacute; được thiết kế sao cho mỗi phần l&agrave; tương đối độc lập. V&igrave; vậy, bạn c&oacute; thể học to&agrave;n bộ kh&oacute;a học từ đầu đến cuối hoặc bạn cũng c&oacute; thể nhảy ngay v&agrave;o bất kỳ phần cụ thể n&agrave;o v&agrave; t&igrave;m hiểu những g&igrave; bạn cần ngay lập tức.</p>
<p style="text-align: justify;">Hơn nữa, kh&oacute;a học bao gồm nhiều b&agrave;i tập dựa tr&ecirc;n c&aacute;c nghi&ecirc;n cứu t&igrave;nh huống thực tế trong đời sống. V&igrave; vậy, bạn kh&ocirc;ng chỉ học l&yacute; thuyết m&agrave; c&ograve;n được thực h&agrave;nh rất nhiều v&iacute; dụ để x&acirc;y dựng c&aacute;c m&ocirc; h&igrave;nh của ri&ecirc;ng m&igrave;nh một c&aacute;ch thực thụ. Đặc biệt, bạn sẽ được luyện tập với c&aacute;c kh&aacute;i niệm NGAY LẬP TỨC với hệ thống b&agrave;i tập được hệ thống h&oacute;a v&agrave; đ&aacute;nh gi&aacute; trực tiếp tr&ecirc;n TEK4.VN.</p>
<h3 style="text-align: justify;">Kh&oacute;a học machine learning cơ bản với Python n&agrave;y d&agrave;nh cho ai?</h3>
<ul>
<li style="text-align: justify;">Bất cứ ai quan t&acirc;m đến Machine Learning.</li>
<li style="text-align: justify;">Học vi&ecirc;n đ&atilde; c&oacute; những kiến thức trung học phổ th&ocirc;ng về to&aacute;n v&agrave; muốn bắt đầu học Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ ai đ&atilde; c&oacute; những kiến thức cơ bản về học m&aacute;y, như c&aacute;c thuật to&aacute;n cổ điển như hồi quy tuyến t&iacute;nh hoặc hồi quy logistic, nhưng vẫn muốn t&igrave;m hiểu th&ecirc;m về học m&aacute;y v&agrave; kh&aacute;m ph&aacute; c&aacute;c kh&iacute;a cạnh kh&aacute;c của machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai gặp kh&oacute; khăn trong việc lập tr&igrave;nh để &aacute;p dụng c&aacute;c thuật to&aacute;n học m&aacute;y v&agrave;o b&agrave;i to&aacute;n thực tế.</li>
<li style="text-align: justify;">Bất kỳ sinh vi&ecirc;n đại học n&agrave;o muốn bắt đầu sự nghiệp trong lĩnh vực machine learning.</li>
<li style="text-align: justify;">Bất kỳ ai muốn n&acirc;ng cao kiến thức của bản th&acirc;n trong lĩnh vực Machine Learning.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o kh&ocirc;ng h&agrave;i l&ograve;ng với c&ocirc;ng việc của họ v&agrave; muốn trở th&agrave;nh Nh&agrave; khoa học dữ liệu.</li>
<li style="text-align: justify;">Bất kỳ người n&agrave;o muốn tạo gi&aacute; trị gia tăng cho doanh nghiệp của họ bằng c&aacute;ch sử dụng c&aacute;c c&ocirc;ng cụ Machine Learning mạnh mẽ.</li>
</ul>

Machine Learning cơ bản với Python

<p>L&agrave;m sạch dữ liệu l&agrave; qu&aacute; tr&igrave;nh t&igrave;m kiếm v&agrave; xử l&yacute; dữ liệu kh&ocirc;ng ch&iacute;nh x&aacute;c trong tập dữ liệu. Trong thực tế, nhiều bộ dữ liệu sẽ c&oacute; c&aacute;c gi&aacute; trị bị thiếu, v&igrave; vậy xử l&yacute; dữ liệu l&agrave; một bước quan trọng.</p>
<p>Tại sao ta cần xử l&yacute; dữ liệu khuyết? C&aacute;c m&ocirc; h&igrave;nh học m&aacute;y thường sử dụng sẽ bị lỗi nếu dữ liệu chứa gi&aacute; trị NaN. C&aacute;ch dễ nhất l&agrave; chỉ cần thay gi&aacute; trị NaN bằng 0, nhưng điều n&agrave;y c&oacute; thể l&agrave;m giảm đ&aacute;ng kể độ ch&iacute;nh x&aacute;c của m&ocirc; h&igrave;nh.</p>
<p>Để xử l&yacute; mất m&aacute;t dữ liệu, ta c&oacute; thể sử dụng c&aacute;c phương ph&aacute;p c&oacute; sẵn. Để chọn phương ph&aacute;p tốt nhất, ta cần hiểu loại dữ liệu bị thiếu v&agrave; độ quan trọng của c&aacute;c cột dữ liệu trước khi bắt đầu điền hay x&oacute;a dữ liệu.</p>
<p>C&aacute;c phương ph&aacute;p thường sử dụng để xử l&yacute; dữ liệu khuyết l&agrave;:</p>
<ul>
<li>X&oacute;a cột bị khuyết dữ liệu</li>
<li>X&oacute;a h&agrave;ng bị khuyết dữ liệu</li>
<li>Thay c&aacute;c gi&aacute; trị bị khuyết bằng gi&aacute; trị kh&aacute;c - Imputation</li>
<li>Sử dụng m&ocirc; h&igrave;nh Regression cơ bản để điền c&aacute;c gi&aacute; trị khuyết thiếu</li>
<li>Sử dụng c&aacute;c m&ocirc; h&igrave;nh học m&aacute;y kh&ocirc;ng bị ảnh hưởng bởi gi&aacute; trị khuyết thiếu.</li>
</ul>
<p>L&yacute; do v&igrave; sao dữ liệu xảy ra hiện tượng khuyết thiếu?<br />C&oacute; nhiều nguy&ecirc;n nh&acirc;n dẫn đến hiện tượng khuyết thiếu dữ liệu, nhưng hiện tượng n&agrave;y thường diễn ra trong qu&aacute; tr&igrave;nh thu thập v&agrave; nhập liệu. Trong đ&oacute; c&aacute;c nguy&ecirc;n nh&acirc;n c&oacute; thể kể đến như:</p>
<ul>
<li>Người nhập liệu nhập thiếu dữ liệu</li>
<li>Người nhập liệu nhập dữ liệu vượt qu&aacute; ngưỡng cho ph&eacute;p, hoặc nhập dữ liệu sai format</li>
<li>Người nhập liệu xử l&yacute; dữ liệu kh&ocirc;ng đ&uacute;ng c&aacute;ch</li>
<li>Người nhập liệu kh&ocirc;ng cẩn thận, sử dụng nhiều c&aacute;ch diễn giải cho một gi&aacute; trị</li>
</ul>
<h2>Đ&aacute;nh gi&aacute; dữ liệu để xử l&yacute; trường hợp khuyết thiếu th&ocirc;ng tin:</h2>
<p>Ta sẽ tiếp cận b&agrave;i n&agrave;y bằng phương ph&aacute;p sử dụng Case-study. Trước hết, ta cần tải bộ dữ liệu n&agrave;y xuống: https://www.kaggle.com/c/titanic</p>
<pre class="language-python"><code>import pandas as pd
import numpy as np

df = pd.read_csv("titanic_dataset.csv")

print(df.head())</code></pre>
<p>&nbsp;</p>
<table class="dataframe" border="1">
<thead>
<tr>
<th>&nbsp;</th>
<th>PassengerId</th>
<th>Survived</th>
<th>Pclass</th>
<th>Name</th>
<th>Sex</th>
<th>Age</th>
<th>SibSp</th>
<th>Parch</th>
<th>Ticket</th>
<th>Fare</th>
<th>Cabin</th>
<th>Embarked</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>1</td>
<td>0</td>
<td>3</td>
<td>Braund, Mr. Owen Harris</td>
<td>male</td>
<td>22.0</td>
<td>1</td>
<td>0</td>
<td>A/5 21171</td>
<td>7.2500</td>
<td>NaN</td>
<td>S</td>
</tr>
<tr>
<th>1</th>
<td>2</td>
<td>1</td>
<td>1</td>
<td>Cumings, Mrs. John Bradley (Florence Briggs Th...</td>
<td>female</td>
<td>38.0</td>
<td>1</td>
<td>0</td>
<td>PC 17599</td>
<td>71.2833</td>
<td>C85</td>
<td>C</td>
</tr>
<tr>
<th>2</th>
<td>3</td>
<td>1</td>
<td>3</td>
<td>Heikkinen, Miss. Laina</td>
<td>female</td>
<td>26.0</td>
<td>0</td>
<td>0</td>
<td>STON/O2. 3101282</td>
<td>7.9250</td>
<td>NaN</td>
<td>S</td>
</tr>
<tr>
<th>3</th>
<td>4</td>
<td>1</td>
<td>1</td>
<td>Futrelle, Mrs. Jacques Heath (Lily May Peel)</td>
<td>female</td>
<td>35.0</td>
<td>1</td>
<td>0</td>
<td>113803</td>
<td>53.1000</td>
<td>C123</td>
<td>S</td>
</tr>
<tr>
<th>4</th>
<td>5</td>
<td>0</td>
<td>3</td>
<td>Allen, Mr. William Henry</td>
<td>male</td>
<td>35.0</td>
<td>0</td>
<td>0</td>
<td>373450</td>
<td>8.0500</td>
<td>NaN</td>
<td>S</td>
</tr>
</tbody>
</table>
<p>Ta sẽ lọc những cột "Name", "Ticket", "PassengerID", "Cabin", "Embarked" v&igrave; đ&acirc;y l&agrave; những cột ngẫu nhi&ecirc;n, kh&ocirc;ng c&oacute; khả năng cung cấp th&ocirc;ng tin để đo&aacute;n nhận. Kh&ocirc;ng những vậy, những cột n&agrave;y c&ograve;n mang c&aacute;c th&ocirc;ng tin nhạy cảm, khiến ta c&oacute; thể nhận diện danh t&iacute;nh.</p>
<pre class="language-python"><code>df.drop("Name",axis=1,inplace=True)
df.drop("Ticket",axis=1,inplace=True)
df.drop("PassengerId",axis=1,inplace=True)
df.drop("Cabin",axis=1,inplace=True)
df.drop("Embarked",axis=1,inplace=True)</code></pre>
<p>Ngo&agrave;i ra, ta c&oacute; thể thấy rằng trong bảng dữ liệu n&agrave;y, cột "Sex" (giới t&iacute;nh) c&oacute; kiểu dữ liệu c&oacute; ph&acirc;n loại (tức giữa c&aacute;c loại nam, nữ v&agrave; giới t&iacute;nh kh&aacute;c). Ch&iacute;nh v&igrave; vậy, ta cần sử dụng Label Encoding hoặc One - hot encoding:</p>
<pre class="language-python"><code>from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df['Sex'] = le.fit_transform(df['Sex'])
newdf=df

# T&aacute;ch cột sống s&oacute;t (Survived) l&agrave;m nh&atilde;n của dữ liệu

y = df['Survived']
df.drop("Survived",axis=1,inplace=True)</code></pre>
<p>Tiếp theo, ta cần nhận định c&aacute;c đặc t&iacute;nh của dữ liệu, ở đ&acirc;y ta cần nhận định rằng khuyết thiếu bao nhi&ecirc;u dữ liệu, v&agrave; khuyết thiếu ở cột n&agrave;o. H&agrave;m df.info() sẽ cho ta c&aacute;c th&ocirc;ng tin đ&oacute;.</p>
<pre class="language-python"><code>df.info()

&gt;&gt;&gt;
&lt;class 'pandas.core.frame.DataFrame'&gt;
RangeIndex: 891 entries, 0 to 890
Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   Pclass  891 non-null    int64  
 1   Sex     891 non-null    int64  
 2   Age     714 non-null    float64
 3   SibSp   891 non-null    int64  
 4   Parch   891 non-null    int64  
 5   Fare    891 non-null    float64
dtypes: float64(2), int64(4)
memory usage: 41.9 KB</code></pre>
<p>Hoặc ch&uacute;ng ta c&oacute; thể đếm c&aacute;c gi&aacute; trị khuyết thiếu sử dụng df.isnull() v&agrave; df.sum()</p>
<pre class="language-python"><code>print(df.isnull().sum())

&gt;&gt;&gt;
Pclass      0
Sex         0
Age       177
SibSp       0
Parch       0
Fare        0
dtype: int64</code></pre>
<p>T&ugrave;y thuộc v&agrave;o độ mất m&aacute;t th&ocirc;ng tin, ch&uacute;ng ta c&oacute; thể thực hiện xử l&yacute; dữ liệu khuyết thiếu theo c&aacute;c c&aacute;ch sau đ&acirc;y:</p>
<h2>1. X&oacute;a cột bị khuyết dữ liệu:</h2>
<p>Khi cột chứa qu&aacute; nhiều dữ liệu khuyết thiếu, việc x&oacute;a cột l&agrave; cần thiết. X&oacute;a cột l&agrave; một trong những giải ph&aacute;p ngặt ngh&egrave;o nhất, v&agrave; chỉ n&ecirc;n thực hiện khi cột mất qu&aacute; nhiều dữ liệu. X&oacute;a cột ch&iacute;nh l&agrave; x&oacute;a đi feature, x&oacute;a đi th&ocirc;ng tin hữu &iacute;ch trong qu&aacute; tr&igrave;nh học m&aacute;y.&nbsp;<br />Ta thực hiện x&oacute;a cột v&agrave; cho m&ocirc; h&igrave;nh học tr&ecirc;n dữ liệu n&agrave;y.</p>
<pre class="language-python"><code>updated_df = df.dropna(axis=1)</code></pre>
<pre class="language-python"><code>updated_df.info()

&gt;&gt;&gt;
&lt;class 'pandas.core.frame.DataFrame'&gt;
RangeIndex: 891 entries, 0 to 890
Data columns (total 5 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   Pclass  891 non-null    int64  
 1   Sex     891 non-null    int64  
 2   SibSp   891 non-null    int64  
 3   Parch   891 non-null    int64  
 4   Fare    891 non-null    float64
dtypes: float64(1), int64(4)
memory usage: 34.9 KB</code></pre>
<pre class="language-python"><code>from sklearn import metrics
from sklearn.model_selection import train_test_split
X_train, X_test,y_train,y_test = train_test_split(updated_df,y,test_size=0.3)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(X_train,y_train)
pred = lr.predict(X_test)</code></pre>
<pre class="language-python"><code>print(metrics.accuracy_score(pred,y_test))</code></pre>
<pre class="language-python"><code>0.7947761194029851</code></pre>
<p>Hiệu suất của m&ocirc; h&igrave;nh l&agrave; 79%.</p>
<h2>2. X&oacute;a h&agrave;ng bị khuyết dữ liệu</h2>
<p>Nếu số lượng c&aacute;c bản ghi bị khuyết thiếu dữ liệu l&agrave; &iacute;t, ta c&oacute; thể x&oacute;a c&aacute;c h&agrave;ng đ&oacute; đi.<br />Trước, ta c&oacute; sử dụng df.dropna(axis=1) để x&oacute;a cột. Giờ ta sẽ chỉnh axis = 0 để x&oacute;a h&agrave;ng.</p>
<pre class="language-python"><code>updated_df = newdf.dropna(axis=0)
y1 = updated_df['Survived']
updated_df.drop("Survived",axis=1,inplace=True)</code></pre>
<pre class="language-python"><code>updated_df.info()</code></pre>
<pre class="language-python"><code>&lt;class 'pandas.core.frame.DataFrame'&gt;
Int64Index: 714 entries, 0 to 890
Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   Pclass  714 non-null    int64  
 1   Sex     714 non-null    int64  
 2   Age     714 non-null    float64
 3   SibSp   714 non-null    int64  
 4   Parch   714 non-null    int64  
 5   Fare    714 non-null    float64
dtypes: float64(2), int64(4)
memory usage: 39.0 KB</code></pre>
<pre class="language-python"><code>from sklearn import metrics
from sklearn.model_selection import train_test_split
X_train, X_test,y_train,y_test = train_test_split(updated_df,y1,test_size=0.3)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(X_train,y_train)
pred = lr.predict(X_test)</code></pre>
<pre class="language-python"><code>print(metrics.accuracy_score(pred,y_test))</code></pre>
<pre class="language-python"><code>0.8232558139534883</code></pre>
<p>C&oacute; thể thấy, ta đạt độ ch&iacute;nh x&aacute;c cao hơn so với x&oacute;a cột. Điều n&agrave;y l&agrave; do cột Age (tuổi) chứa rất nhiều th&ocirc;ng tin, thậm ch&iacute; c&oacute; thể n&oacute;i rằng c&oacute; mối li&ecirc;n hệ giữa tỉ lệ sống s&oacute;t v&agrave; tuổi của h&agrave;nh kh&aacute;ch.</p>
<h2>3. L&agrave;m đầy dữ liệu th&ocirc;ng qua Imputation</h2>
<p>Ta sẽ l&agrave;m đầy dữ liệu th&ocirc;ng qua h&agrave;m fillna() của pandas hoặc h&agrave;m SimpleImputer() từ sklearn.</p>
<p>T&ugrave;y v&agrave;o dữ liệu m&agrave; ta c&oacute; c&aacute;c c&aacute;ch để impute th&ocirc;ng tin kh&aacute;c nhau:</p>
<ul>
<li>L&agrave;m đầy th&ocirc;ng tin bằng gi&aacute; trị trung b&igrave;nh hoặc trung vị nếu dữ liệu thuộc kiểu gi&aacute; trị số</li>
<li>L&agrave;m đầy th&ocirc;ng tin bằng mode nếu dữ liệu thuộc kiểu categorical (ph&acirc;n loại)</li>
<li>L&agrave;m đầy th&ocirc;ng tin bằng c&aacute;c gi&aacute; trị ngoại bi&ecirc;n để m&aacute;y học nhận ra rằng đ&acirc;y l&agrave; dữ liệu giả</li>
<li>L&agrave;m đầy th&ocirc;ng tin bằng một gi&aacute; trị categorical&nbsp;</li>
</ul>
<p>Với fillna() của pandas, ch&uacute;ng ta c&oacute; thể l&agrave;m như sau:</p>
<pre class="language-python"><code>updated_df = df
updated_df['Age']=updated_df['Age'].fillna(updated_df['Age'].mean())
updated_df.info()</code></pre>
<pre class="language-python"><code>&lt;class 'pandas.core.frame.DataFrame'&gt;
RangeIndex: 891 entries, 0 to 890
Data columns (total 7 columns):
 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   Survived  891 non-null    int64  
 1   Pclass    891 non-null    int64  
 2   Sex       891 non-null    int64  
 3   Age       891 non-null    float64
 4   SibSp     891 non-null    int64  
 5   Parch     891 non-null    int64  
 6   Fare      891 non-null    float64
dtypes: float64(2), int64(5)
memory usage: 48.9 KB</code></pre>
<pre class="language-python"><code>y1 = updated_df['Survived']
updated_df.drop("Survived",axis=1,inplace=True)
from sklearn import metrics
from sklearn.model_selection import train_test_split
X_train, X_test,y_train,y_test = train_test_split(updated_df,y1,test_size=0.3)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(X_train,y_train)
pred = lr.predict(X_test)
print(metrics.accuracy_score(pred,y_test))</code></pre>
<pre class="language-python"><code>print(metrics.accuracy_score(pred,y_test))</code></pre>
<pre class="language-python"><code>0.7798507462686567</code></pre>
<p>Với SimpleImputer() của Scikit-learn, ch&uacute;ng ta c&oacute; thể l&agrave;m như sau:</p>
<pre class="language-python"><code>updated_df = df
updated_df['Ageismissing'] = updated_df['Age'].isnull()
from sklearn.impute import SimpleImputer
my_imputer = SimpleImputer(strategy = 'median')
data_new = my_imputer.fit_transform(updated_df)
updated_df.info()</code></pre>
<pre class="language-python"><code>&lt;class 'pandas.core.frame.DataFrame'&gt;
RangeIndex: 891 entries, 0 to 890
Data columns (total 7 columns):
 #   Column        Non-Null Count  Dtype  
---  ------        --------------  -----  
 0   Pclass        891 non-null    int64  
 1   Sex           891 non-null    int64  
 2   Age           891 non-null    float64
 3   SibSp         891 non-null    int64  
 4   Parch         891 non-null    int64  
 5   Fare          891 non-null    float64
 6   Ageismissing  891 non-null    bool   
dtypes: bool(1), float64(2), int64(4)
memory usage: 42.8 KB</code></pre>
<pre class="language-python"><code>from sklearn import metrics
from sklearn.model_selection import train_test_split
X_train, X_test,y_train,y_test = train_test_split(updated_df,y1,test_size=0.3)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(X_train,y_train)
pred = lr.predict(X_test)</code></pre>
<pre class="language-python"><code>print(metrics.accuracy_score(pred,y_test))</code></pre>
<pre class="language-python"><code>0.7649253731343284</code></pre>
<p>Ta pass đối số strategy v&agrave;o trong h&agrave;m để l&agrave;m đầy. Strategy ở đ&acirc;y c&oacute; thể l&agrave; gi&aacute; trị trung b&igrave;nh, trung vị hoặc mode.</p>
<p>Thấy rằng hiệu suất của m&ocirc; h&igrave;nh bị giảm mạnh</p>
<h2>4. Sử dụng m&ocirc; h&igrave;nh hồi quy đơn giản để l&agrave;m đầy dữ liệu.</h2>
<p>Những gi&aacute; trị khuyết thiếu trong một cột được l&agrave;m đầy bằng c&aacute;ch sử dụng một m&ocirc; h&igrave;nh hồi quy phụ thuộc v&agrave;o những cột c&ograve;n lại trong bảng.<br />Ta t&aacute;ch những bản ghi khuyết thiếu l&agrave;m tập test, những bản ghi c&ograve;n lại ta c&oacute; thể chia th&agrave;nh tập train v&agrave; tập validate.</p>
<pre class="language-python"><code>from sklearn.linear_model import LinearRegression
lr = LinearRegression()
df.head()
testdf = df[df['Age'].isnull()==True]
traindf = df[df['Age'].isnull()==False]
y = traindf['Age']
traindf.drop("Age",axis=1,inplace=True)
lr.fit(traindf,y)
testdf.drop("Age",axis=1,inplace=True)
pred = lr.predict(testdf)
testdf['Age']= pred</code></pre>
<table class="dataframe" border="1">
<thead>
<tr>
<th>&nbsp;</th>
<th>Survived</th>
<th>Pclass</th>
<th>Sex</th>
<th>Age</th>
<th>SibSp</th>
<th>Parch</th>
<th>Fare</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>0</td>
<td>3</td>
<td>male</td>
<td>22.0</td>
<td>1</td>
<td>0</td>
<td>7.2500</td>
</tr>
<tr>
<th>1</th>
<td>1</td>
<td>1</td>
<td>female</td>
<td>38.0</td>
<td>1</td>
<td>0</td>
<td>71.2833</td>
</tr>
<tr>
<th>2</th>
<td>1</td>
<td>3</td>
<td>female</td>
<td>26.0</td>
<td>0</td>
<td>0</td>
<td>7.9250</td>
</tr>
<tr>
<th>3</th>
<td>1</td>
<td>1</td>
<td>female</td>
<td>35.0</td>
<td>1</td>
<td>0</td>
<td>53.1000</td>
</tr>
<tr>
<th>4</th>
<td>0</td>
<td>3</td>
<td>male</td>
<td>35.0</td>
<td>0</td>
<td>0</td>
<td>8.0500</td>
</tr>
</tbody>
</table>
<pre class="language-python"><code>traindf['Age']=y</code></pre>
<pre class="language-python"><code>y = traindf['Survived']
traindf.drop("Survived",axis=1,inplace=True)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(traindf,y)</code></pre>
<pre class="language-python"><code>LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
                   intercept_scaling=1, l1_ratio=None, max_iter=100,
                   multi_class='auto', n_jobs=None, penalty='l2',
                   random_state=None, solver='lbfgs', tol=0.0001, verbose=0,
                   warm_start=False)</code></pre>
<pre class="language-python"><code>y_test = testdf['Survived']
testdf.drop("Survived",axis=1,inplace=True)
pred = lr.predict(testdf)</code></pre>
<pre class="language-python"><code>print(metrics.accuracy_score(pred,y_test))
0.8361581920903954</code></pre>
<p>Ngo&agrave;i ra, ta c&oacute; thể sử dụng những m&ocirc; h&igrave;nh như KNN để lấp đầy c&aacute;c gi&aacute; trị trống. Đ&ocirc;i khi, sử dụng hồi quy để l&agrave;m đầy dữ liệu c&oacute; thể khiến cho data bị overfit.</p>
<p>Kết luận: Kh&ocirc;ng c&oacute; c&aacute;ch n&agrave;o ho&agrave;n hảo để l&agrave;m đầy dữ liệu cả. Mức độ ổn định của dữ liệu sau khi l&agrave;m đầy phụ thuộc v&agrave;o phương ph&aacute;p l&agrave;m đầy v&agrave; ch&iacute;nh bản th&acirc;n c&aacute;c đặc t&iacute;nh v&agrave; mối quan hệ trong bộ dữ liệu đ&oacute;. Chỉ th&ocirc;ng qua qu&aacute; tr&igrave;nh thử nghiệm th&igrave; ta mới c&oacute; thể biết chắc chắn rằng phương ph&aacute;p n&agrave;o thực sự ph&ugrave; hợp để cải thiện dữ liệu.</p>
<hr />
<p style="text-align: center;"><em><strong>Fanpage Facebook:</strong>&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a></em>&nbsp;</p>
<p style="text-align: center;"><em><strong>Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:</strong>&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a></em></p>

Làm Việc Với Missing Data