<h1 class="ant-typography post-detail_title__2iF6e">Ph&aacute;t Triển C&aacute;c M&ocirc; H&igrave;nh Multilayer Perceptron &ndash; Keras Cơ Bản</h1>
Ch&agrave;o mừng c&aacute;c bạn quay trở lại với loạt b&agrave;i về&nbsp;<a href="https://tek4.vn/keras-co-ban-bat-dau-hoc-sau-voi-tf-keras/" target="_blank" rel="noopener">Keras Cơ Bản</a>&nbsp;của<a href="https://tek4.vn/" target="_blank" rel="noopener">&nbsp;tek4.vn</a>. Giống như ti&ecirc;u đề, trong b&agrave;i viết n&agrave;y ch&uacute;ng ta sẽ c&ugrave;ng nhau t&igrave;m hiểu về c&aacute;ch ph&aacute;t triển c&aacute;c m&ocirc; h&igrave;nh Multilayer Perceptron. Bắt đầu th&ocirc;i!
Xem th&ecirc;m b&agrave;i viết trước:&nbsp;<a href="https://tek4.vn/api-mo-hinh-functional-nang-cao-keras-co-ban/" target="_blank" rel="noopener">API M&ocirc; H&igrave;nh Functional (N&acirc;ng Cao)</a>
<img style="width: 681px; display: block; margin-left: auto; margin-right: auto;" src="http://tek4vn.2soft.top/public_files/46-png" alt="46" height="250" />
M&ocirc; h&igrave;nh Multilayer Perceptron, viết tắt l&agrave; MLP, l&agrave; một m&ocirc; h&igrave;nh mạng nơ-ron được kết nối đầy đủ ti&ecirc;u chuẩn.
N&oacute; bao gồm c&aacute;c layer của node trong đ&oacute; mỗi node được kết nối với tất cả c&aacute;c đầu ra từ layer trước v&agrave; đầu ra của mỗi node được kết nối với tất cả c&aacute;c đầu v&agrave;o cho c&aacute;c node ở layer tiếp theo.
MLP được tạo bởi một hoặc nhiều&nbsp;Dense&nbsp;layers. M&ocirc; h&igrave;nh n&agrave;y th&iacute;ch hợp cho dữ liệu dạng bảng, tức l&agrave; dữ liệu như trong bảng hoặc bảng t&iacute;nh với một cột cho mỗi biến v&agrave; một h&agrave;ng cho mỗi biến. C&oacute; ba vấn đề m&ocirc; h&igrave;nh dự đo&aacute;n m&agrave; ch&uacute;ng ta kh&aacute;m ph&aacute; với MLP l&agrave;: Ph&acirc;n loại nhị ph&acirc;n, ph&acirc;n loại đa lớp v&agrave; hồi quy.
H&atilde;y điều chỉnh một m&ocirc; h&igrave;nh tr&ecirc;n một tập dữ liệu thực cho mỗi trường hợp n&agrave;y.
Lưu &yacute;, c&aacute;c m&ocirc; h&igrave;nh trong phần n&agrave;y c&oacute; hiệu quả, nhưng kh&ocirc;ng được tối ưu h&oacute;a.
<h3 id="ftoc-heading-1" class="ftwp-heading" style="text-align: justify;">MLP cho ph&acirc;n loại nhị ph&acirc;n</h3>
Ch&uacute;ng ta sẽ sử dụng tập dữ liệu ph&acirc;n loại Ionosphere binary (hai lớp) để chứng minh MLP cho ph&acirc;n loại nhị ph&acirc;n.
Bộ dữ liệu n&agrave;y li&ecirc;n quan đến việc dự đo&aacute;n liệu một cấu tr&uacute;c c&oacute; nằm trong kh&iacute; quyển hay kh&ocirc;ng được đưa ra bởi radar.
Tập dữ liệu sẽ được tải xuống tự động bằng Pandas, nhưng bạn c&oacute; thể t&igrave;m hiểu th&ecirc;m về tập dữ liệu tại đ&acirc;y.
<ul style="text-align: justify;">
<li><a href="https://raw.githubusercontent.com/jbrownlee/Datasets/master/ionosphere.csv">Ionosphere Dataset (csv)</a>.</li>
<li><a href="https://raw.githubusercontent.com/jbrownlee/Datasets/master/ionosphere.names">Ionosphere Dataset Description (csv)</a>.</li>
</ul>
Ch&uacute;ng ta sẽ sử dụng một bộ m&atilde; h&oacute;a&nbsp;<a href="https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.LabelEncoder.html" target="_blank" rel="noopener">LabelEncoder</a>&nbsp;để m&atilde; h&oacute;a c&aacute;c nh&atilde;n chuỗi th&agrave;nh c&aacute;c gi&aacute; trị nguy&ecirc;n 0 v&agrave; 1. M&ocirc; h&igrave;nh sẽ fit với 67% dữ liệu huấn luyện v&agrave; 33% c&ograve;n lại sẽ được sử dụng để đ&aacute;nh gi&aacute;, ph&acirc;n t&aacute;ch bằng c&aacute;ch sử dụng h&agrave;m&nbsp;<a href="https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html" target="_blank" rel="noopener">train_test_split()</a>.
Một phương ph&aacute;p hay l&agrave; sử dụng h&agrave;m k&iacute;ch hoạt &lsquo;relu&lsquo; với khởi tạo trọng số &lsquo;he_normal&lsquo;.
V&iacute; dụ đầy đủ được liệt k&ecirc; dưới đ&acirc;y:
<pre class="language-python"><code># mlp for binary classification
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense
# load the dataset
path = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/ionosphere.csv'
df = read_csv(path, header=None)
# split into input and output columns
X, y = df.values[:, :-1], df.values[:, -1]
# ensure all data are floating point values
X = X.astype('float32')
# encode strings to integer
y = LabelEncoder().fit_transform(y)
# split into train and test datasets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)
print(X_train.shape, X_test.shape, y_train.shape, y_test.shape)
# determine the number of input features
n_features = X_train.shape[1]
# define model
model = Sequential()
model.add(Dense(10, activation='relu', kernel_initializer='he_normal', input_shape=(n_features,)))
model.add(Dense(8, activation='relu', kernel_initializer='he_normal'))
model.add(Dense(1, activation='sigmoid'))
# compile the model
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
# fit the model
model.fit(X_train, y_train, epochs=150, batch_size=32, verbose=0)
# evaluate the model
loss, acc = model.evaluate(X_test, y_test, verbose=0)
print('Test Accuracy: %.3f' % acc)
# make a prediction
row = [1,0,0.99539,-0.05889,0.85243,0.02306,0.83398,-0.37708,1,0.03760,0.85243,-0.17755,0.59755,-0.44945,0.60536,-0.38223,0.84356,-0.38542,0.58212,-0.32192,0.56971,-0.29674,0.36946,-0.47357,0.56811,-0.51171,0.41078,-0.46168,0.21266,-0.34090,0.42267,-0.54487,0.18641,-0.45300]
yhat = model.predict([row])
print('Predicted: %.3f' % yhat)</code></pre>
Chạy v&iacute; dụ trước ti&ecirc;n b&aacute;o c&aacute;o shape của tập dữ liệu, sau đ&oacute; fit với m&ocirc; h&igrave;nh v&agrave; đ&aacute;nh gi&aacute; n&oacute; tr&ecirc;n tập dữ liệu thử nghiệm. Cuối c&ugrave;ng, một dự đo&aacute;n được đưa ra cho một h&agrave;ng dữ liệu.
Lưu &yacute;: Kết quả của bạn c&oacute; thể thay đổi do bản chất ngẫu nhi&ecirc;n của thuật to&aacute;n hoặc quy tr&igrave;nh đ&aacute;nh gi&aacute;, hoặc sự kh&aacute;c biệt về độ ch&iacute;nh x&aacute;c số. H&atilde;y xem x&eacute;t chạy v&iacute; dụ một v&agrave;i lần v&agrave; so s&aacute;nh kết quả trung b&igrave;nh.
Bạn nhận được kết quả g&igrave;?&nbsp;Bạn c&oacute; thể thay đổi m&ocirc; h&igrave;nh để l&agrave;m tốt hơn kh&ocirc;ng? H&atilde;y b&igrave;nh luận kết quả của bạn ở ph&iacute;a dưới b&agrave;i viết.
Trong trường hợp n&agrave;y, ch&uacute;ng ta c&oacute; thể thấy rằng m&ocirc; h&igrave;nh đạt độ ch&iacute;nh x&aacute;c ph&acirc;n loại khoảng 94% v&agrave; sau đ&oacute; dự đo&aacute;n x&aacute;c suất 0,9 rằng một h&agrave;ng dữ liệu thuộc loại 1.
<pre class="language-python"><code>(235, 34) (116, 34) (235,) (116,)
Test Accuracy: 0.940
Predicted: 0.991</code></pre>
<h3 id="ftoc-heading-2" class="ftwp-heading" style="text-align: justify;">MLP để ph&acirc;n loại đa lớp</h3>
Ch&uacute;ng ta sẽ sử dụng tập dữ liệu ph&acirc;n loại đa lớp hoa Iris để chứng minh một MLP cho ph&acirc;n loại đa lớp. B&agrave;i to&aacute;n n&agrave;y li&ecirc;n quan đến việc dự đo&aacute;n lo&agrave;i hoa iris.
Tập dữ liệu sẽ được tải xuống tự động bằng Pandas, nhưng bạn c&oacute; thể t&igrave;m hiểu th&ecirc;m về tập dữ liệu tại đ&acirc;y.
<ul style="text-align: justify;">
<li><a href="https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv">Iris Dataset (csv)</a>.</li>
<li><a href="https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.names">Iris Dataset Description (csv)</a>.</li>
</ul>
Cho rằng đ&oacute; l&agrave; ph&acirc;n loại đa lớp, m&ocirc; h&igrave;nh phải c&oacute; một node cho mỗi lớp trong layer đầu ra v&agrave; sử dụng h&agrave;m k&iacute;ch hoạt softmax. H&agrave;m mất m&aacute;t l&agrave; &lsquo;sparse_categorical_crossentropy&lsquo;, th&iacute;ch hợp cho c&aacute;c nh&atilde;n lớp được m&atilde; h&oacute;a số nguy&ecirc;n (v&iacute; dụ: 0 cho một lớp, 1 cho lớp tiếp theo, v.v.).
V&iacute; dụ đầy đủ về việc triển khai v&agrave; đ&aacute;nh gi&aacute; MLP tr&ecirc;n tập dữ liệu hoa iris được liệt k&ecirc; dưới đ&acirc;y.
<pre class="language-python"><code># mlp for multiclass classification
from numpy import argmax
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense
# load the dataset
path = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv'
df = read_csv(path, header=None)
# split into input and output columns
X, y = df.values[:, :-1], df.values[:, -1]
# ensure all data are floating point values
X = X.astype('float32')
# encode strings to integer
y = LabelEncoder().fit_transform(y)
# split into train and test datasets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)
print(X_train.shape, X_test.shape, y_train.shape, y_test.shape)
# determine the number of input features
n_features = X_train.shape[1]
# define model
model = Sequential()
model.add(Dense(10, activation='relu', kernel_initializer='he_normal', input_shape=(n_features,)))
model.add(Dense(8, activation='relu', kernel_initializer='he_normal'))
model.add(Dense(3, activation='softmax'))
# compile the model
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
# fit the model
model.fit(X_train, y_train, epochs=150, batch_size=32, verbose=0)
# evaluate the model
loss, acc = model.evaluate(X_test, y_test, verbose=0)
print('Test Accuracy: %.3f' % acc)
# make a prediction
row = [5.1,3.5,1.4,0.2]
yhat = model.predict([row])
print('Predicted: %s (class=%d)' % (yhat, argmax(yhat)))</code></pre>
Chạy v&iacute; dụ trước ti&ecirc;n b&aacute;o c&aacute;o shape của tập dữ liệu, sau đ&oacute; fit m&ocirc; h&igrave;nh v&agrave; đ&aacute;nh gi&aacute; n&oacute; tr&ecirc;n tập dữ liệu thử nghiệm. Cuối c&ugrave;ng, một dự đo&aacute;n được đưa ra cho một h&agrave;ng dữ liệu.
Lưu &yacute;: Kết quả của bạn c&oacute; thể thay đổi do bản chất ngẫu nhi&ecirc;n của thuật to&aacute;n hoặc quy tr&igrave;nh đ&aacute;nh gi&aacute;, hoặc sự kh&aacute;c biệt về độ ch&iacute;nh x&aacute;c số. H&atilde;y xem x&eacute;t chạy v&iacute; dụ một v&agrave;i lần v&agrave; so s&aacute;nh kết quả trung b&igrave;nh.
Bạn nhận được kết quả g&igrave;?&nbsp;Bạn c&oacute; thể thay đổi m&ocirc; h&igrave;nh để l&agrave;m tốt hơn kh&ocirc;ng? H&atilde;y b&igrave;nh luận kết quả của bạn ở ph&iacute;a dưới b&agrave;i viết.
Trong trường hợp n&agrave;y, ch&uacute;ng ta c&oacute; thể thấy rằng m&ocirc; h&igrave;nh đạt được độ ch&iacute;nh x&aacute;c ph&acirc;n loại khoảng 98% v&agrave; sau đ&oacute; dự đo&aacute;n x&aacute;c suất của một h&agrave;ng dữ liệu thuộc mỗi lớp, mặc d&ugrave; lớp 0 c&oacute; x&aacute;c suất cao nhất.
<pre class="language-python"><code>(100, 4) (50, 4) (100,) (50,)
Test Accuracy: 0.980
Predicted: [[0.8680804 0.12356871 0.00835086]] (class=0)</code></pre>
<h3 id="ftoc-heading-3" class="ftwp-heading" style="text-align: justify;">MLP cho hồi quy</h3>
Ch&uacute;ng ta sẽ sử dụng tập dữ liệu hồi quy nh&agrave; ở Boston để chứng minh MLP cho m&ocirc; h&igrave;nh dự b&aacute;o hồi quy.
B&agrave;i to&aacute;n n&agrave;y li&ecirc;n quan đến việc dự đo&aacute;n gi&aacute; trị ng&ocirc;i nh&agrave; dựa tr&ecirc;n t&agrave;i sản của ng&ocirc;i nh&agrave; v&agrave; khu vực l&acirc;n cận.
Tập dữ liệu sẽ được tải xuống tự động bằng Pandas, nhưng bạn c&oacute; thể t&igrave;m hiểu th&ecirc;m về tập dữ liệu tại đ&acirc;y.
<ul style="text-align: justify;">
<li><a href="https://raw.githubusercontent.com/jbrownlee/Datasets/master/housing.csv">Boston Housing Dataset (csv)</a>.</li>
<li><a href="https://raw.githubusercontent.com/jbrownlee/Datasets/master/housing.names">Boston Housing Dataset Description (csv)</a>.</li>
</ul>
Đ&acirc;y l&agrave; một b&agrave;i to&aacute;n hồi quy li&ecirc;n quan đến việc dự đo&aacute;n một gi&aacute; trị số duy nhất. Như vậy, layer đầu ra c&oacute; một node duy nhất v&agrave; sử dụng h&agrave;m k&iacute;ch hoạt mặc định hoặc tuyến t&iacute;nh (kh&ocirc;ng c&oacute; h&agrave;m k&iacute;ch hoạt).
Mean squared error (mse) được giảm thiểu khi fit m&ocirc; h&igrave;nh.
Nhớ lại rằng đ&acirc;y l&agrave; một hồi quy, kh&ocirc;ng phải ph&acirc;n loại; Do đ&oacute;, ch&uacute;ng ta kh&ocirc;ng thể t&iacute;nh to&aacute;n độ ch&iacute;nh x&aacute;c ph&acirc;n loại.
V&iacute; dụ đầy đủ về việc điều chỉnh v&agrave; đ&aacute;nh gi&aacute; MLP tr&ecirc;n tập dữ liệu nh&agrave; ở ở Boston được liệt k&ecirc; b&ecirc;n dưới
<pre class="language-python"><code># mlp for regression
from numpy import sqrt
from pandas import read_csv
from sklearn.model_selection import train_test_split
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense
# load the dataset
path = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/housing.csv'
df = read_csv(path, header=None)
# split into input and output columns
X, y = df.values[:, :-1], df.values[:, -1]
# split into train and test datasets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)
print(X_train.shape, X_test.shape, y_train.shape, y_test.shape)
# determine the number of input features
n_features = X_train.shape[1]
# define model
model = Sequential()
model.add(Dense(10, activation='relu', kernel_initializer='he_normal', input_shape=(n_features,)))
model.add(Dense(8, activation='relu', kernel_initializer='he_normal'))
model.add(Dense(1))
# compile the model
model.compile(optimizer='adam', loss='mse')
# fit the model
model.fit(X_train, y_train, epochs=150, batch_size=32, verbose=0)
# evaluate the model
error = model.evaluate(X_test, y_test, verbose=0)
print('MSE: %.3f, RMSE: %.3f' % (error, sqrt(error)))
# make a prediction
row = [0.00632,18.00,2.310,0,0.5380,6.5750,65.20,4.0900,1,296.0,15.30,396.90,4.98]
yhat = model.predict([row])
print('Predicted: %.3f' % yhat)</code></pre>
Chạy v&iacute; dụ trước ti&ecirc;n b&aacute;o c&aacute;o shape của tập dữ liệu, sau đ&oacute; fit m&ocirc; h&igrave;nh v&agrave; đ&aacute;nh gi&aacute; n&oacute; tr&ecirc;n tập dữ liệu thử nghiệm. Cuối c&ugrave;ng, một dự đo&aacute;n được đưa ra cho một h&agrave;ng dữ liệu.
Lưu &yacute;: Kết quả của bạn c&oacute; thể thay đổi do bản chất ngẫu nhi&ecirc;n của thuật to&aacute;n hoặc quy tr&igrave;nh đ&aacute;nh gi&aacute;, hoặc sự kh&aacute;c biệt về độ ch&iacute;nh x&aacute;c số. H&atilde;y xem x&eacute;t chạy v&iacute; dụ một v&agrave;i lần v&agrave; so s&aacute;nh kết quả trung b&igrave;nh.
Bạn nhận được kết quả g&igrave;?&nbsp;Bạn c&oacute; thể thay đổi m&ocirc; h&igrave;nh để l&agrave;m tốt hơn kh&ocirc;ng? H&atilde;y b&igrave;nh luận kết quả của bạn ở ph&iacute;a dưới b&agrave;i viết.
Trong trường hợp n&agrave;y, ch&uacute;ng ta c&oacute; thể thấy rằng m&ocirc; h&igrave;nh đạt được MSE khoảng 60, RMSE khoảng 7 (đơn vị l&agrave; h&agrave;ng ngh&igrave;n đ&ocirc; la). Gi&aacute; trị khoảng 26 sau đ&oacute; được dự đo&aacute;n cho một v&iacute; dụ
<pre class="language-python"><code>(339, 13) (167, 13) (339,) (167,)
MSE: 60.751, RMSE: 7.794
Predicted: 26.983</code></pre>
<a href="https://tek4.vn/phat-trien-mo-hinh-mang-neural-tich-chap-keras-co-ban/" target="_blank" rel="noopener">B&agrave;i viết tiếp theo: Ph&aacute;t triển c&aacute;c m&ocirc; h&igrave;nh mạng nơ ron t&iacute;ch chập</a>
<hr />
Fanpage Facebook:&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a>&nbsp;
Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a>

Admin

Phát Triển Các Mô Hình Multilayer Perceptron – Keras Cơ Bản

Cùng tác giả

Admin

Có liên quan