<blockquote>
<p style="text-align: justify;">Biểu tượng cảm x&uacute;c l&agrave; một c&aacute;ch để thể hiện c&aacute;c t&iacute;n hiệu phi ng&ocirc;n ngữ, những t&iacute;n hiệu n&agrave;y l&agrave; một phần thiết yếu của c&aacute;c cuộc tr&ograve; chuyện.&nbsp;Với những tiến bộ trong computer vision v&agrave; deep learning, giờ đ&acirc;y c&oacute; thể ph&aacute;t hiện cảm x&uacute;c của con người từ h&igrave;nh ảnh. Trong project n&agrave;y, h&atilde;y c&ugrave;ng<a href="https://tek4.vn/" target="_blank" rel="noopener"> tek4.vn</a> học c&aacute;ch x&acirc;y dựng một model để tự tạo biểu tượng cảm x&uacute;c cho ri&ecirc;ng m&igrave;nh. Ch&uacute;ng ta sẽ thực hiện ph&acirc;n loại c&aacute;c biểu hiện tr&ecirc;n khu&ocirc;n mặt của con người để lọc v&agrave; map với c&aacute;c biểu tượng cảm x&uacute;c tương ứng.</p>
</blockquote>
<h3 class="fittexted_for_content_h3" style="text-align: justify;">Giới thiệu về Dataset</h3>
<p style="text-align: justify;">Bộ dữ liệu sử dụng trong b&agrave;i n&agrave;y l&agrave;&nbsp;FER2013 dataset ( facial expression recognition),&nbsp;bao gồm c&aacute;c h&igrave;nh ảnh khu&ocirc;n mặt thang độ x&aacute;m c&oacute; k&iacute;ch thước&nbsp;48x48 pixel.&nbsp;Bộ dữ liệu n&agrave;y bao gồm c&aacute;c cảm x&uacute;c tr&ecirc;n khu&ocirc;n mặt thuộc c&aacute;c loại sau:</p>
<ul style="text-align: justify;">
<li>0:angry</li>
<li>1:disgust</li>
<li>2:feat</li>
<li>3:happy</li>
<li>4:sad</li>
<li>5:surprise</li>
<li>6:natural</li>
</ul>
<p style="text-align: justify;"><strong>Tải xuống Dataset:</strong>&nbsp;<a href="https://www.kaggle.com/msambare/fer2013" target="_blank" rel="noopener">Facial Expression Recognition Dataset</a></p>
<p style="text-align: justify;"><strong>Tải xuống Source code:</strong> <a href="https://drive.google.com/drive/folders/18sCa2bWXdsQXFMtlmAYJ_do56I2V40Yq?usp=sharing" target="_blank" rel="noopener">Tại Đ&acirc;y</a></p>
<h3 style="text-align: justify;">X&acirc;y Dựng M&ocirc; H&igrave;nh</h3>
<p style="text-align: justify;">Ch&uacute;ng ta sẽ x&acirc;y dựng một m&ocirc; h&igrave;nh Deep learning để ph&acirc;n loại biểu cảm khu&ocirc;n mặt từ c&aacute;c h&igrave;nh ảnh. Sau đ&oacute;, sẽ &aacute;nh xạ cảm x&uacute;c được ph&acirc;n loại th&agrave;nh biểu tượng cảm x&uacute;c hoặc h&igrave;nh đại diện.</p>
<p style="text-align: justify;">C&aacute;c bước dưới đ&acirc;y sẽ x&acirc;y dựng kiến ​​tr&uacute;c mạng nơ-ron t&iacute;ch chập (CNN) v&agrave; training m&ocirc; h&igrave;nh tr&ecirc;n tập dữ liệu FER2013 để nhận dạng cảm x&uacute;c từ h&igrave;nh ảnh.</p>
<p style="text-align: justify;">Sau khi tải xuống tập dữ liệu v&agrave; source code h&atilde;y giải n&eacute;n ch&uacute;ng trong c&ugrave;ng một thư mục như h&igrave;nh dưới đ&acirc;y:</p>
<p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://old.tek4.vn/wp-content/uploads/2020/11/Capture-56.png" alt="" width="700" height="307" /></p>
<p style="text-align: justify;">Tạo 1 file<em><strong> train.py</strong></em> v&agrave; l&agrave;m theo c&aacute;c bước dưới đ&acirc;y để x&acirc;y dựng m&ocirc; h&igrave;nh</p>
<h4 style="text-align: justify;">Bước 1: import c&aacute;c thư viện cần thiết</h4>
<pre><code class="python">import numpy as np
import cv2

from keras.emotion_models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D
from keras.optimizers import Adam
from keras.layers import MaxPooling2D
from keras.preprocessing.image import ImageDataGenerator</code></pre>
<h4 style="text-align: justify;">Bước 2: Khởi tạo m&ocirc; h&igrave;nh training v&agrave;&nbsp;validation</h4>
<pre><code class="python">train_dir = 'data/train'
val_dir = 'data/test'
train_datagen = ImageDataGenerator(rescale=1./255)
val_datagen = ImageDataGenerator(rescale=1./255)

train_generator = train_datagen.flow_from_directory(
        train_dir,
        target_size=(48,48),
        batch_size=64,
        color_mode="gray_framescale",
        class_mode='categorical')

validation_generator = val_datagen.flow_from_directory(
        val_dir,
        target_size=(48,48),
        batch_size=64,
        color_mode="gray_framescale",
        class_mode='categorical')</code></pre>
<h4 style="text-align: justify;">&nbsp;Bước 3: X&acirc;y dựng kiến tr&uacute;c mạng t&iacute;ch chập (CNN)</h4>
<pre><code class="python">emotion_model = Sequential()

emotion_model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(48,48,1)))
emotion_model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
emotion_model.add(MaxPooling2D(pool_size=(2, 2)))
emotion_model.add(Dropout(0.25))

emotion_model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
emotion_model.add(MaxPooling2D(pool_size=(2, 2)))
emotion_model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
emotion_model.add(MaxPooling2D(pool_size=(2, 2)))
emotion_model.add(Dropout(0.25))

emotion_model.add(Flatten())
emotion_model.add(Dense(1024, activation='relu'))
emotion_model.add(Dropout(0.5))
emotion_model.add(Dense(7, activation='softmax'))</code></pre>
<h4 style="text-align: justify;">Bước 4: Training m&ocirc; h&igrave;nh</h4>
<pre><code class="python">emotion_model.compile(loss='categorical_crossentropy',optimizer=Adam(lr=0.0001, decay=1e-6),metrics=['accuracy'])

emotion_model_info = emotion_model.fit_generator(
        train_generator,
        steps_per_epoch=28709 // 64,
        epochs=50,
        validation_data=validation_generator,
        validation_steps=7178 // 64)</code></pre>
<h4 style="text-align: justify;">&nbsp;Bước 5: Lưu lại c&aacute;c trọng số của m&ocirc; h&igrave;nh</h4>
<pre><code class="python">emotion_model.save_weights('model.h5')</code></pre>
<h4 style="text-align: justify;">&nbsp;Bước 6:&nbsp;Sử dụng openCV haarcascade xml ph&aacute;t hiện c&aacute;c khu&ocirc;n mặt trong webcam v&agrave; dự đo&aacute;n cảm x&uacute;c</h4>
<pre><code class="python">cv2.ocl.setUseOpenCL(False)

emotion_dict = {0: "Angry", 1: "Disgusted", 2: "Fearful", 3: "Happy", 4: "Neutral", 5: "Sad", 6: "Surprised"}

cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()
    if not ret:
        break
    bounding_box = cv2.CascadeClassifier('/home/shivam/.local/lib/python3.6/site-packages/cv2/data/haarcascade_frontalface_default.xml')
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2gray_frame)
    num_faces = bounding_box.detectMultiScale(gray_frame,scaleFactor=1.3, minNeighbors=5)

    for (x, y, w, h) in num_faces:
        cv2.rectangle(frame, (x, y-50), (x+w, y+h+10), (255, 0, 0), 2)
        roi_gray_frame = gray_frame[y:y + h, x:x + w]
        cropped_img = np.expand_dims(np.expand_dims(cv2.resize(roi_gray_frame, (48, 48)), -1), 0)
        emotion_prediction = emotion_model.predict(cropped_img)
        maxindex = int(np.argmax(emotion_prediction))
        cv2.putText(frame, emotion_dict[maxindex], (x+20, y-60), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2, cv2.LINE_AA)

    cv2.imshow('Video', cv2.resize(frame,(1200,860),interpolation = cv2.INTER_CUBIC))
    if cv2.waitKey(1) &amp; 0xFF == ord('q'):
cap.release()
cv2.destroyAllWindows()
    break</code></pre>
<h3 style="text-align: justify;">&nbsp;Code Giao Diện Người D&ugrave;ng v&agrave; Mapping với c&aacute;c emoji</h3>
<p style="text-align: justify;">Trong thư mục source code bạn giải n&eacute;n c&oacute; thư mục emoji chứa c&aacute;c h&igrave;nh ảnh tương ứng với c&aacute;c biểu tượng cảm x&uacute;c trong tập dữ liệu.</p>
<p style="text-align: justify;">Tạo một file <em><strong>gui.py</strong></em> v&agrave; sao ch&eacute;p đoạn m&atilde; dưới đ&acirc;y v&agrave;o</p>
<pre><code class="python">import tkinter as tk
from tkinter import *
import cv2
from PIL import Image, ImageTk
import os
import numpy as np
import cv2
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D
from keras.optimizers import Adam
from keras.layers import MaxPooling2D
from keras.preprocessing.image import ImageDataGenerator

emotion_model = Sequential()

emotion_model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(48,48,1)))
emotion_model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
emotion_model.add(MaxPooling2D(pool_size=(2, 2)))
emotion_model.add(Dropout(0.25))

emotion_model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
emotion_model.add(MaxPooling2D(pool_size=(2, 2)))
emotion_model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
emotion_model.add(MaxPooling2D(pool_size=(2, 2)))
emotion_model.add(Dropout(0.25))

emotion_model.add(Flatten())
emotion_model.add(Dense(1024, activation='relu'))
emotion_model.add(Dropout(0.5))
emotion_model.add(Dense(7, activation='softmax'))
emotion_model.load_weights('model.h5')

cv2.ocl.setUseOpenCL(False)

emotion_dict = {0: "   Angry   ", 1: "Disgusted", 2: "  Fearful  ", 3: "   Happy   ", 4: "  Neutral  ", 5: "    Sad    ", 6: "Surprised"}


emoji_dist={0:"./emojis/angry.png",2:"./emojis/disgusted.png",2:"./emojis/fearful.png",3:"./emojis/happy.png",4:"./emojis/neutral.png",5:"./emojis/sad.png",6:"./emojis/surpriced.png"}

global last_frame1                                    
last_frame1 = np.zeros((480, 640, 3), dtype=np.uint8)
global cap1
show_text=[0]
def show_vid():      
    cap1 = cv2.VideoCapture(0)                                 
    if not cap1.isOpened():                             
        print("cant open the camera1")
    flag1, frame1 = cap1.read()
    frame1 = cv2.resize(frame1,(600,500))

    bounding_box = cv2.CascadeClassifier('/home/shivam/.local/lib/python3.6/site-packages/cv2/data/haarcascade_frontalface_default.xml')
    gray_frame = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
    num_faces = bounding_box.detectMultiScale(gray_frame,scaleFactor=1.3, minNeighbors=5)

    for (x, y, w, h) in num_faces:
        cv2.rectangle(frame1, (x, y-50), (x+w, y+h+10), (255, 0, 0), 2)
        roi_gray_frame = gray_frame[y:y + h, x:x + w]
        cropped_img = np.expand_dims(np.expand_dims(cv2.resize(roi_gray_frame, (48, 48)), -1), 0)
        prediction = emotion_model.predict(cropped_img)
        
        maxindex = int(np.argmax(prediction))
        cv2.putText(frame1, emotion_dict[maxindex], (x+20, y-60), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2, cv2.LINE_AA)
        show_text[0]=maxindex
    if flag1 is None:
        print ("Major error!")
    elif flag1:
        global last_frame1
        last_frame1 = frame1.copy()
        pic = cv2.cvtColor(last_frame1, cv2.COLOR_BGR2RGB)     
        img = Image.fromarray(pic)
        imgtk = ImageTk.PhotoImage(image=img)
        lmain.imgtk = imgtk
        lmain.configure(image=imgtk)
        lmain.after(10, show_vid)
    if cv2.waitKey(1) &amp; 0xFF == ord('q'):
        exit()


def show_vid2():
    frame2=cv2.imread(emoji_dist[show_text[0]])
    pic2=cv2.cvtColor(frame2,cv2.COLOR_BGR2RGB)
    img2=Image.fromarray(frame2)
    imgtk2=ImageTk.PhotoImage(image=img2)
    lmain2.imgtk2=imgtk2
    lmain3.configure(text=emotion_dict[show_text[0]],font=('arial',45,'bold'))
    
    lmain2.configure(image=imgtk2)
    lmain2.after(10, show_vid2)

if __name__ == '__main__':
    root=tk.Tk()   
    img = ImageTk.PhotoImage(Image.open("logo.png"))
    heading = Label(root,image=img,bg='black')
    
    heading.pack() 
    heading2=Label(root,text="Photo to Emoji",pady=20, font=('arial',45,'bold'),bg='black',fg='#CDCDCD')                                 
    
    heading2.pack()
    lmain = tk.Label(master=root,padx=50,bd=10)
    lmain2 = tk.Label(master=root,bd=10)

    lmain3=tk.Label(master=root,bd=10,fg="#CDCDCD",bg='black')
    lmain.pack(side=LEFT)
    lmain.place(x=50,y=250)
    lmain3.pack()
    lmain3.place(x=960,y=250)
    lmain2.pack(side=RIGHT)
    lmain2.place(x=900,y=350)
    


    root.title("Photo To Emoji")            
    root.geometry("1400x900+100+10") 
    root['bg']='black'
    exitbutton = Button(root, text='Quit',fg="red",command=root.destroy,font=('arial',25,'bold')).pack(side = BOTTOM)
    show_vid()
    show_vid2()
    root.mainloop()</code></pre>
<h3 style="text-align: justify;">&nbsp;Kết Luận</h3>
<p style="text-align: justify;">Trong project n&agrave;y ch&uacute;ng ta đ&atilde; x&acirc;y dựng được một mạng CNN c&oacute; thể nhận biết được cảm x&uacute;c tr&ecirc;n gương mặt. Sử dụng&nbsp;openCV haarcascade xml để nhận biết c&aacute;c khu&ocirc;n mặt th&ocirc;ng qua webcam, từ đ&oacute; đưa v&agrave;o m&ocirc; h&igrave;nh để ph&acirc;n loại cảm x&uacute;c.&nbsp;Hi vọng bạn th&agrave;nh c&ocirc;ng với project n&agrave;y, h&atilde;y tiếp tục truy cập v&agrave;o&nbsp;<a href="https://tek4.vn/" target="_blank" rel="noopener">Tek4.vn</a>&nbsp;để thực h&agrave;nh c&aacute;c project về Deep Learning th&uacute; vị kh&aacute;c nh&eacute;!</p>
<p>&nbsp;</p>
<div class="ant-row">
<div class="ant-col ant-col-24">
<div class="content--html line-numbers">
<div><hr />
<p style="text-align: center;"><em><strong>Fanpage Facebook:</strong>&nbsp;<a href="https://www.facebook.com/tek4.vn/">TEK4.VN</a></em>&nbsp;</p>
<p style="text-align: center;"><em><strong>Tham gia cộng đồng để chia sẻ, trao đổi v&agrave; thảo luận:</strong>&nbsp;<a href="https://www.facebook.com/groups/tek4.vn/">TEK4.VN - Học Lập Tr&igrave;nh Miễn Ph&iacute;</a></em></p>
</div>
</div>
</div>
</div>

Admin

Tạo Biểu Tượng Cảm Xúc Của Riêng Bạn Với Deep Learning

Cùng tác giả

Admin

Có liên quan