使用 CNN 進行面部情緒識別

2023-05-18 18:40:11 編輯： robot

導讀面部表情是人類之間交流的重要方式。在人工智能研究中，深度學習技術已成爲增強人機交互的強大工具。心理學中面部表情和情緒的分析和評估涉及評估預測個人或群體情緒的決定。本研究旨在开發一種能夠使用卷積神...

面部表情是人類之間交流的重要方式。

在人工智能研究中，深度學習技術已成爲增強人機交互的強大工具。心理學中面部表情和情緒的分析和評估涉及評估預測個人或群體情緒的決定。

本研究旨在开發一種能夠使用卷積神經網絡（CNN）算法和特徵提取技術預測和分類面部情緒的系統。

該過程包括三個主要階段：數據預處理、面部特徵提取和面部情緒分類。通過採用卷積神經網絡（CNN）算法，系統准確預測面部表情，成功率爲62.66%。

該算法的性能使用FER2013數據庫進行評估，該數據庫是一個公开可用的數據集，包含35，887張48x48灰度面部圖像，每張圖像代表一種不同的情緒。

現在讓我們從編碼开始。

!pip install scikit-plot

此代碼使用 pip 安裝 scikit-plot 包，pip 是一個 Python 包，提供了一系列有用的工具來可視化機器學習模型的性能。

具體來說，scikit-plot提供了多種函數來生成模型評估中使用的常見圖，例如ROC曲线，精度召回率曲线，混淆矩陣等。

在Python環境中執行命令“！pip install scikit-plot”後，你應該能夠在代碼中導入和使用scikit-plot函數。

import pandas as pd

import numpy as np

import scikitplot

import random

import seaborn as sns

import keras

import os

from matplotlib import pyplot

import matplotlib.pyplot as plt

import tensorflow as tf

from tensorflow.keras.utils import to_categorical

import warnings

from tensorflow.keras.models import Sequential

from keras.callbacks import EarlyStopping

from keras import regularizers

from keras.callbacks import ModelCheckpoint,EarlyStopping

from tensorflow.keras.optimizers import Adam,RMSprop,SGD,Adamax

from keras.preprocessing.image import ImageDataGenerator,load_img

from keras.utils.vis_utils import plot_model

from keras.layers import Conv2D, MaxPool2D, Flatten,Dense,Dropout,BatchNormalization,MaxPooling2D,Activation,Input

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

warnings.simplefilter("ignore")

from keras.models import Model

from sklearn.model_selection import train_test_split

from sklearn.metrics import accuracy_score

from keras.regularizers import l1, l2

import plotly.express as px

from matplotlib import pyplot as plt

from sklearn.metrics import confusion_matrix

from sklearn.metrics import classification_report

該代碼導入機器學習和深度學習任務中常用的各種 Python 庫和模塊。

這些庫包括pandas，numpy，scikit-plot，random，seaborn，keras，os，matplotlib，tensorflow和scikit-learn。

每個 import 語句導入一組執行機器學習或深度學習任務所需的特定工具或函數，例如數據操作、數據可視化、模型構建和性能評估。

總體而言，此代碼准備了執行各種機器學習和深度學習任務（如數據預處理、模型訓練和模型評估）所需的必要工具和模塊。

從這裏下載代碼：http://onepagecode.s3-website-us-east-1.amazonaws.com/

加載數據集data = pd.read_csv("/input/fer2013/fer2013.csv")

data.shape

此代碼使用 pandas 的read_csv()函數讀取名爲“fer2013.csv”的 CSV 文件，該文件位於“/input/fer2013/“ 目錄，並將生成的數據幀分配給名爲data的變量。

然後，在數據幀上調用shape屬性以檢索其維度，這將返回表單的元組。這行代碼將輸出數據幀data中的行數和列數(rows, columns)。

data.isnull().sum()

此代碼將返回數據幀data的每一列中所有缺失值的總和。

數據幀的isnull()方法返回一個布爾數據幀，該幀指示原始數據幀中的每個元素是否丟失。然後將sum()方法應用於此布爾數據幀，該幀返回每列中缺失值的總和。

這是檢查數據幀中是否存在任何缺失值的快速方法。如果存在缺失值，則可能需要在將數據用於建模之前插補或刪除這些值。

data.head()

此代碼將返回數據幀data的前 5 行。

數據幀的head()方法返回數據幀的前n行（默認情況下爲n=5 ）。這是快速瀏覽數據幀中的數據的有用方法，尤其是在處理大型數據集時。

輸出將顯示數據幀data的前 5 行，其中可能包括列名稱和前幾行數據，具體取決於數據幀的結構。

數據頭的輸出

數據預處理CLASS_LABELS = ['Anger', 'Disgust', 'Fear', 'Happy', 'Neutral', 'Sadness', "Surprise"]

fig = px.bar(x = CLASS_LABELS,

y = [list(data['emotion']).count(i) for i in np.unique(data['emotion'])] ,

color = np.unique(data['emotion']) ,

color_continuous_scale="Emrld")

fig.update_xaxes(title="Emotions")

fig.update_yaxes(title = "Number of Images")

fig.update_layout(showlegend = True,

title = {

'text': 'Train Data Distribution ',

'y':0.95,

'x':0.5,

'xanchor': 'center',

'yanchor': 'top'})

fig.show()

此代碼使用 Plotly Express 庫創建條形圖，該條形圖顯示數據幀data中情緒的分布。

首先，在CLASS_LABELS中定義一個類標籤列表，它對應於數據集中的不同情緒。

然後，調用px.bar()函數，其中 x 軸表示類標籤，y 軸表示每個情緒的圖像數量。顏色參數設置爲不同的情感類，color_continuous_scale參數設置爲“Emrld”，這是 Plotly Express 中預定義的色階。

接下來，調用各種update_方法來修改繪圖的布局和外觀。例如，update_xaxes()和update_yaxes()用於分別設置 x 軸和 y 軸標題。 update_layout()用於設置打印標題及其位置。

最後，在圖形對象上調用show()方法以顯示繪圖。

輸出將顯示一個條形圖，該條形圖顯示數據幀data中每個情緒的圖像數，每個情緒根據指定的色階進行顏色編碼。

隨機打亂數據data = data.sample(frac=1)

DataFrame 的sample()方法用於隨機採樣數據幀中行的一小部分，並指定frac要返回的行部分（在本例中爲 frac=1，這意味着將返回所有行）。當frac=1時，sample()方法有效地對數據幀中的行進行洗牌。

這是機器學習和深度學習任務中的常見操作，隨機打亂數據以防止在數據具有任何固有順序或結構時可能引入的任何偏差非常重要。

One Hot編碼labels = to_categorical(data[['emotion']], num_classes=7)

輸出是一個形狀爲(n_samples, n_classes)的 numpy 數組，其中：

n_samples是數據幀中的樣本數n_classes是數據中唯一類的數量（在本例中爲 7）數組data的每一行表示數據幀中單個樣本的One Hot編碼標籤。train_pixels = data["pixels"].astype(str).str.split(" ").tolist()

train_pixels = np.uint8(train_pixels)

此代碼對數據DataFrame的像素列中的像素值進行預處理。

首先，astype()方法用於將pixels列轉換爲字符串數據類型，這允許在列的每一行上調用split()方法。

接下來，對pixels列的每一行調用split()方法，以將像素值拆分爲字符串列表。然後使用tolist()將生成的列表轉換爲 numpy 數組。

最後，對 numpy 數組調用np.uint8()，將像素值從字符串轉換爲無符號 8 位整數，這是通常用於表示圖像像素值的數據類型。

輸出是一個形狀爲(n_samples, n_pixels)的 numpy 數組，其中n_samples是數據幀中的樣本數，n_pixels是數據中每個圖像的像素數。數組data的每一行表示數據幀中單個圖像的像素值。

標准化pixels = train_pixels.reshape((35887*2304,1))

此代碼將train_pixels numpy數組從形狀的三維數組（n_samples，n_rows，n_columns）重新整形爲形狀的二維數組（n_samples*n_row，1）。

numpy數組的reshape()方法用於更改其形狀。在這種情況下，train_pixels陣列通過將其重塑爲具有一列的2D陣列而被展平。

得到的像素陣列的形狀爲（n_samples*n_rows，1），其中n_samples是DataFrame中的樣本數，n_rows是每個圖像的行數，1 表示DataFrame中每個圖像的展平像素值。陣列的每一行表示DataFrame中單個圖像的單個像素值。

scaler = StandardScaler()

pixels = scaler.fit_transform(pixels)

此代碼使用scikit learn的StandardScaler()函數將標准化應用於像素numpy數組。

StandardScaler()函數是一個預處理步驟，用於縮放數據的每個特徵（在本例中爲每個像素值），使其均值爲 0，方差爲 1。這是機器學習和深度學習任務中常用的技術，可確保每個特徵對模型的貢獻相同。

然後在像素numpy數組上調用StandardScaler()對象的fit_transform()方法，該方法計算數據的平均值和標准偏差，並相應地縮放數據。然後將得到的縮放數據分配回像素numpy數組。

輸出是一個與原始pixels數組形狀相同的 numpy 數組，但每個像素值都已標准化。

重塑數據（48，48）pixels = train_pixels.reshape((35887, 48, 48,1))

此代碼將train_pixels numpy數組從2維形狀數組（n_samples*n_rows，1）重新整形爲4維形狀陣列（n_samples，n_rows、n_columns、n_channels）。

numpy數組的reshape()方法用於更改其形狀。在這種情況下，train_pixels陣列被重塑爲具有1個通道的4D陣列。

得到的像素陣列的形狀爲（n_samples，n_rows，n_columns，n_channels），其中n_samples是DataFrame中的樣本數量，n_row是每個圖像的行數，n_column是每個圖像中的列數，n_channel表示每個圖像中顏色通道的數量。

由於原始數據集是灰度級的，因此n_channels設置爲1。像素陣列的每個元素表示DataFrame中單個灰度圖像的像素值。

訓練測試驗證拆分

現在，我們有 35887 張圖像，每張圖像包含 48x48 像素。我們將數據拆分爲訓練、測試和驗證數據，以 10% 的比例提供、評估和驗證我們的數據。

X_train, X_test, y_train, y_test = train_test_split(pixels, labels, test_size=0.1, shuffle=False)

X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.1, shuffle=False)

該代碼使用scikit-learn的train_test_split()函數將經過預處理的圖像數據像素和一個熱編碼的標籤標籤拆分爲訓練集、驗證集和測試集。

函數train_test_split()根據test_size參數將數據隨機拆分爲訓練和測試子集，test_size指定應用於測試的數據部分。在這種情況下，test_size=0.1，這意味着10%的數據將用於測試。

shuffle參數設置爲False以保留DataFrame中樣本的原始順序。

生成的X_train、X_val和X_test數組分別包含訓練集、驗證集和測試集的像素值。y_train、y_val和y_test數組包含對應集合的one hot編碼標籤。

再次使用train_test_split()將訓練集進一步拆分爲訓練集和驗證集，test_size=0.1。這將數據分成80%用於訓練，10%用於驗證，10%用於測試。

print(X_train.shape)

print(X_test.shape)

print(X_val.shape)

在將數據拆分爲訓練集、驗證集和測試集之後，這些代碼行打印X_train、X_test和X_val數組的形狀。

numpy數組的shape屬性返回數組維度的元組。在這種情況下，X_train、X_test和X_val數組的形狀將取決於每個集合中的樣本數量和每個樣本的維度。

輸出將以格式（n_samples、n_rows、n_columns、n_channel）顯示陣列的形狀，其中n_samples是集合中的樣本數，n_rows是每個圖像的行數，n_columns是每個圖像中的列數，n_channel表示每個圖像中顏色通道的數量。

在這個繪圖代碼的幫助下，我們可以看到一些包含每個類的一個樣本的訓練數據。

plt.figure(figsize=(15,23))

label_dict = {0 : 'Angry', 1 : 'Disgust', 2 : 'Fear', 3 : 'Happiness', 4 : 'Sad', 5 : 'Surprise', 6 : 'Neutral'}

i = 1

for i in range (7):

img = np.squeeze(X_train[i])

plt.subplot(1,7,i+1)

plt.imshow(img)

index = np.argmax(y_train[i])

plt.title(label_dict[index])

plt.axis('off')

i += 1

plt.show()

此代碼使用 matplotlib 的plt.subplots()函數從訓練集中創建圖像的 7x1 子圖網格。

numpy數組的scruze()方法用於從數組的形狀中刪除任何一維條目，有效地將4D數組轉換爲3D數組。

對於每個子圖，imshow()函數用於顯示相應的圖像，title()函數用來顯示相應的標籤。

axis()函數用於關閉每個子圖的軸。

輸出是訓練集中的前 7 個圖像的可視化，以及它們對應的標籤。

使用圖像數據生成器進行數據增強

我們可以進行數據增強，以獲得更多數據來訓練和驗證我們的模型，以防止過度擬合。數據增強可以在訓練集和驗證集上完成，因爲它有助於模型變得更加通用和健壯。

datagen = ImageDataGenerator( width_shift_range = 0.1,

height_shift_range = 0.1,

horizontal_flip = True,

zoom_range = 0.2)

valgen = ImageDataGenerator( width_shift_range = 0.1,

height_shift_range = 0.1,

horizontal_flip = True,

zoom_range = 0.2)

此代碼創建兩個ImageDataGenerator對象，datagen和valgen，它們將用於訓練和驗證期間的數據擴充。

ImageDataGenerator類是一個Keras預處理實用程序，可以實時執行各種類型的圖像增強，如移位、翻轉、旋轉和縮放。

datagen對象包括許多增強技術：

width_shift_range和height_shift_range分別將圖像在水平和垂直方向上隨機移動圖像寬度和高度的最大10%。horizontal_flip隨機水平翻轉圖像。zoom_range將圖像隨機縮放高達20%的倍數。

valgen對象包含與datagen相同的擴充技術，但僅在訓練期間應用於驗證集。

通過在訓練過程中應用數據擴充，模型將暴露於更大、更多樣的訓練數據集，這有助於防止過度擬合，並提高模型泛化到新數據的能力。

datagen.fit(X_train)

valgen.fit(X_val)

這幾行代碼分別將ImageDataGenerator對象datagen和valgen與訓練數據和驗證數據相匹配。

ImageDataGenerator對象的fit()方法計算執行數據擴充所需的任何內部統計信息，例如像素值的平均值和方差。在這種情況下，在datagen和valgen上調用fit()方法，並將訓練集和驗證集作爲輸入來計算這些統計數據。

將ImageDataGenerator對象擬合到數據後，可以使用它們在訓練和驗證期間實時應用數據增強。

train_generator = datagen.flow(X_train, y_train, batch_size=64)

val_generator = datagen.flow(X_val, y_val, batch_size=64)

這些代碼行創建了兩個ImageDataGenerator迭代器，train_generator和val_generator，可用於在訓練和驗證期間生成一批增強數據。

ImageDataGenerator對象的flow()方法接收輸入數據和標籤的numpy數組，並動態生成一批增強數據。

在這種情況下，使用datagen上的flow()方法創建train_generator，輸入訓練數據X_train和y_train，批量大小爲64。val_generator在valgen上使用相同的方法創建，輸入驗證數據X_val和y_val，批量大小爲64。

在訓練期間，train_generator（迭代器）將用於爲每個訓練時期動態生成一批增強數據。類似地，val_generator迭代器將用於爲每個驗證epoch生成一批增強數據。

代碼下載

http://onepagecode.s3-website-us-east-1.amazonaws.com/

設計模型卷積神經網絡（CNN）模型

CNN模型有許多層，具有不同的單元，例如卷積層，最大池化層，批量歸一化和退出層，以規範模型。

def cnn_model():

model= tf.keras.models.Sequential()

model.add(Conv2D(32, kernel_size=(3, 3), padding='same', activation='relu', input_shape=(48, 48,1)))

model.add(Conv2D(64,(3,3), padding='same', activation='relu' ))