Recognition of Facial Action Unit Based on Spatial-Temporal Bayesian Probabilistic Technique
Pengecaman Unit Tindakan muka sering digunakan sebagai kerja-kerja asas untuk mengkaji ekspresi wajah atau aplikasi pergerakan manusia seperti pemantauan video dan pengenalan muka. Unit Tindakan (AUs) bekerja sebagai unit asas dalam Sistem Kod Tindakan Muka (FACS) untuk taksonomi pergerakan muka,...
| Main Author: | |
|---|---|
| Format: | Thesis |
| Published: |
2016
|
| Subjects: | |
| Online Access: | http://eprints.usm.my/40816/ http://eprints.usm.my/40816/1/Recognition_of_Facial_Action_Unit_Based_on_Spatial%2DTemporal_Bayesian_Probabilistic_Technique.pdf |
| Summary: | Pengecaman Unit Tindakan muka sering digunakan sebagai kerja-kerja asas untuk
mengkaji ekspresi wajah atau aplikasi pergerakan manusia seperti pemantauan video
dan pengenalan muka. Unit Tindakan (AUs) bekerja sebagai unit asas dalam Sistem
Kod Tindakan Muka (FACS) untuk taksonomi pergerakan muka, yang mengaitkan setiap
AU dengan pengaktifan satu atau lebih otot muka khusus. Pembinaan sistem pengecaman
Unit Tindakan yang stabil tetap menjadi cabaran bagi penyelidik disebabkan
aksi, pencahayaan dan gabungan rumit ekspresi wajah. Sehubungan dengan itu, kerja
penyelidikan ini mencadangkan satu pendekatan kebarangkalian yang model hubungan
statik dan tempoh antara AUs dari urutan imej menggunakan Dynamic Bayesian
Network (DBN). DBN yang menggabungkan imej ukuran kepada model DBN direka
untuk menjadi satu struktur umum untuk hubungan AU. Support Vector Machine
(SVM) digunakan untuk mendapatkan ukuran AU dari pangkalan data dengan mengklasifikasikan
setiap AU daripada ciri imej. Ukuran AU tersebut kemudian digunakan
sebagai bukti kepada DBN untuk membuat kesimpulan kewujudan pelbagai AU. Kemuncak
penyelidikan ini adalah bahawa parameter AU dalam model DBN dipelajari
daripada kaedah data tidak lengkap, dengan nod AU pembolehubah tersembunyi dan
disimpulkan daripada ukuran imej secara langsung dan dimodelkan dengan cara kebarangkalian
yang dinamik. Kerja penyelidikan ini mencadangkan bahawa setiap AU
mempunyai keputusan ambang berbeza kerana sambungan yang berbeza daripada AU
dalam model dengan mencari ambang yang terbaik bagi setiap AU. Keputusan eksperimen
menunjukkan bahawa dengan membuat kesimpulan AU dari ukuran imej sebagai
model terdahulu, model yang dicadangkan mencapai keputusan yang setanding dengan
model yang dipelajari sepenuhnya daripada pangkalan data tertentu. Sistem ini
mencapai kadar pengiktirafan purata sebanyak 94.78% dengan kadar positif benar sebanyak
70.54% dan kadar penggera palsu 2.31% menggunakan pangkalan data Cohn-
Kanade (CK). Pendekatan kebarangkalian yang dicadangkan itu juga telah digunakan
untuk cabaran Pengiktirafan Ekspresi Wajah dan Analisis (FERA) yang dianjurkan
oleh Pemprosesan Isyarat Rangkaian Sosial (SSPNET) pada tahun 2011. Cabaran ini
bertujuan untuk membolehkan perbandingan yang adil di antara sistem dengan mempunyai
keperluan untuk prosedur penilaian yang seragam. Cabaran ini digunakan sebagai
penanda aras sistem ekspresi wajah di seluruh dunia. Pendekatan kebarangkalian
yang dicadangkan itu telah direka bentuk semula dengan mengikut arahan yang diberikan
oleh cabaran dan model baru dibina dan dilatih untuk cabaran FERA. Sistem
yang dicadangkan mencapai prestasi lebih baik daripada kaedah asas dalam cabaran
dan ia telah menunjukkan hasil yang setanding dengan keadaan-keadaan lain dan peserta
dalam cabaran tersebut. Metrik prestasi yang digunakan di FERA ialah ukuran F1
dan keputusan keseluruhan mencapai ukuran F1 pada 0.494 mengatasi kerja-kerja lain
termasuk satu-satunya pasukan yang menggunakan pendekatan kebarangkalian dalam
kerja mereka. Oleh itu, sistem yang dicadangkan telah memenuhi objektif kajian dengan
pembelajaran parameter dari kaedah data tidak lengkap, umum kepada pangkalan
data yang berbeza serta keadaan yang berbeza untuk bersaing dengan kerja-kerja lain
di dunia.
_________________________________________________________________________________________________________________________
Facial Action Unit recognition is often used as elementary works for facial expressions
analysis or human motions applications such as video surveillance and face
identification. Action Units (AUs) are employed as basic unit in Facial Action Coding
System (FACS) to taxonomize facial movements; by associating each AUs with
the activation of one or more specific facial muscles. A stable Action Unit recognition
system still remains a challenge for researchers due to pose, illuminations and
complicated combination of facial expression. With this regards, this research work
proposes a probabilistic approach which models spatial and temporal relationships of
AUs from image sequence using Dynamic Bayesian Network (DBN). The state-ofthe-
art DBN, which incorporates AU measurements from images to a DBN model
is designed to be a generic structure for AU relationships. Support Vector Machine
(SVM) is used to obtain AU measurements from database by classifying each AUs
from image features. Such AU measurements are then applied as evidence to the DBN
for inferring existence of various AUs. The highlight of this work is that AU parameters
in DBN model are learned from incomplete data method, where the AU nodes are
hidden variables and directly inferred from image measurements and modeled in dynamic
and probabilistic way. This research work proposed that each AUs has different
decision threshold due to different connections of AUs in the model by searching the
best threshold for each AUs. Experimental results show that by inferring AU from image measurements, the proposed model achieves comparable results to the model that
learned completely from specific database. This system achieves average recognition
rate at 94.78% with a true positive rate of 70.54% and false alarm rate of 2.31% using
Cohn-Kanade (CK) database. The proposed probabilistic approach has also been applied
to the Facial Expression Recognition and Analysis (FERA) challenge which was
hosted by the Social Signal Processing Network (SSPNET) in 2011. The challenge
aims to allow a fair comparison between systems, by having a need for standardized
evaluation procedures. This challenge is used as the benchmark of facial expression
system around the world. The proposed probabilistic approach has been redesigned to
follow the instructions given by the challenge and a new model is built and trained for
FERA challenge. The proposed probalisitic approach is proven to be applicable and
generalized to different conditions. The proposed system is compared against the baseline
system for the challenge provided by the FERA organizers. The proposed system
achieved better performance than the baseline system and achieved comparable results
with other state-of-the-art and participants in the challenge. The performance metric
used in FERA is F1-measure and the overall result achieves 0.494 for F1-measure,
outperforming other works including the one and only team which use probabilistic
approach in their work. Hence, the proposed system has met the objectives of research
by learning parameters from incomplete data method, generalized to different database
as well as different conditions to compete with other works in the world.
|
|---|