Reconnaissance de visages parlants, application à la langue Arabe

Vers des communications multimodales

L'analyse de visages est un sujet de recherche très actif puisqu'il concerne de nombreux domaines d'application tels que la sécurité, la robotique (interaction homme machine, expression des émotions), le handicap (communication par le visage),etc.

Dans ce cadre de recherches, nous avons mis en place un système de reconnaissance de visages parlants visant à améliorer la robustesse du système de compréhension et d'interprétation pragmatique de la communication homme machine multimodale CHMM par l'introduction de visèmes.

Les signaux étudiés sont des séquences monosyllabiques représentant les 28 phonèmes de la langue Arabe.

Plusieurs classifieurs ont été utilisés et une évaluation des résultats est proposée.

Notre analyse de la fusion sérielle des paramètres acoustiques, utilise les paramètres MFCC/PLP et dans le cas du visuels les paramètres DCT/DWT, on obtient ainsi des vecteurs audiovisuels,ces derniers servent comme vecteurs d’entrée au classifieur neuronal MLP ou RBF pour réaliser la reconnaissance audiovisuelle du locuteur dépendant de syllabes Arabes.

Nous avons montré que la modalité visuelle améliore fortement les résultats de la reconnaissance acoustique.