Abstract
在本篇論文中，我們提出了一套系統專門來處理某些特定的影像，這些影像的內容通常是顯示正在說話時的人類臉部動作。而在所有的動作中，我們針對人類的嘴部活動與變形加以分析處理，並產生出新的合成影像出來。 首先，我們應用一些方法，譬如邊界加強的技術，或是觀察區域色彩的變化，從連續影像中萃取出每一張影像嘴唇部分的特徵點。根據嘴唇上的特徵點，我們可以分析出一個人發音時整個嘴唇部分的移動和形狀變化。我們可以建立每一張影像中嘴唇形狀的模型，並且找出決定嘴唇模型的形狀的控制參數。 找出每一張影像中的嘴唇形狀後，我們調整我們的標準嘴唇網狀模型，利用影像扭曲的技術，使其變成形狀大小符合影像中的嘴唇形狀的個人化嘴唇網狀模型。在影像合成的階段中，我們選擇原始連續影像的第一張作為合成影像的背景圖，並從其中獲取嘴唇網狀模型的貼圖資料，然後將先前產生的每張圖的個人化嘴唇網狀模型貼到背景圖上，合成出新的連續影像。這些新的影像模擬了人類發音時嘴部的移動與變形。 最後，我們提出了一種資料壓縮的方法。我們可以將連續多張影像中每張影像的嘴唇模型控制參數，用一組方程式來代表。如此一來，我們可以減少大量的儲存空間，在網路傳輸時也需要較少的頻寬。In this thesis we describe a system which contributes to theanalysis andsynthesis of specific images containing a human headwith facial actions during speech. Among all actions we onlyconcerns the motion and deformation of the mouth of human headwithin the images. At first, we apply several techniquesincluding edge enhancement, and profileextraction in HSV colorspace, to extract the feature points on the speaker's mouth ineach frame of these images. According to these feature points,we might analyze the motion and deformation of mouth of thespeaker during speech. We also could build up the lip shapemodel for each frame of images, and might determine parametersfor controlling the shape of mouth. After the shape of lips hasbeen determined, we could adjust the generic 2-D lip mesh modelto the 2-D personalized lip mesh model within each image by thetriangle warping technique. In the step of image synthesis, wetake the first frame of the images containing a human head asbackground, obtain the texture data of lip mesh model from thisframe, and stitch the personalized lip mesh model into thebackground to generate final video sequence. The new videodisplays the simulation that the human articulates syllableswith motion anddeformation of mouth. Finally, we can estimatethe control parameters for the lip shape model in a sequence ofimages by a set of functions. The work can reduce large amountof storage and require less bandwidth in network transmission.