Abstract
手語是有意義的手勢,聾人以之為溝通的形式。但是只有極少數聽力正常 的人了解手語。因此我們需要一個手語轉換器以便能將手語和口語相互轉 換, 即在聾人和一般人之間建立溝通的管道。分析有複雜關節的物體(手) 時,主要困難在於手的二維形狀變化極大,手指和手臂的關節,有意義的手 勢和沒有意義的移動背景之間的干擾,以及關節動作的重合。為了實現一 個全理的辨識系統,我們將關節動作分析簡化為只分析隨時間變化的二維 手的形壯,及其移動的軌跡。手語是被限制在由兩隻移動的手,在不同活動 範圍所構成的手勢動作。手的不同樣子和不同移動軌跡代表不同的意義。 要翻譯手語,我們必須分析手的形狀,及追蹤其動作。為了使追蹤的演算法 能順立運用,我們因此先假設連續兩張畫面手的二維形狀變化很緩慢。以 模型為基礎的移動追蹤及分析可應用於手部特徵的萃取以及其軌跡, 然後 做為辨識手語之用。在我們這篇論文裡,我們提出一手語辨識系統。整個 系統包含手部追蹤,手形特徵萃取,模型的形成,以三維的Hopfield類神經 網路做手型比對。首先,我們以模型為基楚的移動追蹤法及加上Hausdorff 距離量測,然後將它們應用於手型的追蹤。手掌外形的特徵是以傅立葉描 述器(Fourier descriptor )表示。在我們的系統裡,我們只需用前25項的 傅立葉係數來描述各種手的形狀。在手型比對辨識部份,我們提出一種經 過修改的三維類神經網路。我們目前的手語辨識系統經實驗測試結果,總 共能有效的辨識15個手語。手語辨識這種技術可以應用在其它方面,如在 遠方控制機器手臂。如果將視訊系統連接到機器手臂,則操作者只需移動 自己的手臂即可操作機器手臂,而不需要複雜的命令。機器手臂只要追隨 操作者的手部的動作。手語辨識系統也可應用在虛擬世界,人們在虛擬世 界遊戲或工作時必須戴上某種手套,手套上有感測器可以偵測手和手指動 作的資訊以做為基本的人機介面。人和機器的互動發生在電腦視訊和圖繪 世界,機器能"看"到人的動作並產生某種反應,使用者可以用一種基本的辦 法(手或肢體語言)來要求機器追隨他的下一個命令。在未來的視訊電話 裡,我們則可應用於聾人與正常人之間的溝通。當聾人對著視訊電話打手 語時,透過手語辨識系統將手語轉成語音信號,然後傳給對方。相反的,正 常人只需對著電話講話就能翻成手語影像傳給對方看,如此便可達到溝通 的目的。