Abstract
在本論文中，我們提出一個基於電腦視覺下所做的手勢辨識系統來辨識六種不同的手形。這個系統包括了三個主要的模組:即時的手勢追蹤模組，手形輪廓的分離模組以及最後一個手勢辨識模組。首先，我們利用particle filtering的演算法來做手勢的追蹤，接著再利用active contours做手形輪廓的分離來將手勢的外形取出，取出來的手形我們利用Fourier Descriptor取其前23個係數當成這個手形的feature vector，再利用PCA的分析將這個特徵向量做維度的化簡，並且投影到特徵空間上，投影完的特徵向量會跟六種手勢的cluster center做比較，找出與哪一種手勢的中心距離最短，以此方法即可判斷使用者比的是哪一種手勢。這六種手勢的cluster center都是利用K-means clustering的方式得到。在實驗中我們總共辨識六種手形來測試我們的系統，而辨識率大約都在85%以上。本系統為配合科專計劃所設計的一套系統，主要是利用於醫療看護方面，可以讓殘障者或一些老人行動不方便的人來使用。透過本系統再加上一些自動控制的電路搭配，可以讓這些人控制週遭的一些電器設備，例如燈的開關、冷氣的開關、電視的頻道切換音量大小調整或是控制病床的升降等等。本論文的第一章為簡介。在第二章中，我們利用particle filtering的演算法找出手的位置並用一個方形框出手的區域，接著做這個方形區域大小的修正，使其能完全框住整個手勢與手形。在第三章中，我們先對particle filtering所框出來的手勢區域裡做膚色以及邊緣的偵測，接著再利用active contour的演算法將手勢區域裡的手形分離出來。在第四章中，我們利用Fourier Descriptor將手的形狀轉為其相對應的特徵向量，接著利用PCA的分析方式化簡特徵向量的維度。我們將所有的training data利用K-means clustering將其區分為六個cluster。當有一手勢輸入時，此手勢的特徵向量將會與六個cluster center比較，找出與其距離最短的cluster center，即可辨識出此輸入手勢為何種手勢。在第五章中，實驗結果是以解析度為256×256的全彩模式，以每秒擷取15張畫面的速度進行分析。對所提出的六種手勢做成功率的分析。另外，本實驗也與其它的一些辨識方式來做比較。在第六章中，目前這個手勢辨識系統仍然有一些限制，如何去改進並去除這些限制是我們未來努力的目標。此外，這套系統提供了做動態手勢辨識一個很好的基礎，將本系統發展並擴展成一個動態的手勢辨識系統也是我們未來的一個方向。