教育娛樂伴侶服務機器人

本研究計畫之主要目的在發展一智慧型服務機器人，兼具家庭夥伴(Robot mate)與家庭幫傭(Robot maid)的特性。一方面它具有容易使用的人機介面，可接受家庭中成員的命令，產生多媒體呈現的親善功能。另外一方面也可以被賦予清潔及家庭保全方面的服務性工作。

機器人定位

超音波定位與地圖建構

立體視覺結果

視覺追蹤

Table 1 不同Tracker的以及不同影片比較結果。HDT 是我們所用的tracker

上方是影片 Board 的第7569 和661 的frame 下方是影片Lemming 的第16540 和1000的frame圖中的黃色框框就是我們的演算法

手勢辨識

利用影像處理，透過手指骨骼的計算，來辨識手勢。在影像處理中，利用濾膚色、距離轉換和八邊形近似法，來繪製出手指的骨骼，並且計算且辨識。下面顯示的圖一為手指骨骼辨識器的流程圖，圖二為辨識結果。

藉由SVM分類的辨識器

利用lib-svm，藉由svm分類器來將影像分類，並且做辨識。在偵測到的影像中找尋特徵點，將特徵點進行分類，建立一個模組。如此一來，當未知的影像輸入時，可以辨識到影像中的手勢為何。圖三為SVM分類的辨識器的流程圖，圖四為辨識的結果圖。

結合辨識器

透過CAR公式，將上述兩種不同型式的辨識器結合所結合出的辨識器。能相互彌補缺點，互相改進，提高辨識的準確度。圖五為結合辨識器的辨識結果。

表情辨識

多人臉部的表情及由此多人表情感受此時的環境氛圍之辨識系統，智慧型機器人利用視覺影像系統取得環境中的影像瞭解氛圍並與人們產生互動。利用主動外觀模型(Active Appearance Models, AAM)來追蹤使用者的臉部特徵，並利用使用者的臉部特徵資訊去判斷臉部表情，在表情辨識系統中，我們主要結合兩方法來萃取臉部特徵，分別是特徵向量與主動外觀模型的差異量的方法，利用這些特徵與各表情間的相對關係來辨識表情。此外，我們將單人的表情辨識發展成在一個環境中能夠同時辨識多人情緒的氛圍偵測系統，藉此來得知此環境中氛圍為何，使機器人能理解人，並且不單只透過滑鼠或者鍵盤所下達命令，藉由這些臉部特徵的資訊，機器人便可以輕鬆的偵測環境中大部份人們的情緒變化，並據此做出適當的回應，達到人機互動的目的。

影像特徵的萃取Image Features and Descriptors

下圖為AAM model instance，並說明了 DAF比起AAM的feature 有較高的辨別效果。

表情辨識Algorithm of Facial Expression Recognition

AAM則是利用分離資料圖庫中人臉的texture及shape，分別當成向量，由PCA演算法得出eigenvectors，然後再藉由一連串的iteration來調整重組這些eigenvectors的比重。

因此人臉可藉由將eigen shape 與eigen texture利用線性組合表示，如上圖。

表情辨識系統主要結合兩方法: Feature Vectors based Approach (FVA)與Differential-AAM Features based Approach (DAFA)。FVA分析臉部特徵點的幾何距離與比例，DAFA在manifold space 中分析differential-AAM features而此特徵包含光影與臉部紋路等等。經由fusion後，可以得到較高的辨識率。下圖為主要的流程圖及實驗結果。