近幾年來，隨著科技藝術、互動科技，甚至3D電影、VR電影、VR擬真遊戲等等產業不斷發展，「動作捕捉（motion capture）」技術的市場不斷成長，越來越多的新解決方案推陳出新，讓企業或是開發者有各種不同的solution可以運用及參考。

根據Mordor Intelligence所公布的產業研究報告，整個動作捕捉市場以2020年作為基準點來預測，預計市值會在2026年接近翻倍 — 從2020年的1.58億美元，成長到2026年的3.11億美元！2021～2026年五年的時間，市值的年複合增長率CAGR預估將達到每年12.12%的高成長；而根據Fior Markets的研究報告，動作捕捉市場也將於2026年達到2.6億美元，年複合增長率CAGR達到8.13%。這些數據都顯示出非常高的產業成長率，也代表著整個市場的應用場景及技術越來越清晰。

圖：Mordor Intelligence針對動作捕捉產業的預估，預測2020~2025年五年時間市值將翻倍

【動作捕捉技術分類】

目前動作捕捉領域市場上，技術可以分為幾個大類型：

一、「光學式Optical」 — —

可以想像成需要由多個偵測器（例如鏡頭），全程「監看」著使用者的一舉一動來還原並呈現每一個動作。常見的光學式動作捕捉技術在執行時，會看到多個稱之為Marker的標記散落在使用者穿著的感應服裝上，用來讓感應裝置時時刻刻、不間斷的偵測這些標記點的位置，進而拼湊出每一個完整的肢體動作。其中，marker又分為自己發光的主動式和需靠反射來發亮的被動式，隨著感應服裝設計上的差異，不同類型的marker也會有各自適合的使用場景。知名的Vicon、OptiTrack等公司，都是以這個方向來進行動作捕捉產品的基礎。

圖：光學式動作捕捉方案，常會見到衣服上有多個感應marker讓裝置追蹤

二、「慣性感應式Inertial」 — —

透過穿戴稱為IMU (Inertial Measurement Units) 的微型慣性感測器，其中可能包含陀螺儀、磁量計、加速儀等儀器，來測量身體活動時各部位的速度、旋轉角度等慣性數據，再將這些數據透過電腦轉化回真實的肢體動作。鼎鼎大名的Xsens，就是利用慣性感應式穿戴設備來完成各種動作捕捉的知名案例。

圖：慣性感應式須穿戴IMU感測器在各個活動的部位上，透過感測慣性來還原動作

三、「非接觸式」 — —

不穿戴任何設備或任何感應裝置，單純透過具影像辨識功能的硬體來直接拍攝並透過運算還原真實肢體動作。目前非接觸式的硬體不斷在進步，包含從過去到現在都常被使用的Kinect、不斷進步的iPhone iOS ARKit Motion Capture應用等等，雖然在感應精細程度上還有優化的空間，但是非接觸式動作捕捉算是其中一種最方便、最快速的解決方案。

圖：透過iOS ARKit Motion Capture應用，實際執行動作捕捉demo

除了以上這些個別的技術類型，當然也有混合型(Hybrid) 的解決方案，常會結合光學式及慣性感應式的長處，推出自己的混合型方案，像是Vive推出的Vive Tracker就是最好的例子，vive tracker可以作為輕量型光學式偵測與非接觸式或慣性式裝備結合，提高這兩者個準確度。

【角色模型建置】

等等！

動作捕捉只是捕捉「真人」操作所讀取到的肢體、表情等不同的「動作」，那麼這些動作是要由什麼東西來呈現呢？這個問題就牽扯到一個動作捕捉前的事前作業 — — 「模型建置」了！

一般來說，模型我們會依照精細程度、真實程度分為兩大類：

• 「寫實模型」：盡可能接近真人樣貌的精細、真實模型
• 「卡通模型」：偏向卡通風格，像是可愛吉祥物、Ｑ版腳色等的模型

雖然兩種模型都需要經過相似的3D建模製作步驟，後續套用動作捕捉資料到角色模型上的時候步驟也相差不多，但是兩種類型的模型最大差異在於，最終呈現在觀眾眼前時，觀眾的心理感受的恐怖谷效應是兩極化的不同。需要注意的是動作捕捉能細節要求程度可以說是天差地遠了！

首先，寫實模型在動作捕捉過程中，最重要的就是要讓整個模型（角色）的表情、細節肢體動作等等，都可以非常細膩的讓觀賞者清楚地看到，包含角色臉部面部栩栩如生的變化、喜度哀樂等情緒波動的小細節，都要能夠詳實呈現，而肢體動作的靈巧、細節變化，像是手指的動作、腳踝的彎曲等等，也必須得要更精細、準確，才能真的傳遞出「類似真人」的感受！否則，整個模型製作即便再怎麼樣真實，一旦到了動作捕捉呈現的階段，也會整個破功，觀賞者在觀看時會覺得角色有著滿滿的怪異違和感。而卡通模型，其實表情細節其實不需要到99.99%的精細程度，反倒是需要注重肢體大動作的完整捕捉。因為當我們選擇使用卡通方向的角色，通常製作者都是其網角色表現出更誇張的表演效果，如果在角色大揮舞、跳舞的時候，整個motion capture的姿勢不連貫，那就太可惜了。

圖：左邊的「寫實模型」與右邊的「卡通模型」，在動作捕捉時最需注重的細節不完全相同

【CameoCapture 的緣起】

卡米爾CAMEO是一個立基台灣、放眼全球的團隊，我們的內部分為三個大相徑庭卻又互相支援的team，各自專精三個不同的領域：於科技藝術、人工智慧、及體驗設計。

2018年中，卡米爾的科技藝術TechArt團隊，深深感受到動作捕捉市場的巨大潛力，同時也有幸承接到國立臺灣交響樂團的「交響樂沉浸式互動劇場建置」專案，我們便運用既有的資源投入於動作捕捉的技術整合和驗證，成功的為國立臺灣交響樂團建置出了一套運用在沉浸互動劇場中的「即時動作捕捉展演系統」，同時也產品化開發出了CameoCapture Beta版本的測試程式。執行結束後，整個互動劇場及動作捕捉的作品，也有幸入圍2020年 Siggraph 2020 Immersive Theater的獎項競賽！

國立臺灣交響樂團「交響樂沉浸式互動劇場建置」專案，從故事腳本、沉浸劇場、教育意涵、到即時動作捕捉系統等等，皆由卡米爾執行製作：https://youtu.be/qSpzG1dzs0I

圖：卡米爾CAMEO團隊，分別在科技藝術、人工智慧、體驗設計領域皆有所著墨

卡米爾團隊所設計的「即時動作捕捉劇場」，能夠讓真實真人演員透過穿戴動作捕捉設備扮演劇場內的虛擬角色，直接即時live的在幕後與前台的在觀賞「音樂魔法森林」沉浸劇場的觀眾們進行全即時互動。由於在這次的應用場景中，我們使用的模型是「卡通模型」類型的吉祥物造型，相較於極度精細的表情，更重要的是肢體動作的捕捉，因此硬體上我們採用非接觸式的感應設備 — — 利用兩台iOS系統設備，各自分別拍攝人臉表情及全身肢體動作，來讓吉祥物與演員的動作同步。而這也就是CameoCapture系統的Beta版本。

圖：團隊為國立臺灣交響樂團建置即時動作捕捉劇場，整合出了CameoCapture Beta

CameoCapture Beta Version利用iOS系統及Unity引擎，創造出可以隨時置換模型的骨架系統，直接匯入製作好的模型後，就能直接在展演系統上套用不同的角色做互動展示，對於使用者來說最大的優勢就是快、方便以及即時。可以演員容易又快速的穿戴好設備，進入演出前的準備只需要三十分鐘以內即可完成。

圖：運用骨架Retargeting系統，匯入不同的模型後也能即時透過展演系統來進行互動展示

圖：使用者的使用情境說明圖

【CameoCapture 的更迭及亮點】

卡米爾團隊在2019做了許多先進技術研發，我們希望動作捕捉前所匯入的模型，除了可愛的「卡通模型」之外，也能跨足到真人「寫實模型」的讀取系統。然而為了達到真實人類演員跟動畫虛擬角色即時在劇場當中展現的串連，我們團隊花了相當多的苦工。

由於前面提到，「寫實模型」在動作捕捉時，最需要重視的點就是全部細節、表情、小動作等等都需要清楚捕捉到，因此我們第一個碰到的難題就是：動作捕捉的現有技術價格都好高！由於需要很精細，我們當時的第一選項是選擇慣性感應的穿戴式設備，但是一套軟硬體整合好的現有solution就需要動輒數百萬的初期投資經費！因此，團隊希望透過 Cameo Capture Beta版本之後迭代的研發，可以把價格以及技術難度下降，但同時又要能保有足夠的互動精細度，絕對不能因為選用便宜、方便的硬體而讓效果看起來不真實、不精細。

第二個問題，是當我們很有效率地即將發展出Cameo Capture v1.0的測試版本時，我們發現目前現有技術下，一個精細「寫實模型」的製作時間太長，導致即便Cameo Capture的發展方向往「快速」、「輕便」、「高效率」去執行，但模型製作的時程已經遠遠跟不上了。也因此，卡米爾TechArt團隊兵分兩路，一部份進行Cameo Capture v1.0的撰寫，另一部份則轉往卡米爾數字人類Digital Human的「高效益模型」研究開發。

最終，在2021年初，Cameo Capture v1.0正式完成。Cameo Capture不是一套單純的動作＆影像捕捉系統，而是一套從真人3D掃描、互動式數字人類模型建置，到真人演員操作的完整SOP。那麼Cameo Capture的亮點是什麼呢？

高效益模型：指單一模型不但精細接近真人，但同時又不會花費大量時間與巨量金額製作的模型。

• 第一，卡米爾數字人類技術：快速、方便、極高效率的模型建置 — — 根據統計，目前全世界市面上一般「寫實數字人類模型」從無到有的製作時間大約需要三週左右才能完成，在我們整合了各種不同的技術解決方案後，透過卡米爾數字人類，一個精細模型的製作時程可以縮減到三天便能完成。大幅度縮短模型製作時間，降低86%！
• 第二，Cameo Capture動作捕捉系統，不需穿戴複雜的設備，輕鬆又便利的便可以將數字人類技術產出的「寫實模型」，以及Ｑ版角色的「卡通模型」，一併匯入到系統內，進行動作捕捉影片的拍攝。

圖：SOP應用在真實案例中的使用歷程

運用Cameo Capture v1.0，我們也從頭到尾成功拍攝出了一支完整的VR電影，臺灣歷史博物館的「一八九五・臺北圍城」。故事中的主角阿港，就是透過卡米爾數字人類技術，找來小朋友擔任模特兒真實還原成為「寫實模型」後，再由演員直接操作來透過動作捕捉錄製阿港的在故事中的一舉一動。

圖：「一八九五・臺北圍城」真實拍攝畫面及角色動作對照

【結語】

卡米爾團隊藉由開發Cameo Capture這套完整的動作捕捉解決方案的過程，也深深地對動作捕捉技術和應用有了更大的熱情和經驗。我們認為Cameo Capture會是一個在往後幾年動作捕捉產業大成長的市場下，有著一定使用亮點的解決方案！不但可以大幅度降低使用者製作模型的時間，整個模型的匯入及動作捕捉DIY的難易度也都大幅度降低，這對於不論是vTuber產業、網紅媒體產業、個人創作者等，都會是一個很大的亮點。

後續，我們也將持續研究其他可以讓我們的solution更完整易用的方案，也歡迎大家隨時聯繫我們，給我們更多的意見！很期待Cameo Capture能讓大家的動作捕捉更順暢、更簡單！

卡米爾 Cameo官網：http://cameo.tw

聯繫email：techart@cameo.tw

資料來源：Mordor Intelligence 2020年產業報告：https://www.mordorintelligence.com/industry-reports/3d-motion-capture-market

資料來源：Fior Markets 2019年產業報告：https://www.globenewswire.com/news-release/2020/01/29/1976540/0/en/Global-3D-Motion-Capture-Market-is-Expected-to-Reach-USD-261-17-Million-by-2026-Fior-Markets.html

資料來源：參考Unreal Engine 2018年釋出的動作捕捉白皮書 (Choosing a real-time performance capture system)