實時捕捉--動畫的未來

時間:2019-05-27 10:45:40          瀏覽:840 次

    Cubic Motion  團隊與我們討論了數字動畫及其實時動畫技術  Persona  ,它允許合并數字角色和真實演員。

    介紹

    80lv:伙計們,你能介紹一下我們并告訴我們更多關于Cubic Motion的事嗎?

    Cubic Motion成立于2009年,由計算機視覺科學家和面部動畫專家組成。我們的總部設在英國曼徹斯特,并使用我們專有的跟蹤和解決技術為視頻游戲,電視和電影創建面部動畫。最近的項目包括與索尼圣莫尼卡的戰爭之神和與Insomniac Games的蜘蛛俠。我們的實時技術的進步帶來了現場演示,如Hellblade(2016年SIGGRAPH的實時直播獲獎者),2017年SIGGRAPH的MeetMike,2018年GDC的Siren 以及最終開發的實時動畫產品Persona。

    在加入Cubic Motion之前,許多團隊成員參與了由我們的首席執行官Gareth Edwards博士創立的Image Metrics,他們參與了GTA 4,Digital Emily項目和Benjamin Button的好奇案例等項目。









    參展商于2018年3月21日星期三在美國加利福尼亞州舊金山舉行的游戲開發者大會(GDC)期間展示了Cubic Motion Ltd.的數字面部動畫技術.GDC是世界上最大的專業游戲產業盛會。全球游戲開發社區的設計師,程序員,藝術家,制作人和商業專業人士。攝影師:David Paul Morris / Bloomberg來自Getty Images

    數字化人類面臨的挑戰

    80lv:為什么人類如此難以有機數字化?多年來,我們已經看到開發人員試圖做適當的mocap,但很多時候游戲角色最終看起來更像木偶,無論多邊形的數量和皮膚的質量。使它變得如此復雜的挑戰是什么?

    人類很難數字化,因為面部運動是復雜和非線性的。渲染逼真的人類涉及皮膚,眼睛和頭發的詳細物理模型。即使這可以很好地完成,角色也必須以可信的方式移動和傳達情感。觀眾也很好地判斷數字面部看起來不正確。

    我們嘗試盡可能多地使用真實數據(性能捕獲,3D和4D掃描)來構建高保真模型,并嘗試準確模擬底層物理過程。這當然仍然是真實的近似,所以無論面部有多少多邊形,如果運動過于簡單,它仍會看起來錯誤。克服這種線性而非有機的外觀可能是數字角色面臨的主要挑戰。

    捕獲數據

    80lv:你正在做的非常準確的關鍵事情之一是獲取數據。你能談談相機的工作方式,使用什么樣的硬件,更重要的是關鍵數據是什么?讓角色和演員成為一體有什么必要?

    我們捕獲的大部分數據來自頭戴式攝像頭(HMC)系統。這允許在演員四處移動時詳細捕捉面部表現。這是一個相當專業的設備,我們提供自己的HMC作為Persona的一部分來捕獲高質量的數據。所使用的相機通常是高幀率機器視覺相機,部署在正面,正面立體聲或正面配置中,用于不同的使用情況。對于實時捕獲,我們使用前端來捕獲深度信息,而不需要立體聲重建的復雜性,這通常更適合于離線工作。這些攝像機通常是60fps的機器視覺攝像機,通常使用紅外照明和鏡頭濾鏡來確保照明的一致性。

    面部索具

    80lv:獲得所有數據后,鉆機有多大?如果能更好地了解結果會變得多么復雜,那就太棒了。你已經展示了加里奧德曼的明星公民角色的一個例子 - 令人驚訝的是,僅僅為了嘴唇和嘴巴的運動你會得到多少東西。聽取您認為至關重要的要素會很棒。

    雖然面部裝備可以具有數千個多邊形和數百個關節并且混合形狀,但是表示面部表情的自由度的數量小得多并且與面部肌肉的激活相關。許多鉆機基于面部動作編碼系統(FACS),并且通常具有大約100-150個動畫控件

    我們測量演員面部動作的任務是盡可能準確地駕駛這些控制。為了做到這一點,我們通常會在臉上追蹤200-400點。我們主要關注嘴唇的形狀,特別是內唇線。這是一個難以跟蹤的功能,因為它是一個遮擋邊界,外觀變化很大。要測量的最重要的一點是下頜的位置,因為下面的大部分運動都與它有關。我們在某些情況下通過明確跟蹤牙齒來做這件事,使用工具在嘴唇被嘴唇覆蓋時進行估計和插值。在難以跟蹤牙齒的情況下,例如在實時數字演奏中,我們使用來自側攝像頭的附加信息來幫助推斷下頜的位置。

    清理動畫

    80lv:優化動畫數據的方式是什么,進行清理并確保動畫看起來準確?這一切都是手工完成還是有一些聰明的算法呢?

    動畫只能與角色裝備一樣好。如果它不能進行某些動作,則不會將這些動作轉換為最終動畫。對于離線工作,我們能夠在跟蹤和動畫階段檢查和清理數據,以獲得最佳結果。對于實時系統,我們應用相同的過程來訓練跟蹤和求解模型。解算器將輸入性能數據映射到字符控件,定義如何使用機器學習和統計方法解釋數據以獲得最佳結果。

    實時捕獲

    80lv:令人驚奇的是,您的技術不僅可以用于捕獲CGI的內容,還可以用于實時捕獲。您能告訴我們有關您可以實時捕獲數據的技術嗎?是相機還是軟件?這些系統是否適用于更廣泛的游戲藝術家?

    該軟件允許這一切實時發生。我們的核心,基于模型的跟蹤算法能夠以60fps跟蹤來自多個攝像頭的數百個特征點。將此數據解決到裝備控件甚至更快,將輸入圖像數據的復雜性降低到更易管理的水平。這一切都在可穿戴的PC上運行,以允許演員無線推動現場表演。這構成了我們的實時Persona產品的基礎,該產品現已上市,可以實時捕獲數字表演和預設可視化。這將為改進生產工作流程和提供即時動畫數據提供機會,而無需等待離線動畫傳遞。

    AI工具

    80lv:您是否使用任何可以幫助您解碼數據的AI工具?如果提供足夠數量的數據,你認為AI實際上可以幫助生成可信的動畫嗎?

    在這種情況下,AI通常用于指代深度卷積神經網絡(CNN)和類似的算法,這些算法已在許多領域證明是成功的。適用于面部的一個很好的例子是Digital Domain的Digital Doug工作。

    這種算法只是解決機器學習問題的眾多方法之一。我們在跟蹤器和求解器中使用一系列機器學習方法,具體取決于可用的訓練示例的數量和數據的復雜性。這些算法中的一些在處理稀疏訓練數據方面要好得多,并且比CNN更不容易受到過度訓練,盡管深度學習方法非常適合于高度非線性問題,其中大量訓練和測試數據可用或者可以綜合生成。我們還嘗試利用先前的知識,使用統計模型和物理約束來盡可能簡化學習問題,以最大限度地減少所需的培訓數據量。

    所以我們真的一直在使用AI /機器學習來生成可信的面部動畫多年。

    分配

    80lv:用戶如何掌握你的求解器?您是否計劃發布它并使其更廣泛可用?

    這是我們的支持團隊作為Persona的一部分提供的,確保快速周轉和高水平的跟蹤和動畫質量。未來的版本將允許用戶更多地控制操作和設置求解器。


      直線網公眾號,第一時間學習最新教程,看最新行業動態!!



  •  2
  • 標簽: 實時  捕捉  動畫    未來  
  • 文章鏈接:http://www.mjjbvj.live/index.php/news_8828.html
  • 相關文章

    1《胡桃夾子和四個王國》從街道建筑到人群的令人震撼的C
    2神還原吉卜力動畫《千與千尋Cosplay》「金具屋」真實場
    3?金屬反射的GGX,你需要了解下
    4影片《驚奇隊長》壯觀的外星城市制作解析
    5圍觀神仙用色,看看超級大觸是怎么配色的
    6這樣的質感,我保證只消一眼,你便愛上
    7如何突破,解決你繪畫瓶頸期的強干貨?
    8國產動畫《哪吒之魔童降世》宣布8月16日暑期檔上映
    9北極熊的商業廣告,這個毛發做的有點6
    10糖果色的城市 | 攝影師 Ben Thomas

    評論

暫無評論,趕快搶沙發吧~
Copyright ?2009-2019 直線教程,All Rights Reserved.     滬ICP備10039589號    滬公網安備 31011402002136號
黑龙江快乐10分开奖