AR/VR工程師的故事 馬萬鈞

走過奧斯卡的 奇幻旅程
馬萬鈞,現任ByteDance(字節跳動科技、旗下有抖音)研究科學家。曾是美國Google軟體工程師,獲得2019年「奧斯卡科學技術成就獎」,他是導演李安之後的台灣第二人。馬萬鈞和團隊打造「數位演員」的技術已運用在四十多部電影特效,如2013年《玩命關頭7》主角之一保羅·沃克(Paul William Walker IV)在拍攝期間車禍過世,他讓「數位版」保羅·沃克栩栩如生呈現、完成影片拍攝。

<更多精彩故事>

我們翻雜誌,看到美國Google軟體工程師馬萬鈞以2019年「奧斯卡科學技術成就獎得主」身分,參與「台灣新生代談未來」經濟論壇,他是導演李安之後的台灣第二人。搶下他從美國回台灣的空檔,請他帶我們走一趟美國奧斯卡。

浴室藍光裡,手機刷到小金人

這是馬萬鈞和團隊第三次報名,前兩次都被打槍,第三次才得獎。「我記得,那時候我在台灣,半夜兩三點,在很暗的浴室,我用手機刷網,你可以想像我臉上泛著手機藍光,刷到奧斯卡公布的得獎名單,哇!我真的…真的…大半夜的,太太和小孩在旁邊睡覺,我又不可能去通知所有人。」

 

馬萬鈞和團隊打造「數位演員」的技術拿下奧斯卡,已運用在四十多部電影特效。例如:2008年《班傑明的奇幻旅程》皮膚皺摺、老態龍鍾的布萊德彼特;2009年《阿凡達》住在潘朵拉星球卻有感知智慧能力的藍色納美人;2013年《玩命關頭7》主角之一保羅·沃克(Paul William Walker IV)在拍攝期間車禍過世,他掃描保羅·沃克兩位弟弟的頭型和臉部表情,讓「數位版」保羅·沃克完成影片拍攝。馬萬鈞也前進美國白宮,幫前總統歐巴馬拍白宮畢業照。

 

(延伸閱讀:著迷研究的理工腦 她棄微軟高薪回台教AI

他還記得第一次看到自己的名字躍上大螢幕,他趕快拿起手機拍照,那時在大直美麗華戲院,當所有人散場,只有他留下來看到最後。他既興奮也感慨,因為後製特效人員的名單一定擺在credit(演員表)最後,連司機或廚師都不如。

人臉辨識,能玩能編能偵測

「基於球體上的偏振漸層光源」讓馬萬鈞和團隊拿下奧斯卡。我們出題普羅版,請馬萬鈞讓高中生一聽就懂。

 

「先在實驗室裡建一個大型球體,球體上安裝各種不同的光源,請演員進到實驗室,做出五、六十種不同的表情,每個表情拍下十幾張照片,再把資料轉化為3D模型、以及會動的動畫模型。因為光源很精細,可以照到皮膚的光澤、膚色、毛孔,當人的臉部一有動作,皮膚和毛孔就可以跟著變形,最大好處就是擬真度提高。」

閱「臉」無數的馬萬鈞說,人光是笑,就有微笑、大笑、真心的笑、和虛情假意的笑,就像FBI觀察嫌犯臉部表情一樣,人臉辨識涉及面部編碼系統(coding system),也可以運用在犯罪行為學,美國心理學家保羅·艾克曼(Paul Ekman)就曾提出面部動作編碼系統FACS(Facial Action Coding System)。馬萬鈞說得投入,我們聽得有趣!這還包括他的興趣和經歷。

馬萬鈞:我如何成為美國Google的AR、VR工程師?

馬萬鈞不是ABC,也不是留學生,他和多數莘莘學子一起穿越大學聯考窄門,大學考上台大資工系,一路從學士,念到碩士、博士。

 

「因為不知道大學畢業要做什麼,念研究所的成本也很低,很自然就念了碩士和博士;後來因為學校環境太舒適了,博士一念八年,人家四年就畢業了。」直到人生軸線的疑惑愈來愈多「當老師是我未來想做的事情嗎?」馬萬鈞對同質化的生活按下暫停鍵,他渴望換個環境。

2004年,他向國科會(現為科技部)申請獎助,趁暑假到日本實驗室研習,觀摩實驗,也旅行、學日文。2005年和2008年,先後獲得國科會提供給博士生和博士後的「千里馬補助計畫」,前往美國南加大實驗室,跟著指導教授Paul Debevec一起建置「Light Stage」裝置,開啟他「玩臉」生涯;正因南加大有不少好萊塢的產學合作,這是他能問鼎奧斯卡的重要關鍵。

 

「沒有資金出國,可以找其他管道,像我就找政府申請啊!」家庭經濟小康的馬萬鈞想要完成一件事,一定會想盡辦法找到資源。

影像小子,會看會玩會念書

馬萬鈞念建中數理班,假日從台北搭客運到新竹清大做實驗,喜歡化學和數學證明題;參加樂隊班,吹伸縮喇叭;打電玩、看電影、玩模型、打籃球,因為喜歡模型,大學聯考第一志願本來想填台大土木系,父母認為他應該「和大家一樣」,要他改填台大電機。「在籃球場打完球,在旁邊用投幣式公共電話聽放榜,朋友考上台大電機,我只上了第二志願台大資工,那時握著話筒,有點難過。」

進了台大資工,修了電腦繪圖課,用電腦技術產生影像,剛好跟視覺影像的興趣不謀而合,博士班專攻電腦產生「人像」的技術。馬萬鈞小時候常和父親一起看美國電影和影集,《霹靂遊俠》、《天龍特攻隊》、《虎膽妙算》,「小時候覺得霹靂車很新奇啊!」電玩《銀河飛將》也是他的啟蒙,「電玩裡有真人演員串場,像動畫一樣讓我很震撼!」

 

(延伸閱讀:從不被重視  到幫人類看到黑洞

做喜歡的事,睏了餓了都不在意

馬萬鈞對影像有多投入?在美國實驗室,為了做出SIGGRAPH國際會議的研究報告,四天只睡十個小時,提神飲料可以擺成保齡球瓶了;肚子餓了,他直接下樓、連續七餐吃墨西哥捲餅。「當你做喜歡做的事情時,其他都不在意了。」

從2005年到美國實驗室工作開始,馬萬鈞遊走過四大洲,至今旅外15年。這段期間,他曾回台取得博士,又無縫接軌去紐西蘭Weta Digital工作;再到蘇黎世理工大學短暫擔任訪問學者,接著到美國暴雪從事熱愛的電玩遊戲工作;2017年,馬萬鈞與實驗室再被挖角到美國Google AR/VR部門,投入擴增與虛擬實境的研發。

永遠要有下一步,探索未知的美好

採訪結束,馬萬鈞興奮的用手機向我們展現最近研發的聖誕老公公 AR遊戲。他說,雖然除bug很討厭,但是聖誕老公公可以被使用者輕易地放在虛擬空間中,遇到了阻礙物,也能如實呈現。馬萬鈞笑說,買傢俱就可以拿來看跟家裡的適合度。「技術可以幫助更多人,我不想讓技術一直埋在象牙塔裡。」

已經拿下奧斯卡的馬萬鈞對我們說:「能學習到新的東西,就覺得幸福。」你呢?