新闻：提出实时面捕，精细到微表情，上科大打造数字人新标杆-z6尊龙旗舰厅

在2022年计算机图形学领域旗舰会议acm siggraph中，上海科技大学孵化的数字人底层技术公司影眸科技的穹顶光场plenoptic stage技术在手部重建肌肉模拟中的运用与神经网络渲染neural rendering技术在动态毛发渲染中的应用作为technical papers于今年8月在acm siggraph会议中展出，推进了元宇宙超写实数字人技术的发展。

影眸科技自研的穹顶光场（plenoptic stage）系统是亚洲唯一支持动态4d面部pbr（physically-based rendering）材质扫描系统，该系统结合了人工智能、计算摄影学、图形学等技术，通过光场技术进行扫描，输出毛孔级的逐帧面部几何与pbr材质，如图1所示。相较于传统建模方法，该技术大大减少建模所需时间，节省预算开支。

图1 传统相机阵列扫描vs穹顶光场扫描

在超写实数字人制作过程中，面部绑定往往是一个非常困难的问题。即使有扫描表情模型作为参考，也需要数周甚至数月的人工时间完成表情的拆分与绑定，这导致了动态数字人的生产十分困难。影眸科技自主研发的表情拆分与绑定算法，以穹顶光场扫描获得的facs（facial action coding system）表情为基础，使用机器学习方法对面部进行符合肌肉动力学的表情拆分，只需要数十秒即可自动完成高逼真度面部资产的绑定，如图2所示。

图2 根据扫描的facs表情自动完成肌肉运动拆分与绑定

不仅是依照穹顶光场扫描的表情模型完成自动拆分，在大量4d扫描数据与表情数据集的加持下，影眸科技已经能够在仅提供一个任意拓扑的静息（neutral）表情的情况下，完成对不同风格资产的自动化表情拆分与绑定。通过这项技术，用户只需要上传一个模型，便可以完成符合肌肉动力学的面部绑定，实现模型人脸的高度真人化，使得人脸表情更加惟妙惟肖，效果如图3所示。

图3 smg数字形象申䒕雅写实皮肤由影眸科技提供ml rigging技术

国际数据公司（idc）预计，到2026年中国ai数字人市场规模将达到102.4亿元人民币（见图4）。同时，艾媒咨询分析师认为，虚拟人形象在产品设计方面有较强的可塑性，结合人工智能技术等前沿科技，能够让虚拟主播、数字员工、虚拟偶像等新业态满足用户的多样化需求，产生巨大的市场机会，推动虚拟人产业的高速发展。

图4  中国ai数字人市场现状与机会分析，2022

随着技术日益成熟，产业链的不断形成和丰富，虚拟人的业务模型也将朝着多元化的方向发展。目前，虚拟人的应用商业模式虽处于探索阶段，但商业应用场景已由最初的数字娱乐场景迅速扩大到媒体、电商乃至在线教育等领域。上科大孵化出的影眸科技在数字人人脸写实领域不断努力，推动了行业标准的构建以及在应用场景领域的持续探索，给数字人在千行百业实现普惠奠定关键基础。

参考资料：

撰写：周卓沂

审稿：梁艳