近日，我校新媒体艺术与设计学院沈旭昆教授、曹翀副教授指导的22级本科生石城玮的科研项目“基于多模态信号的三维数字人面部生成算法研究”通过基金委评审，获得了2024年度北京市自然科学基金本科生基础研究项目资助。

北京市自然科学基金本科生基础研究项目以培养造就一批有望进入世界科技前沿的优秀青年学术人才为目标，探索对高等学校优秀的全日制高年级在读本科生给予早期基础研究项目支持，优中选优，培养本科生热爱钻研的科学兴趣、独立思考的科研思维、善于质疑的批判精神、勇于创新的探索精神和敢闯会创的意志品格，为构建高质量基础研究人才队伍提供“源头活水”。

三维数字人面部生成技术在产业界多个领域展现出巨大的应用潜力，激发了学术界的关注和深入研究。近年来，输入信号驱动算法研究成为领域热点。但现有研究多局限于低精度数据，生成结果的时序稳定性及真实程度有待提升。在前期工作中，课题组建立了基础的多模态面部生成框架，并初步验证了多模态数据生成算法的可行性。本项目将进一步探究多模态全要素的面部动画生成模型，从多模态、时序结果和实时性三个层面展开研究：在多模态层面，针对多模态输入信号的丰富特征，研究不同模态下融合特征的表示和生成方法；在时序结果层面，结合高精度硬件捕捉数据和时序生成模型，联合优化驱动结果，增强模型生成性能；在实时性层面，在之前工作的基础上提高推断速度，实现生成结果的实时渲染。

该课题为2024年春季学期开设的科研课堂“多模态驱动的三维人脸模型控制”课程初步成果，后续工作将进一步进行基于时间序列的多模态动画生成模型以及实时生成等研究，提高该技术框架的价值。