语音驱动的生成式3D人脸表情动画

[视频作者] 宙合科技

[视频时长] 1:12

[视频类型] 极客DIY

此视频为语音驱动的生成式3D人脸表情动画的展示视频，视频中所展示的动画是3D人脸模型的动态效果，由智能生成算法通过语音推理得出，完整人头模型所用数据集为VOCASET，面具模型为BIWI。 使用者可用时长在一分钟内的任意一段语音作为生成算法的输入，在RTX3090的硬件环境下，算法通常经过3~5分钟（以1分钟时长的语音为例）的推理即可输出一段与语音匹配的3D人脸表情动画的视频，实验结果在测试集上VOCASET数据集的唇部误差为3.2238×10−5 mm，在测试集上BIWI数据集的唇部误差为4.2485×