本公开提供了一种用于重建三维人脸图像的方法,涉及图像处理技术领域,尤其涉及虚拟数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙领域。实现方案为:获取人脸的视频数据,包括人脸的多个帧,多个帧中每一帧的每个像素均包括深度信息;对于多个帧中的每一帧:基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;并且从该帧的RGB图像中提取多个图像关键点;基于多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及基于多个帧中的至少两帧中每一帧的多个图像关键点,对三维人脸点云进行优化,以得到目标三维人脸图像。
发明专利申请-权利要求
1.一种用于重建三维人脸图像的方法,所述方法包括:
获取人脸的视频数据,所述视频数据包括所述人脸的多个帧,所述多个帧中每一帧的每个像素均包括深度信息;
对于所述多个帧中的每一帧:
基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;并且
从该帧的RGB图像中提取多个图像关键点;
基于所述多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及
基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,以得到目标三维人脸图像。
2.根据权利要求1所述的方法,其中,所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点,所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。
3.根据权利要求2所述的方法,其中,所述基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,包括:
从所述多个帧中至少选择第一帧和第二帧,其中,所述第一帧的多个图像关键点中至少包括第一结构关键点,所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应;
分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标;以及
基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化。
4.根据权利要求3所述的方法,其中,所述多个图像关键点还包括所述人脸的语义关键点,所述语义关键点用于指示人脸预设部位的语义信息,并且其中,所述第一帧的多个图像关键点还包括第一语义关键点,所述第二帧的多个图像关键点还包括第二语义关键点,其中,所述第一语义关键点和所述第二语义关键点具有相同的语义信息,其中,所述方法还包括:
分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标;以及
所述基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化,包括:
基于所述第一差值和第二差值,对所述三维人脸点云进行优化,所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。
5.根据权利要求4所述的方法,其中,所述基于所述第一差值和第二差值,对所述三维人脸点云进行优化,包括:
为所述第一差值分配第一权重,以调整所述第一差值;
为所述第二差值分配第二权重,以调整所述第二差值;以及
基于经调整的第一差值和经调整的第二差值,对所述三维人脸点云进行优化。
6.根据权利要求5所述的方法,其中,所述第一权重小于所述第二权重。
7.一种用于重建三维人脸图像的装置,所述装置包括:
获取单元,用于获取人脸的视频数据,所述视频数据包括所述人脸的多个帧,所述多个帧中每一帧的每个像素均包括深度信息;
确定单元,用于对于所述多个帧中的每一帧,基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;
提取单元,用于对于所述多个帧中的每一帧,从该帧的RGB图像中提取多个图像关键点;
生成单元,用于基于所述多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及
优化单元,用于基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,以得到目标三维人脸图像。
8.根据权利要求7所述的装置,其中,所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点,所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。
9.根据权利要求8所述的装置,其中,所述优化单元包括:
选择子单元,用于从所述多个帧中至少选择第一帧和第二帧,其中,所述第一帧的多个图像关键点中至少包括第一结构关键点,所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应;
确定子单元,用于分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标;以及
优化子单元,用于基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化。
10.根据权利要求9所述的装置,其中,所述多个图像关键点还包括所述人脸的语义关键点,所述语义关键点用于指示人脸预设部位的语义信息,并且其中,所述第一帧的多个图像关键点还包括第一语义关键点,所述第二帧的多个图像关键点还包括第二语义关键点,其中,所述第一语义关键点和所述第二语义关键点具有相同的语义信息,其中,所述确定子单元还被配置用于分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标;以及
所述优化子单元还被配置用于基于所述第一差值和第二差值,对所述三维人脸点云进行优化,所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。
11.根据权利要求10所述的装置,其中,所述优化子单元还被配置为:
为所述第一差值分配第一权重,以调整所述第一差值;
为所述第二差值分配第二权重,以调整所述第二差值;以及
基于经调整的第一差值和经调整的第二差值,对所述三维人脸点云进行优化。
12.根据权利要求11所述的装置,其中,所述第一权重小于所述第二权重。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述的方法。
以上关于“用于重建三维人脸图像的方法、装置、电子设备和介质|每日一发明专利申请”的详细内容,咨询关于
国内发明专利申请、
国际发明专利申请可以联系咨询400-660-3336。