首页 > 知产百科 > 知识详情页
用于重建三维人脸图像的方法、装置、电子设备和介质|每日一发明专利申请
2022-11-14 05:52:59 阅读(3762)

本公开提供了一种用于重建三维人脸图像的方法,涉及图像处理技术领域,尤其涉及虚拟数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙领域。实现方案为:获取人脸的视频数据,包括人脸的多个帧,多个帧中每一帧的每个像素均包括深度信息;对于多个帧中的每一帧:基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;并且从该帧的RGB图像中提取多个图像关键点;基于多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及基于多个帧中的至少两帧中每一帧的多个图像关键点,对三维人脸点云进行优化,以得到目标三维人脸图像。

发明专利申请-权利要求


1.一种用于重建三维人脸图像的方法,所述方法包括:
获取人脸的视频数据,所述视频数据包括所述人脸的多个帧,所述多个帧中每一帧的每个像素均包括深度信息;
对于所述多个帧中的每一帧:
基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;并且
从该帧的RGB图像中提取多个图像关键点;
基于所述多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及
基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,以得到目标三维人脸图像。
2.根据权利要求1所述的方法,其中,所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点,所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。
3.根据权利要求2所述的方法,其中,所述基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,包括:
从所述多个帧中至少选择第一帧和第二帧,其中,所述第一帧的多个图像关键点中至少包括第一结构关键点,所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应;
分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标;以及
基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化。
4.根据权利要求3所述的方法,其中,所述多个图像关键点还包括所述人脸的语义关键点,所述语义关键点用于指示人脸预设部位的语义信息,并且其中,所述第一帧的多个图像关键点还包括第一语义关键点,所述第二帧的多个图像关键点还包括第二语义关键点,其中,所述第一语义关键点和所述第二语义关键点具有相同的语义信息,其中,所述方法还包括:
分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标;以及
所述基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化,包括:
基于所述第一差值和第二差值,对所述三维人脸点云进行优化,所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。
5.根据权利要求4所述的方法,其中,所述基于所述第一差值和第二差值,对所述三维人脸点云进行优化,包括:
为所述第一差值分配第一权重,以调整所述第一差值;
为所述第二差值分配第二权重,以调整所述第二差值;以及
基于经调整的第一差值和经调整的第二差值,对所述三维人脸点云进行优化。
6.根据权利要求5所述的方法,其中,所述第一权重小于所述第二权重。
7.一种用于重建三维人脸图像的装置,所述装置包括:
获取单元,用于获取人脸的视频数据,所述视频数据包括所述人脸的多个帧,所述多个帧中每一帧的每个像素均包括深度信息;
确定单元,用于对于所述多个帧中的每一帧,基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;
提取单元,用于对于所述多个帧中的每一帧,从该帧的RGB图像中提取多个图像关键点;
生成单元,用于基于所述多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及
优化单元,用于基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,以得到目标三维人脸图像。
8.根据权利要求7所述的装置,其中,所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点,所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。
9.根据权利要求8所述的装置,其中,所述优化单元包括:
选择子单元,用于从所述多个帧中至少选择第一帧和第二帧,其中,所述第一帧的多个图像关键点中至少包括第一结构关键点,所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应;
确定子单元,用于分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标;以及
优化子单元,用于基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化。
10.根据权利要求9所述的装置,其中,所述多个图像关键点还包括所述人脸的语义关键点,所述语义关键点用于指示人脸预设部位的语义信息,并且其中,所述第一帧的多个图像关键点还包括第一语义关键点,所述第二帧的多个图像关键点还包括第二语义关键点,其中,所述第一语义关键点和所述第二语义关键点具有相同的语义信息,其中,所述确定子单元还被配置用于分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标;以及
所述优化子单元还被配置用于基于所述第一差值和第二差值,对所述三维人脸点云进行优化,所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。
11.根据权利要求10所述的装置,其中,所述优化子单元还被配置为:
为所述第一差值分配第一权重,以调整所述第一差值;
为所述第二差值分配第二权重,以调整所述第二差值;以及
基于经调整的第一差值和经调整的第二差值,对所述三维人脸点云进行优化。
12.根据权利要求11所述的装置,其中,所述第一权重小于所述第二权重。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述的方法。

以上关于“用于重建三维人脸图像的方法、装置、电子设备和介质|每日一发明专利申请”的详细内容,咨询关于国内发明专利申请国际发明专利申请可以联系咨询400-660-3336。
裕阳公众号二维码 关注裕阳公众号,随时获取裕阳动态
相关知识
  • 外观设计专利侵权标准认定
    外观设计专利侵权标准认定是什么? 外观设计专利是保护原创产品外观的重要法律工具,但如何认定外观设计专利侵权行为却是一个复杂的问题。以下内容将对外观设计专利侵权标准进行详细解析,帮助您更好地理解这一法律概念。
    外观设计专利侵权标准认定 外观设计专利侵权 | 2024-01-10 | 阅读(2616)
  • 别人告我专利侵权怎么办
    别人告我专利侵权怎么办? 在商业活动中,有时会面临被指控专利侵权的困境。面对这样的指控,如何采取合适的策略进行应对至关重要。以下内容将为您提供实用的建议,帮助您有效应对专利侵权指控。
    别人告我专利侵权怎么办 别人告我专利侵权 | 2024-01-10 | 阅读(2613)
  • 产品外观专利怎样算侵权?
    产品外观专利怎样算侵权? 产品外观专利是保护原创设计的重要法律工具,但如何判断产品外观专利侵权却是一个复杂的问题。以下内容将详细解析产品外观专利侵权的判定标准,帮助您更好地理解这一法律概念。
    产品外观专利怎样算侵权 产品外观专利侵权 | 2024-01-10 | 阅读(1722)
  • 专利侵权案例典型6例
    专利侵权案例典型6例,在当今社会,随着科技的快速发展和市场竞争的加剧,专利侵权行为时有发生。为了帮助大家更好地理解专利侵权问题,以下内容将选取了6个典型的专利侵权案例进行分析,以揭示其警示与启示。
    专利侵权案例典型6例 专利侵权案例 | 2024-01-10 | 阅读(2698)
  • 外观专利侵权如何应诉
    外观专利侵权如何应诉?在商业竞争中,外观专利侵权纠纷时有发生。当企业面临外观专利侵权指控时,如何进行有效的应诉成为了关键。以下内容将为您提供一份详细的应诉指南,帮助您应对此类挑战。
    外观专利侵权如何应诉 外观专利侵权 外观专利侵权应诉 | 2024-01-10 | 阅读(2959)
热门产品