首页 > 知产百科 > 知识详情页
用于重建三维人脸图像的方法、装置、电子设备和介质|每日一发明专利申请
2022-11-14 05:52:59 阅读(3580)

本公开提供了一种用于重建三维人脸图像的方法,涉及图像处理技术领域,尤其涉及虚拟数字人、增强现实、虚拟现实、混合现实、扩展现实、元宇宙领域。实现方案为:获取人脸的视频数据,包括人脸的多个帧,多个帧中每一帧的每个像素均包括深度信息;对于多个帧中的每一帧:基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;并且从该帧的RGB图像中提取多个图像关键点;基于多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及基于多个帧中的至少两帧中每一帧的多个图像关键点,对三维人脸点云进行优化,以得到目标三维人脸图像。

发明专利申请-权利要求


1.一种用于重建三维人脸图像的方法,所述方法包括:
获取人脸的视频数据,所述视频数据包括所述人脸的多个帧,所述多个帧中每一帧的每个像素均包括深度信息;
对于所述多个帧中的每一帧:
基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;并且
从该帧的RGB图像中提取多个图像关键点;
基于所述多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及
基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,以得到目标三维人脸图像。
2.根据权利要求1所述的方法,其中,所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点,所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。
3.根据权利要求2所述的方法,其中,所述基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,包括:
从所述多个帧中至少选择第一帧和第二帧,其中,所述第一帧的多个图像关键点中至少包括第一结构关键点,所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应;
分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标;以及
基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化。
4.根据权利要求3所述的方法,其中,所述多个图像关键点还包括所述人脸的语义关键点,所述语义关键点用于指示人脸预设部位的语义信息,并且其中,所述第一帧的多个图像关键点还包括第一语义关键点,所述第二帧的多个图像关键点还包括第二语义关键点,其中,所述第一语义关键点和所述第二语义关键点具有相同的语义信息,其中,所述方法还包括:
分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标;以及
所述基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化,包括:
基于所述第一差值和第二差值,对所述三维人脸点云进行优化,所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。
5.根据权利要求4所述的方法,其中,所述基于所述第一差值和第二差值,对所述三维人脸点云进行优化,包括:
为所述第一差值分配第一权重,以调整所述第一差值;
为所述第二差值分配第二权重,以调整所述第二差值;以及
基于经调整的第一差值和经调整的第二差值,对所述三维人脸点云进行优化。
6.根据权利要求5所述的方法,其中,所述第一权重小于所述第二权重。
7.一种用于重建三维人脸图像的装置,所述装置包括:
获取单元,用于获取人脸的视频数据,所述视频数据包括所述人脸的多个帧,所述多个帧中每一帧的每个像素均包括深度信息;
确定单元,用于对于所述多个帧中的每一帧,基于该帧中每个像素的深度信息,确定该帧对应的单帧三维点云;
提取单元,用于对于所述多个帧中的每一帧,从该帧的RGB图像中提取多个图像关键点;
生成单元,用于基于所述多个帧中每一帧对应的单帧三维点云,生成三维人脸点云;以及
优化单元,用于基于所述多个帧中的至少两帧中每一帧的多个图像关键点,对所述三维人脸点云进行优化,以得到目标三维人脸图像。
8.根据权利要求7所述的装置,其中,所述多个图像关键点包括用于标记所述人脸的第一区域的结构关键点,所述人脸在所述第一区域发生的形状和/或角度变化符合预设条件。
9.根据权利要求8所述的装置,其中,所述优化单元包括:
选择子单元,用于从所述多个帧中至少选择第一帧和第二帧,其中,所述第一帧的多个图像关键点中至少包括第一结构关键点,所述第一结构关键点与所述第二帧的多个图像关键点中的第二结构关键点相对应;
确定子单元,用于分别确定所述第一结构关键点和所述第二结构关键点在所述三维人脸点云中的三维坐标;以及
优化子单元,用于基于所述第一结构关键点的三维坐标和所述第二结构关键点的三维坐标之间的第一差值,对所述三维人脸点云进行优化。
10.根据权利要求9所述的装置,其中,所述多个图像关键点还包括所述人脸的语义关键点,所述语义关键点用于指示人脸预设部位的语义信息,并且其中,所述第一帧的多个图像关键点还包括第一语义关键点,所述第二帧的多个图像关键点还包括第二语义关键点,其中,所述第一语义关键点和所述第二语义关键点具有相同的语义信息,其中,所述确定子单元还被配置用于分别确定所述第一语义关键点和所述第二语义关键点在所述三维人脸点云中的三维坐标;以及
所述优化子单元还被配置用于基于所述第一差值和第二差值,对所述三维人脸点云进行优化,所述第二差值为所述第一语义关键点的三维坐标和所述第二语义关键点的三维坐标之间的差值。
11.根据权利要求10所述的装置,其中,所述优化子单元还被配置为:
为所述第一差值分配第一权重,以调整所述第一差值;
为所述第二差值分配第二权重,以调整所述第二差值;以及
基于经调整的第一差值和经调整的第二差值,对所述三维人脸点云进行优化。
12.根据权利要求11所述的装置,其中,所述第一权重小于所述第二权重。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述的方法。

以上关于“用于重建三维人脸图像的方法、装置、电子设备和介质|每日一发明专利申请”的详细内容,咨询关于国内发明专利申请国际发明专利申请可以联系咨询400-660-3336。
裕阳公众号二维码 关注裕阳公众号,随时获取裕阳动态
相关知识
  • 徐州专利申请条件和流程费用,2022怎样快速申请一个专利?
    徐州专利申请条件、流程、费用,在徐州快速申请一个发明专利、快速通道如何办理,徐州拥有工程机械和智能装备产业、煤炭和电力产业、钢铁冶金和建材产业、化工产业、新能源产业、食品产业在内的六大核心产业,是省内的工业、农业强市。在经济政策推动下,各个产业将会得到快速的发展,那么,在徐州如何申请一个发明专利呢?
    徐州专利申请 徐州专利申请条件 徐州专利申请流程 徐州专利申请费用 | 2022-11-25 | 阅读(3671)
  • 大学生申请专利发明100例,大学生申请专利案例集
    不少大学生都有过申请发明专利、实用新型专利或外观设计专利的经验,通过大学时光来获得几件专利,这无疑会丰富自己的履历,获取更多企业的关注和青睐,甚至获得大学生创业基金,开启创业之旅。下面让我们看看大学生申请专利发明100例,看看其他同学都发明了哪些专利技术。
    大学生申请专利发明100例 大学生申请专利发明 | 2022-11-24 | 阅读(3675)
  • 无锡专利申请条件和流程费用,怎样快速申请一个专利?
    无锡专利申请条件、流程、费用,在无锡快速申请一个发明专利、快速通道如何办理,无锡构建“465”现代产业体系,围绕四大地标产业,六大优势产业以及五大未来产业作为发展方向。在政策推动下,各个产业将会得到快速的发展,那么,在无锡如何申请一个发明专利呢?
    无锡专利申请 无锡专利申请条件 无锡专利申请流程 无锡专利申请费用 | 2022-11-24 | 阅读(3671)
  • 南京专利申请条件和流程费用,怎样快速申请一个专利?
    南京专利申请条件、流程、费用,在南京快速申请一个发明专利、快速通道如何办理,南京核心产业以汽车产业、电子信息制造业、石化新材料产业、钢铁产业四大产业为主,在政策推动下,各个产业将会得到快速的发展,那么,在南京如何申请一个发明专利呢?
    南京专利申请条件 南京专利申请 南京专利申请流程 南京专利申请费用 | 2022-11-23 | 阅读(3672)
  • 丽水专利申请条件和流程费用,怎样快速申请一个专利?
    丽水专利申请条件、流程、费用,在丽水快速申请一个发明专利、快速通道如何办理,在日前,丽水市发布了工作方案中提到1315特色产业链的实施方案,在政策推动下,各个产业将会得到快速的发展,那么,在丽水如何申请一个发明专利呢?
    丽水专利申请 丽水专利申请条件 丽水专利申请流程 丽水专利申请费用 | 2022-11-21 | 阅读(3676)
热门产品