本技术涉及一种头部迁移技术,包括模型训练方法与系统。该方法通过获取驱动视频,提取驱动帧图像,并从中识别样本人物目标。基于样本人物目标,进行裁剪和特征提取,实现头部迁移效果。
背景技术
数字人由计算机手段创造及使用,可以具备与人相同的外观或行为方式。移动终端、显示设备等智能终端均可以作为数字人的载体。在以智能终端作为载体时,数字人可以与用户进行人机交互,并可以应用于影视、传媒、游戏、零售等多个领域。
一些数字人在使用时,可以模仿驱动视频以及驱动视频模板中的人物的表情和动作,以在各个领域中完成一些社会工作,增加趣味性的同时解放了生产力。为了使得数字人对模板人物的表情和动作的还原度更高,需要提高头部迁移和动作迁移的质量。在进行头部迁移时,通常采集模板人物头部的关键点,并根据关键点做仿射变换进行头部迁移,这种方式可以获得较好的迁移效果。
在头部迁移的过程中,迁移区域变大会增大仿射变换的难度并且降低计算效率。在驱动视频中的人物肩部动作过大时,头部区域位置随之大幅变化,导致无法准确得到肩部与头部的位置关系,进而使得迁移后的头部与肩部的适配性较差。
实现思路