基于深度学习的数字人交互视频业务实时分析方法及系统
2025-02-25 09:26
No.1343876935364911104
技术概要
PDF全文
本技术公开了基于深度学习的数字人交互视频业务实时分析方法及系统,涉及人机交互领域;包括:数据采集模块,其负责采集用户与数字人的交互视频数据,包括用户的语音、手势和面部表情的多模态数据;预处理模块,对采集到的视频数据进行预处理,包括去躁、增强、特征提取、针对语音数据进行语音情感分析、针对手势和面部表情数据进行关键帧提取和特征点标注;深度学习分析模块,建立深度学习模型,利用深度学习模型识别用户的多模态数据。本发明通过采集用户的语音、手势、面部表情的多模数据,进行特征处理后进行多模融合,再进行加权处理后识别意图,从而能直接识别用户意图,解决了局限性问题。
背景技术
随着虚拟现实(VR)、增强现实(AR)及全息通信技术的快速发展,数字人作为重要的交互媒介,在影视、游戏、教育、医疗等多个领域得到广泛应用。 经检索,中国专利公开号为CN116248812B的专利,公开了一种基于数字人交互视频的业务办理方法、存储介质及系统,该方法先生成多个固定话术数字人视频和灵活话术数字人视频,然后将灵活话术数字人视频和对应业务办理流程的固定话术数字人视频合并形成数字人交互视频并展示给用户,再根据用户的响应信息选取对应的其他固定话术数字人视频,与灵活话术数字人视频合并形成新的数字人交互视频并展示给用户,不断重复直至达到业务办理预设条件后进行业务办理。 上述专利存在以下不足,其利用用户给出的响应还需要用户韧性操作,无法基于用于的多模数据分析用户意图,所以还存在一定的局限性。 为此,本发明提出基于深度学习的数字人交互视频业务实时分析方法及系统
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王冠
技术所属: 上海维迈数字科技有限公司 维迈科技股份有限公司.
相关技术
基于非易失存储器的分组数据持久化与更新方法 基于非易失存储器的分组数据持久化与更新方法
一种基于仿真优化的散货码头堆场垛位分配方法及系统 一种基于仿真优化的散货码头堆场垛位分配方法及系统
基于图注意力增强的强化学习的物联网防御方法 基于图注意力增强的强化学习的物联网防御方法
一种基于拉伊达准则的救援井定位结果稳定性评估方法 一种基于拉伊达准则的救援井定位结果稳定性评估方法
一种基于大模型知识的跨模态行人搜索关键语义完备对齐方法 一种基于大模型知识的跨模态行人搜索关键语义完备对齐方法
一种航空发动机叶盘结构可靠性数实融合测试方法 一种航空发动机叶盘结构可靠性数实融合测试方法
一种面向卫星数实融合测试的多粒度多脉冲观测追踪训练方法 一种面向卫星数实融合测试的多粒度多脉冲观测追踪训练方法
一种基于Cycle-GAN的类不平衡条件下航空发动机轴间轴承故障诊断方法 一种基于Cycle-GAN的类不平衡条件下航空发动机轴间轴承故障诊断方法
基于领域知识构建提示词进行粒计算的方法、设备及介质 基于领域知识构建提示词进行粒计算的方法、设备及介质
超浅低对比度储层流体识别方法与系统 超浅低对比度储层流体识别方法与系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利