情绪驱动的音频合成技术与训练系统
2025-01-28 08:02
No.1333708834778390528
技术概要
PDF全文
本技术涉及一种情绪导向的音频合成技术及其训练系统。该技术涵盖:采集与单一情绪关联的第一音频数据和与多种情绪关联的第二音频数据;从第一音频数据中提取特征,并利用这些特征训练音频生成模型,以实现基于情绪的音频合成。
背景技术
情绪在人类感知和互动中起着至关重要的作用。在音频领域,语音和音乐的情感识别及生成在人机交互应用和推荐系统中非常有用。因此,语音和音乐情感识别和生成已经取得了重大进展。与语音和音乐类似,情感识别和一般声音(如自然声音和音效)的生成在智能环境中也有潜在的应用,可以创造情感一致的音景,丰富虚拟现实和游戏中的用户体验。现有的音频生成模型主要侧重于生成满足特定条件的高质量音频,例如使用Diffsound、audio LDM、和Tango。 在实现本发明过程中,发明人发现相关技术中至少存在如下问题: 现有技术这些模型以质量为重点,能够接收输入文本,然后根据输入的文本信息生成相应的音频。但文本如果指定特定的情绪,则无法输出对应情绪的音频。这主要由于训练数据中没有关注到情绪与音频的对应关系,对于一种特定的声音事件,它可能只对应一种情绪,也可能对应多种情绪。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
吴梦玥  徐晓航
技术所属: 上海交通大学
相关技术
一种维纳增益的设计方法 一种维纳增益的设计方法
基于FPGA的深海水声数据压缩方法与装置 基于FPGA的深海水声数据压缩方法与装置
一种自适应感知的一维离散时间信号活动检测方法和系统 一种自适应感知的一维离散时间信号活动检测方法和系统
一种基于多域声学特征融合的说话人识别方法、装置及设备 一种基于多域声学特征融合的说话人识别方法、装置及设备
一种语音转换的信息处理方法和系统 一种语音转换的信息处理方法和系统
基于多尺度全局卷积网络的语音关键词识别方法及系统 基于多尺度全局卷积网络的语音关键词识别方法及系统
神经网络的训练方法、语音降噪方法、设备及存储介质 神经网络的训练方法、语音降噪方法、设备及存储介质
跨语言文本中实体语义识别处理方法、系统及存储介质 跨语言文本中实体语义识别处理方法、系统及存储介质
一种高效文字转语音的方法及系统 一种高效文字转语音的方法及系统
一种用于智慧呼叫的语义识别方法及系统 一种用于智慧呼叫的语义识别方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利