本技术介绍了一种融合多模态表征的网络用户情感识别技术及其相关设备。该技术通过一致性与差异性表征模块,从单模态数据中提取高级语义信息,形成模态一致性和模态差异性表征,进而实现对网络平台用户情感的精准识别。
背景技术
随着互联网的快速发展,网络平台已成为人们日常生活中的重要组成部分。用户在购物平台、社交媒体及其他在线平台上,通过文字、图像、视频、语音等多种模态形式表达观点和情感,形成了多模态评论数据。随着人工智能技术的发展,特别是多模态表征融合方法的进步,利用多种数据源(例如:语音、文本、图像等)来综合分析和识别情感成为可能。
在多模态表征融合领域中,现有算法集中在模态一致性和模态互补性的探索上,而忽略了模态差异性的积极作用。且模态差异性构造了模态一致性与模态互补性之间的纽带连接关系,但已有的算法缺少对这一关系的研究,导致在多模态情感识别任务上的精度还有待提高。
实现思路