本技术涉及自然语言处理领域,提出了一种多模态生成式情感分析模型的鲁棒性增强和分类技术。该技术通过获取原始输入数据,并结合目标蜕变关系,构建新的数据集,以提高情感分析的准确性和鲁棒性。
背景技术
社交媒体是用户分享体验和意见的核心平台,提供了丰富的多模态数据,包括文本、图像和视频,为情感分析提供了新机遇。多模态内容的吸引力在于其直观性,例如用户在购买产品之前会先浏览产品评论,图像和视频能更清晰地展示产品特性,对消费者决策有显著影响。
多模态情感分析通过综合分析不同模态的数据,全面理解用户情绪,对品牌监控、舆论分析等有重要应用价值。它帮助把握消费者的需求和偏好,优化产品和市场策略。多模态情感分析包含情感分类、反讽识别、时序分析等子任务。其中,情感分类是基础,而多模态目标级情感分类(TMSC)是情感分类的一项细粒度任务,专注于根据多模态内容,对特定目标的情感判断。
现有的TMSC研究根据目标类型,以分散的方式从方面级和实体级两个任务开展。这是因为方面本身具有语义,可以作为单独的文本输入,而实体类型的核心是如何借助实体的上下文更好地理解其语义信息。TMSC的研究进展显著,从长短时记忆网络到基于BERT的和BART的预训练模型,展现了深度学习和多模态技术的发展。
网络语言的自由表达特性和逻辑约束弱的特点对情感分析模型的鲁棒性提出了更高要求。与传统书面语不同,网络语言的灵活性和随意性要求模型能够适应不断变化的语言使用习惯。
传统的评估NLP( Natural Language Processing, 自然语言处理)模型鲁棒性的方法包括对抗性攻击和数据分布偏移等方法。然而,对抗性攻击需要人工设计对抗性扰动,数据分布偏移需要收集大量数据以模拟数据分布变化。
在多模态目标级情感分类领域,研究者们致力于探索如何有效融合文本和图像特征,以实现情感的准确预测。尽管现有技术已取得进展,但仍面临如何集成处理不同目标类型、如何提升模型对网络语言的鲁棒性等挑战。
综上,现有的多模态目标级情感分类方法存在着无法有效地对模型的鲁棒性进行分析的问题。
实现思路