本技术提供一种图像情感分析方法及装置、存储介质及电子设备,属于图像分析领域,该方法包括:确定目标图像的元数据集合,包括描述文本信息和标签信息;对标签信息进行语义描述形式转换,获得标签描述信息;对目标图像、描述文本信息和标签描述信息进行统一表征,得到元数据特征和图像特征;对元数据特征和图像特征进行信息增强,得到元数据增强特征和图像增强特征;对元数据增强特征和图像增强特征进行跨模态特征融合处理,获得目标图像的融合特征;基于融合特征进行情感识别,得到目标图像的情感类别。应用本发明的方法,可利用图像的元数据特征和视觉特征对图像呈现的情感进行多维度分析,有利于提高图像情感识别的准确性。
背景技术
在诸多领域中已广泛应用数据挖掘技术进行数据分析,以实现其业务需求。图像情感分析(Image Sentiment Analysis)是数据分析场景中的常见任务之一,图像情感分析旨在根据给定的图像,预测出图像中表达的情感极性。
目前,图像情感分析的实现方式,主要是提取和分析图像上的视觉特征,例如图像色彩、人物面部表情、人物身体动作等,利用图像的视觉特征识别图像中表达的情感。
发明人经研究发现,在实际的应用场景中,图像中的视觉信息通常容易受到诸如光线、遮挡、视角等要素的干扰,人物的面部表情或肢体动作等要素,在不同的情景中相同的视觉呈现可能表达不同的情感,故从图像中提取的视觉特征与实际的图像表征或情感表达可能存在差异,而在现有的图像情感分析方式中,图像的情感识别结果仅取决于图像中的视觉特征,当图像的视觉特征与图像的实际表达存在差异时,会导致情感分析结果存在较大误差,使得情感识别的准确性较差。
实现思路