一种基于模态多样性的短视频自动标注方法
2025-02-23 09:35
No.1343154314713243648
技术概要
PDF全文
本技术提供一种基于模态多样性的短视频自动标注方法,属于自动标注领域,包括:获取三种模态以描述短视频的整体表示;将三种模态两两组合形成三种模态组,分别将各模态组合输入多头注意力机制中,以得到增强的视觉特征f
背景技术
近年来,随着多媒体技术的迅猛进步,短视频成为备受欢迎的传播形式,吸引了庞大的用户群体。然而,如何为用户提供更加精准的个性化服务,已成为短视频行业面临的一大挑战。目前,在短视频领域的研究方向主要为个性化推荐、流行度预测以及记忆度建模等。短视频的自动标注功能对于高效利用视频资源、方便检索、分类和管理具有重要意义。而由于短视频包含了多模态信息,这为多标签分类带来了挑战。其关键在于如何有效地整合这些多模态信息,以形成准确的多模态表示。过去的方法在追求多模态一致表示时,往往忽视了模态多样性的考量,这可能导致模态偏差的产生。模态偏差不仅会使表征偏离视频内容,还可能阻碍信息的融合。因此,如何克服这些问题,完成准确率更高的自动标注,成为当前研究的重点。 为了获得更加准确的多模态表示,研究者们从联合表征学习和协调表征学习两个角度进行了研究。联合表征学习致力于将不同模态的信息投影到共享的空间中,然后整合模态信息;协调表征学习则侧重于在保持各个模态表征独立性的同时,探索它们之间的潜在关系。这些研究为探索多标签分类的一致性和互补性提供了许多的有效方案。 在多标签分类中,类别相关性是一个主要的问题。早期的方法如二元关联、校准标签排名等,探究了两标签的关联关系。然而,这些浅层网络很难对复杂的标签关系进行建模。近年来,越来越多的基于图网络的多标签分类方法得到了发展。然而,在多模态场景下,多标签分类面临着更复杂的挑战——建模模态和多标签的潜在关系。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
苏育挺井佩光
技术所属: 泉州桐兴科技有限公司.
相关技术
人脸识别装置 人脸识别装置
玉米果穗表型分析方法、装置及设备 玉米果穗表型分析方法、装置及设备
焊缝关键点识别方法、装置、设备、介质及程序产品 焊缝关键点识别方法、装置、设备、介质及程序产品
基于三维点云数据的辅助加工质量评估方法、介质及设备 基于三维点云数据的辅助加工质量评估方法、介质及设备
跨令牌引导Transformer的弱监督定位方法 跨令牌引导Transformer的弱监督定位方法
一种基于Mamba的遥感图像作物分类方法 一种基于Mamba的遥感图像作物分类方法
基于局部密度参数调整与强度优化的点云平滑拟合方法 基于局部密度参数调整与强度优化的点云平滑拟合方法
图像情感分析方法及装置、存储介质及电子设备 图像情感分析方法及装置、存储介质及电子设备
一种基于CLIP损失与感知损失的扩散模型LoRA微调优化方法及系统 一种基于CLIP损失与感知损失的扩散模型LoRA微调优化方法及系统
融合时空立方体各向异性的图结构生成方法及装置 融合时空立方体各向异性的图结构生成方法及装置
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利