多模态视觉语言模型的安全攻击技术与系统
2025-02-13 14:22
No.1339602742859276288
技术概要
PDF全文
本技术涉及一种多模态视觉语言模型的安全攻击技术与系统,包括对第一视觉语言模型进行微调的步骤,选择初始替代模型,并将第二数据集输入至目标模型以进行攻击模拟。
背景技术
视觉语言模型因其在整合视觉与语言处理方面的卓越性能,已在多个领域得到广泛应用并迅速发展。这类模型的训练通常依赖于庞大的数据集和计算资源,使得视觉语言模型在技术和商业领域中具有极高的价值,但也因此更容易成为模型窃取攻击的目标。因此,与视觉语言模型相关的安全问题不容忽视。 虽然近年来模型窃取攻击受到了广泛关注,但目前大多数研究仍集中于单模态模型,针对视觉语言模型的模型提取攻击的探索相对有限。针对视觉语言模型等多模态模型的模型窃取攻击仍面临许多挑战,在黑盒攻击场景中,攻击者只能访问目标模型的输入和输出,无法了解目标模型的内部架构或参数。视觉语言模型涉及图像和文本的多模态数据,这使得模型窃取攻击的效果更容易受到训练数据集分布一致性的制约,因此,亟需一种能够对视觉语言模型实施模型进行窃取攻击的方法,为研究视觉语言模型等多模态模型的潜在安全性及防御方法提供新方向。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
刘俊威  傅庆戊  闫红洋
技术所属: 广州大学
相关技术
一种基于VR高空模拟系统及其使用方法 一种基于VR高空模拟系统及其使用方法
一种模块化工业算力设备 一种模块化工业算力设备
一种基于边缘计算和大数据算法的RV减速器信息管理系统 一种基于边缘计算和大数据算法的RV减速器信息管理系统
一种独柱墩桥梁加固后的健康监测预警方法及系统 一种独柱墩桥梁加固后的健康监测预警方法及系统
一种具有无极滚轮和侧滚轮的鼠标 一种具有无极滚轮和侧滚轮的鼠标
一种文本展示方法、装置、设备和存储介质 一种文本展示方法、装置、设备和存储介质
一种多级行政区划要素的快速检索与展示方法及系统 一种多级行政区划要素的快速检索与展示方法及系统
一种审计数据价值评价方法及设备 一种审计数据价值评价方法及设备
一种基于智能背心生产质量安全溯源方法及系统 一种基于智能背心生产质量安全溯源方法及系统
一种线程监控的方法、装置、计算机设备和存储介质 一种线程监控的方法、装置、计算机设备和存储介质
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利