多模态联合对抗攻击技术与设备
2025-02-21 14:14
No.1342499842488016896
技术概要
PDF全文
本技术介绍了一种多模态联合对抗攻击技术及其设备,旨在人工智能安全领域中应对大规模语言模型对抗攻击的挑战。该技术专注于解决跨模态协同攻击建模和优化机制构建的难题。
背景技术
大语言模型(Large language model,LLM)作为生成式人工智能(Artificialintelligence,AI)领域的一个重要分支,日益成为推动社会进步和科技创新的关键力量。然而,LLM骨干架构极为复杂、权重参数量庞大、决策机制黑盒运行,尽管交互理解与内容生成能力不断增强,其推理幻觉影响生成内容的可信度,智能涌现引发模型决策不可预测性,外源攻击敏感性和内生安全脆弱性愈发凸显,导致应用安全性、决策可靠性、能力可控性面临着前所未有的挑战,诱发诸多领域的安全风险。 现有研究大多集中在利用文本输入和提示注入进行攻击,然而,针对文本指令提示词的攻击效力容易受到基于偏好的强化学习对齐技术的削弱,这类价值对齐机制利用AI反馈标记生成的文本内容,自动完成LLM对抗训练,直接拒绝非法指令和有害查询,确保生成基于无害、有用、真实原则的文本内容。也就是说,这类面向文本指令的单模态攻击难以逾越基于文本内容反馈的安全对齐机制,容易被自动检测与强制过滤,难以形成高级持续性威胁攻击态势。 目前,面向LLM的对抗攻击技术已经从单模态攻击发展到多模态攻击,主要利用文本、图像、音频、视频等多模态数据特性独立设计对抗性提示;由于没有考虑各模态语义的表征互补性与跨模态交互的对抗协同性,也没有有效融合有害文本语义与提示词引导生成的对抗图语义,同时也缺乏跨模态协同对抗攻击建模研究,致使现有多模态攻击尽管能够规避基于文本内容反馈的安全对齐机制,但攻击效力仍然有限,攻击成功率较低,攻击成本居高不下,更加难以突破基于多模态内容反馈的安全对齐限制;进一步地,面向LLM的对抗攻击策略设计过程中,通常利用纯梯度下降搜索策略在单模态输入语义空间中优化对抗扰动,由于没有构建有效的跨模态嵌入式语义空间对抗扰动优化机制,缺乏定位关键图文语义子空间,也没有在扰动优化过程中融合历史梯度的动量信息和未来梯度的海量信息获得跨模态广义梯度,致使寻优效率较低,收敛稳定性较差,更加难以生成跨模态最小代价的对抗扰动。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
彭弘毅  孙一凡  周维铭  彭希奥  陈茗扬  王震
技术所属: 西北工业大学
相关技术
一种基于实际车流荷载的桥梁限载确定方法、系统及介质 一种基于实际车流荷载的桥梁限载确定方法、系统及介质
一种基于垂向偏差模型的HSRL海水后向散射反演方法 一种基于垂向偏差模型的HSRL海水后向散射反演方法
一种基于FPGA的神经网络存算资源优化分配方法及系统 一种基于FPGA的神经网络存算资源优化分配方法及系统
一种远程互动教研平台终端 一种远程互动教研平台终端
一种河流径流还原方法及系统 一种河流径流还原方法及系统
一种兼容CHI协议的芯粒互联接口协议层电路及芯片 一种兼容CHI协议的芯粒互联接口协议层电路及芯片
一种岛礁建筑群受打击后毁伤程度预测方法 一种岛礁建筑群受打击后毁伤程度预测方法
一种基于融合技术的船舶操纵运动实时预报方法及系统 一种基于融合技术的船舶操纵运动实时预报方法及系统
资源分配回收方法、装置、设备及介质 资源分配回收方法、装置、设备及介质
一种显示面板、显示装置及制备方法 一种显示面板、显示装置及制备方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利