三维分子文本解析技术:结合混合专家与大型语言模型
2025-02-11 12:43
No.1338853051641110528
技术概要
PDF全文
本技术介绍了一种结合混合专家模型和大型语言模型的三维分子文本解析方法。该方法通过构建包含多个专家的新MoE层,实现跨模态的分子文本理解,提升了模型的泛化能力和准确性。
背景技术
语言模型(Language Model,LM)的快速发展引发了多学科领域的一系列创新。特别是,LM在基于文本的分子理解任务中表现优异,例如化学和医学领域的问答任务,其通过对大量生化文献的预训练展现出强大的知识学习能力。认识到 LM 在利用广泛的生化知识完成分子相关任务方面的潜力,分子-文本建模逐渐成为一个新兴的研究方向。目前的方法主要集中于将文本与1D分子序列和2D分子图相结合,例如应用对比学习的方法使LM同时学习输入的2D图数据以及分子字符串和文本,推动了诸如分子-文本检索和分子描述生成等任务的发展。 然而,这些研究大多忽略了3D分子结构,而后者在理解分子动力学、蛋白质-配体相互作用、酶功能及其他生物分子现象中至关重要。将3D分子编码器无缝集成到语言模型中以实现3D分子-文本理解存在多个问题。第一,3D分子-文本对齐的问题,即难以将3D分子表示映射到语言模型能够理解的输入空间;第二,基于3D分子的指令微调的问题,即如何针对与3D分子相关的任务,调整模型以更好地遵循人类指令;第三,多模态分子与任务的统一编码器的问题,即:分子-文本理解通常需要处理涵盖不同分子性质(例如量子化学性质和药物相关性质)的查询,同时理解多种分子模态(如1D、2D和3D)。然而,目前的分子编码器通常只针对单一性质或单一模态进行预训练,这种限制阻碍了构建分子-文本理解通用模型的能力;第四,高昂的计算成本,即:直接将多个分子编码器并行集成到3D分子语言模型会显著增加计算成本,并且随着编码器个数的增加,计算成本也会线性增加,同时在有效选择最相关的分子编码器以适应特定分子任务需求方面也存在挑战。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王翔  吴畅  方俊峰  何向南
技术所属: 中国科学技术大学
相关技术
FPGA实现硬件逻辑实时仿真的方法及装置 FPGA实现硬件逻辑实时仿真的方法及装置
基于API和数据库的动态标定方法 基于API和数据库的动态标定方法
一种虚拟机的沙箱引擎更新方法、装置、设备和介质 一种虚拟机的沙箱引擎更新方法、装置、设备和介质
频域响应仿真与测量数据处理方法及装置 频域响应仿真与测量数据处理方法及装置
服务数据节点迁移方法、装置、电子设备及存储介质 服务数据节点迁移方法、装置、电子设备及存储介质
配送控制方法、装置、服务器、智能柜及机器人 配送控制方法、装置、服务器、智能柜及机器人
适用于硬件电路的高精度压缩方法、装置及电子设备 适用于硬件电路的高精度压缩方法、装置及电子设备
融合多源信息的打击目标智能识别方法和系统 融合多源信息的打击目标智能识别方法和系统
水利对象关联关系建立方法 水利对象关联关系建立方法
问题解答方法、装置、介质和电子设备 问题解答方法、装置、介质和电子设备
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利