数据存储技术:检查点文件保存方案及设备
2025-02-13 19:37
No.1339683644020891648
技术概要
PDF全文
本技术涉及数据存储技术领域,提出了一种检查点文件保存方案,包括装置、电子设备和存储介质。该方案旨在获取包含主容器的目标容器组,主容器负责执行模型训练任务。
背景技术
在模型训练过程中,会产生检查点文件(checkpoint),检查点文件用于保存模型在训练过程中特定时间点的状态,包括模型网络参数、优化器状态等;相关技术中,通常将检查点文件保存至共享存储中,模型训练和检查点文件的保存同时进行,占用了计算机算力,导致检查点文件的保存速度降低,影响模型训练效率。 由此可见,相关技术中的检查点文件保存方法,存在由于模型训练和检查点文件的保存同时进行,影响模型训练效率的技术问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
王文潇
技术所属: 苏州元脑智能科技有限公司.
相关技术
一种基于医院场景识别的电子签章自动推荐方法 一种基于医院场景识别的电子签章自动推荐方法
一种支持动态陷门的可编辑区块链方法 一种支持动态陷门的可编辑区块链方法
一种基于序列补全策略的电离层参数预测方法及装置 一种基于序列补全策略的电离层参数预测方法及装置
一种基于多场景实体的数字红包发送方法及系统 一种基于多场景实体的数字红包发送方法及系统
一种基于物联网平台集成方法的环卫综合管理平台 一种基于物联网平台集成方法的环卫综合管理平台
一种电缆芯线包覆方法及系统 一种电缆芯线包覆方法及系统
一种基于BIM的建筑工程施工优化管理方法及管理平台 一种基于BIM的建筑工程施工优化管理方法及管理平台
基于遍历算法和数据集优化算法的3D锚位检测方法 基于遍历算法和数据集优化算法的3D锚位检测方法
基于知识图谱的三维工艺数字化方法及系统 基于知识图谱的三维工艺数字化方法及系统
一种网络服务器 一种网络服务器
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利