本申请公开了一种模型评估任务处理方法及装置,涉及人工智能技术领域。本申请可以获取待评估模型对应的评估任务,基于每个子任务包含的多个子步骤,对子任务进行流式处理;在处理子任务的过程中,基于每个子步骤对应的执行数据,确定子任务的任务状态;基于任务状态为完成状态的子任务的数量,计算评估任务的执行进度;若执行进度达到预设进度,建立并执行与候选任务相同的备份任务;若评估任务中的所有子任务的任务状态均为完成状态,结束所述评估任务的相关任务。在评估任务执行到一定进度时,对未完成的子任务进行备份并执行,在候选任务出现问题执行缓慢时,备份任务也能正常执行,以加快子任务的效率,进而可缩短整个模型评估的耗时。
背景技术
模型评估是指对训练好的模型进行性能评估,以了解模型在未见过的新数据上的表现。这一过程涉及对模型进行全面、细致的考量,以便准确了解其在实际应用中的能力。在模型评估中,通常会运用一系列精心设计的指标,以量化模型在多个维度上的表现,例如预测能力、泛化能力等。
为了实现对模型的全面评估,通常会利用多种不同的数据测评模型的能力,然而,这种方式也导致了评估过程耗时较长,由此,目前亟需一种方式缩短模型评估的耗时。
实现思路