大语言模型驱动的日志分析与检索优化技术及设备
2025-02-21 14:05
No.1342497367630553088
技术概要
PDF全文
本技术提出了一种利用大语言模型的日志分析与检索优化技术及其设备。该技术通过从目标日志中提取日志向量,并结合检索增强生成和前缀解析树,在日志模板库中进行匹配,以实现高效的日志解析和检索。
背景技术
随着计算机技术的发展,在分布式系统、超算、服务器应用程序或者各种软件中生成了数以百万计甚至千万的日志数据。日志是系统在运行过程中自动生成的记录文件,记录了系统的各种事件、操作和状态信息。它们在系统诊断、安全分析和性能优化中具有重要意义,因为它们提供了系统行为的详细记录,帮助工程师识别和解决问题。从日志中提取可操作的部分在很大程度上取决于日志解析过程,该过程将原始日志转换为结构化格式——日志模板以供下游任务使用,如异常检测、故障原因分析等。 然而,现代系统不断发展迭代导致日志模板变化加快,出现大量的新日志,复杂性极大提高,对已有的自动解析技术构成了重大挑战。大语言模型(LLM)的出现提供了新的方法。凭借预训练阶段学习到的广泛知识,大模型拥有了上下文理解能力,具备处理日志数据的条件,泛化能力较强。 但基于LLM的解析方法需要大量的计算资源和训练数据,提高了操作成本,而且基于LLM的逐行解析方法也带来了较高计算开销。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
唐枫枭  左宏伟  赵明
技术所属: 中南大学  绵阳群知智能科技有限责任公司
相关技术
基于区块链技术的数字经济监测方法 基于区块链技术的数字经济监测方法
一种基于观测数据和机器学习的河口通量实时计算方法 一种基于观测数据和机器学习的河口通量实时计算方法
基于数字孪生的航空涡轮叶片服役损伤监测方法 基于数字孪生的航空涡轮叶片服役损伤监测方法
一种基于统计控制的联邦学习恶意参与方检测方法及系统 一种基于统计控制的联邦学习恶意参与方检测方法及系统
一种基于改进深度学习模型的洪灾水体智能识别方法 一种基于改进深度学习模型的洪灾水体智能识别方法
一种基于实际车流荷载的桥梁限载确定方法、系统及介质 一种基于实际车流荷载的桥梁限载确定方法、系统及介质
一种基于垂向偏差模型的HSRL海水后向散射反演方法 一种基于垂向偏差模型的HSRL海水后向散射反演方法
一种基于FPGA的神经网络存算资源优化分配方法及系统 一种基于FPGA的神经网络存算资源优化分配方法及系统
一种远程互动教研平台终端 一种远程互动教研平台终端
一种河流径流还原方法及系统 一种河流径流还原方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利