一种基于知识图谱的多模态习题表征方法
2025-02-24 20:18
No.1343678489508978688
技术概要
PDF全文
本技术公开了一种基于知识图谱的多模态习题表征方法,涉及多模态表征技术领域,包括:获取多模态信息的数学习题信息以及相关知识点,提取多模态习题涉及的所有元素;提取多模态习题的图像和文本特征;基于表层理解规则,明确习题文本和图片中各元素之间的空间关系,并构建表示表层信息的知识图谱;基于隐层理解的规则,将习题涉及的相关定理和公式转化为形式化语言,并构建表示隐层信息的知识图谱;将表示表层信息和表示隐层信息的知识图谱融合为表示完整的习题信息的知识图谱;基于表示不同习题信息的知识图谱节点和边,计算习题之间的相似度和困难度及文本知识图谱和图像知识图谱的匹配度;基于自动解题模型,获得习题的深度表征。
背景技术
Coursera和Udemy等在线学习平台引起了广泛关注。这些平台积累了大量的习题数据,并利用从这些习题来提供量身定制的教育应用程序。在这类问题中,数学习题的表征颇具挑战性,因为其本身就很抽象,而且缺乏直观理解。尤其是数学中的几何习题,理解起来更困难,因为它们涉及更广泛的符号和复杂的关系。但几何题往往以多模态形式存在,图表与文字部分相互补充,因此多模态几何题的解答极大考验模型的逻辑推理能力,其表征成为智力教育领域的研究热点。在最近的研究中,陆续探索了各种方法来实现多模态习题的表征。这些方法包括预训练方法和结构化知识表征(例如知识图谱)技术。预训练方法有助于基于任务或问题属性对多模态数据特征进行自监督学习。然而,这种方法需要从大量问题数据集中全面获取信息方面,并且很难充分表示数学符号之间的关系。以知识图谱为例的结构化知识表示技术在表示多模态数据方面表现出显著的有效性。但是,一些流行方法主要集中在单模态文本问题的部分内容信息上,这对于理解包含多种模态的几何习题来说是不够的。因此,在不依赖大量数据集并能够准确地将习题的几何图像等多模态信息以及基本定理和数学符号等隐式信息表示出来,并将它们有效地整合在一起以改进后续任务,是一个显著的挑战。目前现有技术中难以通过大量习题数据有效地捕获全面信息,从而导致下游任务性能的提升受阻,因此亟需提出一种基于知识图谱的多模态习题表征方法。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
官全龙  管文山  方良达  段修亮  黄秀姐  周玉宇  杨志伟  巩志国  罗伟其  陈晓宇
技术所属: 暨南大学  广东光大信息科技股份有限公司
相关技术
基于流程模拟软件自定义模块的流程模拟方法、装置、平台、介质及产品 基于流程模拟软件自定义模块的流程模拟方法、装置、平台、介质及产品
气动进给清灰装备控制方法及系统 气动进给清灰装备控制方法及系统
一种基于自学习的数据挖掘方法及系统 一种基于自学习的数据挖掘方法及系统
一种基于商密SM9的前向安全标识签名方法 一种基于商密SM9的前向安全标识签名方法
面向深度强化学习的电网运行环境推演方法 面向深度强化学习的电网运行环境推演方法
一种基于知识图谱的多模态习题表征方法 一种基于知识图谱的多模态习题表征方法
一种非结构化文本类信息融合方法及装置 一种非结构化文本类信息融合方法及装置
基于生成对抗网络数据解耦的数据平衡去毒方法 基于生成对抗网络数据解耦的数据平衡去毒方法
一种地脚螺栓防松设计方法及系统 一种地脚螺栓防松设计方法及系统
一种弹性组合定步长仿真方法及系统 一种弹性组合定步长仿真方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利