(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210440225.3 (22)申请日 2022.04.25 (71)申请人 重庆市科 学技术研究院 地址 401147 重庆市渝北区杨柳路3号 (72)发明人 熊黎丽　李潇珂　韩鹏　袁明宏　 刘勇　李国勇　任杰　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 李源 (51)Int.Cl. B25J 9/16(2006.01) G06T 17/00(2006.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 未来教学空间场景建模与认知理解方法及 系统 (57)摘要 本发明提供了一种未来教学空间场景建模 与认知理解方法及系统， 包括： 对教学空间分类 并进行区域划分， 定义空间及空间内典型物体； 将物体以数据条码的形式录入知识库； 教学助手 机器人读取数据条码， 识别物体并查验知识库信 息， 形成先验知 识； 识别物体， 与条码读取结果进 行效验， 对异常样本进行重采样， 并对识别模型 进行参数调优， 形成自学习反馈网络； 综合对物 体空间位置、 外观识别， 以及知 识库先验知识， 形 成对空间内物体的全属性理解， 并通过物体属性 与空间功能之间的关联关系判定， 实现对空间及 区域的场景功能认知与理解； 对教学空间进行三 维重建、 区域划分与识别结果标注。 本发明为解 析和重构教与学的关系， 提升教学效果及学习效 率提供技术方案。 权利要求书4页 说明书12页 附图2页 CN 114888795 A 2022.08.12 CN 114888795 A 1.一种未来教学空间场景建模与认知理解方法， 其特 征在于， 包括： 步骤S1： 对教学空间分类并进行区域划分， 定义空间及空间内典型物体； 步骤S2： 将空间内典型物体以数据条码的形式录入知识库； 步骤S3： 教学助手机器人读取数据条码， 识别物体ID并查验知识库信息， 形成先验知 识； 步骤S4： 教学助手机器人通过机器视觉识别物体， 完成对目标的空间位置定位和外观 识别， 并与条码读取结果进 行效验， 针对识别错误的样本进 行重采样， 并对识别模型进行参 数调优， 形成自学习反馈网络， 提升识别模型对空间物理环境的感知精度； 步骤S5： 综合对物体空间位置、 外观识别， 以及知识库先验知识， 形成空间内物体的全 属性理解， 并通过物体属 性与空间功能之间关联关系判定， 实现对空间及区域的场景功 能 认知与理解； 步骤S6： 对教学空间进行三维重建、 区域划分与识别结果标注， 为教学助手机器人执行 教学任务 提供空间标识。 2.根据权利要求1所述的未来教学空间场景建模与认知理解方法， 其特 征在于： 在所述步骤S1中： 对未来教学物理空间进行分类， 根据教学任务、 室内功能区域划分， 定义教学空间与区 域内的物体及附属教具、 教学设备； 教学物理空间记为Si， 分类包括基础学科教育空间S1、 美育教育空间S2、 体育教育空间 S3、 心理教育空间S4、 信息科技教育空间S5、 学科实验室S6； 根据室内功能设计定位以及教学任务的开展形式， 对教学空间进行区域拆分； 基础功 能区域划分包括 教师授课区域、 学生学习操作区域、 授课内容展示交互区域、 教具与设备陈 列区域、 公共区域； 针对教学空间Si， 根据教学任务及室内设计进行宏观的区域划分， 记为 SiAj； 针对教学空间Si， 标记该区域内的核心 物体及附属教具、 教学设备为SiTk； 在所述步骤S2中： 录入信息包括物体ID、 名称、 型号、 尺寸、 用途、 用法； 在所述步骤S3中： 教学助手机器人通过摄像头读取数据条码， 识别物体ID并查验知识库信息， 完成对物 体属性的初次认知， 完成先验知识储备。 3.根据权利要求1所述的未来教学空间场景建模与认知理解方法， 其特征在于， 在所述 步骤S4中： 对教学物 理空间内的物体及附属教具、 教学设备通过机器视觉算法， 进行检测和识别， 并设置奖惩机制， 形成自学习反馈网络， 提升对空间物理环境的感知能力和精度： 利用目标检测与识别算法完成对教学空间与区域内物体、 附属教具、 教学设备的目标 定位和识别， 并标记处目标位置及识别结果； 将自动识别的结果与系统查验结果进行 校验； 如果识别结果与系统查验结果一致， 系统标记为T， 为正反馈； 如果识别结果与系统查 验结果不一致， 系统标记为F， 并启动摄像头完成对物体多角度的图像采集， 进行归一化处 理、 数据标注后存储至图像样本库， 并关联至该物体ID， 针对重采样的样本数据， 划分训练 集、 验证集和测试集， 提取异常图像样本特征并调整模型参数， 进行局部调优， 提高对该类 物体的识别率和算法的泛化能力， 形成自学习反馈网络， 提升教学助手机器人对环境及典权　利　要　求　书 1/4 页 2 CN 114888795 A 2型物体的感知识别能力和识别精度。 4.根据权利要求1所述的未来教学空间场景建模与认知理解方法， 其特征在于， 在所述 步骤S5中： 针对定义的教学空间内的隶属于该空间内的物体、 教具、 教学设备， 设置空间与空间内 物体的关联规则， 基于客观事实和经验认知， 对物体、 教具、 教学设备数据项， 以个体项或组 合项为基本单位， 设置支持度、 置信度， 以及支持度、 置信度的最低阈值； 支持度为数据项在 该空间所有数量物体内出现的频率； 置信度为A个体项存在的情况下， B个体项也存在的条 件概率； 通过对教学空间内核心物体、 教具、 教学设备的识别及统计结果， 计算个体项或组合项 的支持度与置信度， 满足阈值范围要求的， 视为与某类空间功能存在强关联关系； 每个物理教学空间为独立样本， 根据对教学空间内物体、 教具、 教学设备的识别结果， 作为一条数据样本， 建立数据集 合； 对数据集合， 运用关联规则算法， 自动计算数据项之间的关联规则， 并优化调整设置的 支持度、 置信度最低阈值， 形成自学习反馈网络， 提高对物体属性与空间功能间关联关系的 认知能力。 5.根据权利要求1所述的未来教学空间场景建模与认知理解方法， 其特征在于， 在所述 步骤S6中： 教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执行 的任务动态调整： 通过双目摄像头实现立体视觉， 将教学AI助手放置在教室前方任一角落位置， 保证前 方视角无遮挡， 进行系统初始化定位和图像采集任务； 利用获取的初始帧图像I1与图像I2进行三维建模， 形成 教学空间的数字几何模型M； 利用特征算子对两张图像I1与I2进行图像特 征点提取得到特征点矩阵； 使用k近邻算法计算 最近邻匹配实现特 征点间的匹配； 通过SFM算法迭代恢复摄像头的内外参数， 并由三角化确定特征点的三维坐标， 实现稀 疏重建； 通过光束法平差进行非线性优化， 通过调整三维点的旋转平移矩阵及三维点信 息使得 反向投影差最小， 降低重建误差； 将教学空间按照功能区域进行语义分割， 并注释各类教学空间的功能区域， 标注后的 模型记为M*； 对教学物理 空间内的物体及附属教具、 教学设备的定位及识别结果， 同步标注在M*中。 6.一种未来教学空间场景建模与认知理解系统， 其特 征在于， 包括： 模块M1： 对教学空间分类并进行区域划分， 定义空间及空间内典型物体； 模块M2： 将空间内典型物体以数据条码的形式录入知识库； 模块M3： 教学助手机器人读取数据条码， 识别物体ID并查验知识库信息， 形成先验知 识； 模块M4： 教学助手机器人通过机器视觉识别物体， 完成对目标的空间位置定位和外观 识别， 并与条码读取结果进 行效验， 针对识别错误的样本进 行重采样， 并对识别模型进行参 数调优， 形成自学习反馈网络， 提升识别模型对空间物理环境的感知精度；权　利　要　求　书 2/4 页 3 CN 114888795 A 3