(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211353305.1 (22)申请日 2022.11.01 (71)申请人 深圳市鹏创软件 有限公司 地址 518000 广东省深圳市宝安区新 安街 道鸿辉工业园2号3层-1 (72)发明人 柴亚伟　郑永勤　阮兆辉　文庆　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 张娈 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06T 7/73(2017.01) G06T 7/11(2017.01) (54)发明名称 板书抓拍方法、 装置、 电子设备及可读存储 介质 (57)摘要 本申请公开了一种板书抓拍方法、 装置、 电 子设备及可读存储介质， 所述板书抓拍方法包 括： 获取目标区域的全景画面， 对所述全景画面 进行识别， 得到板书区域检测结果以及人形检测 结果； 根据所述板书区域检测结果从所述全景画 面中裁切出板书区域， 并根据所述板书区域检测 结果以及所述人形检测结果， 判断板书区域是否 被遮挡； 当所述板书区域未被遮挡时， 根据所述 板书区域内的画面， 确定板书区域图像数据； 当 所述板书区域被部分遮挡时， 更新未被遮挡的部 分区域的图像帧， 生成所述板书区域图像数据。 本申请解决了板书抓拍系统复杂度高的技术问 题。 权利要求书2页 说明书13页 附图3页 CN 115410232 A 2022.11.29 CN 115410232 A 1.一种板书抓拍方法， 其特 征在于， 所述板书抓拍方法包括： 获取目标区域的全景画面， 对所述全景画面进行识别， 得到板书区域检测结果以及人 形检测结果； 根据所述板书区域检测结果从所述全景画面中裁切出板书区域， 并根据 所述板书区域 检测结果以及所述人 形检测结果， 判断板书区域是否被遮挡； 当所述板书区域未被遮挡时， 根据所述板书区域内的画面， 确定 板书区域图像数据； 当所述板书区域被部分遮挡时， 更新未被遮挡的部分区域的图像帧， 生成所述板书区 域图像数据。 2.如权利要求1所述板书抓拍方法， 其特征在于， 所述板书区域图像数据包括板书区域 快照， 所述人形检测结果包括教师动作检测信息， 所述当所述板书区域未被遮挡时， 根据所 述板书区域内的画面， 确定 板书区域图像数据的步骤 包括： 当所述板书区域未被遮挡时， 基于所述教师动作检测信 息判断在上一板书区域快照的 时间点与当前时间点之间是否存在板书动作， 其中， 所述上一板书区域快照为已存储的板 书区域快照中对应的时间点与当前时间点 最近的板书区域快照； 若是， 则对所述板书区域内的画面进行抓拍， 得到板书区域快照， 并存储所述板书区域 快照。 3.如权利要求1所述板书抓拍方法， 其特征在于， 所述板书区域图像数据包括板书区域 快照， 所述当所述板书区域未被遮挡时， 根据所述板书区域内的画面， 确定板书区域图像数 据的步骤 包括： 当所述板书区域未被遮挡时， 对比当前板书区域图像与上一板书区域快照， 得到 图像 差异值， 其中， 所述上一板书区域快照为已存储的板书区域快照中对应的时间点与当前时 间点最近的板书区域快照； 判断所述图像差异值是否大于预设差异阈值； 若是， 则将所述当前板书区域图像置为板书区域快照， 并存 储所述板书区域快照。 4.如权利要求1所述板书抓拍方法， 其特征在于， 所述板书区域图像数据包括板书视频 流数据， 所述当所述板书区域被部分遮挡时， 根据所述板书区域检测结果从所述全景画面 中裁切出板书区域， 并更新未被遮挡的部分区域的图像 帧， 生成所述板书区域图像数据的 步骤包括： 当所述板书区域被遮挡时， 分析 所述人形检测结果， 得到人 形遮挡区域； 将所述人形遮挡区域的画面帧保持在未被遮挡前的画面帧， 并更新未被遮挡的区域的 图像帧， 得到 板书视频画面； 对所述板书视频画面进行编码， 生成所述板书视频流数据。 5.如权利要求4所述板书抓拍方法， 其特征在于， 在所述将所述人形遮挡区域的画面帧 保持在未被遮挡前 的画面帧， 并更新未被遮挡的区域的图像 帧， 得到板书视频画面的步骤 之后， 还包括： 当检测到所述人形遮挡区域的画面帧与所述未被遮挡前的画面帧交界线处存在板书 内容拼接异常的情况； 对交界线两侧的内容进行检测， 判断是否存在宽度大于预设阈值的空白区域； 若是， 则将所述板书空白区域置为所述人形遮挡区域的画面帧与所述未被遮挡前的画权　利　要　求　书 1/2 页 2 CN 115410232 A 2面帧交界线。 6.如权利要求1所述板书抓拍方法， 其特征在于， 所述板书区域检测结果包括板书区域 位置信息， 所述人形检测结果包括人形位置信息以及教师动作检测信息， 所述获取目标区 域的全景画面， 对所述全景画面进行识别， 得到板书区域检测结果以及人形检测结果的步 骤包括： 通过单目摄像机采集目标区域的全景画面， 通过板书区域检测模型对所述全景画面进 行识别， 得到所述板书区域位置信息， 其中， 所述板书区域检测模型是由课堂场景画面进 行 训练得到， 其中， 所述课 堂场景画面包括至少包括屏幕、 黑窗帘中的一种； 通过人形检测模型对所述全景画面进行识别， 得到所述人形位置信 息以及教师动作检 测信息， 其中， 所述人形位置信息包括教师位置信息以及学生位置信息， 所述人形检测模型 是由课堂场景画面以及包 含教师板书动作的图片训练得到 。 7.如权利要求1所述板书抓拍方法， 其特征在于， 所述人形检测结果包括教师位置信 息， 所述板书抓拍方法还 包括： 对所述全景画面进行编码， 得到全景视频流数据； 根据所述教师位置信息， 从所述全景画面中裁切出教师的特写画面； 对所述特写画面进行编码， 得到教师 特写视频流数据。 8.一种板书抓拍装置， 其特 征在于， 所述板书抓拍装置包括： 画面识别模块， 用于获取目标区域的全景画面， 对所述全景画面进行识别， 得到板书区 域检测结果以及人 形检测结果； 板书裁切模块， 用于根据所述板书区域检测结果从所述全景画面中裁切出板书区域， 并根据所述板书区域检测结果以及所述人 形检测结果， 判断板书区域是否被遮挡； 完整图像更新模块， 用于当所述板书区域未被遮挡时， 根据 所述板书区域内的画面， 确 定板书区域图像数据； 部分图像更新模块， 用于当所述板书区域被部分遮挡时， 更新未被遮挡的部分区域的 图像帧， 生成所述板书区域图像数据。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信链接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求 1至7中任一项 所述的板书抓拍方法 的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有实现板 书抓拍方法的程序， 所述 实现板书抓拍方法的程序被处理器执行以实现如权利要求 1至7中 任一项所述板书抓拍方法的步骤。权　利　要　求　书 2/2 页 3 CN 115410232 A 3