(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210349405.0 (22)申请日 2022.04.01 (71)申请人 中煤科工开采研究院有限公司 地址 102206 北京市顺 义区中关村科技园 区顺义园临空二路1号 申请人 天地科技股份有限公司 (72)发明人 赵国瑞　任怀伟　巩师鑫　杜毅博　 杜明　文治国　周杰　韩哲　 李帅帅　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 单冠飞 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01)G06T 17/00(2006.01) G06T 3/40(2006.01) (54)发明名称 基于视觉三维重建的采煤工作面可视化监 控系统及方法 (57)摘要 本申请提出了一种基于视觉三维重建的采 煤工作面可视化监控系统及方法， 其中， 该系统 包括： 实时视频采集模块， 用于实时采集综采工 作面生产画面的视频流； 综采工作面煤机装备三 维模型模块， 用于建立综采工作面煤机装备三维 模型； 视觉测量模块， 用于基于图像数据， 实时测 量每个煤机装备的状态参数； 数据驱动模型模 块， 用于基于状态参数驱动综采工作面煤机装备 三维模型， 输出综采工作面煤机装 备三维模型实 时驱动视频流； 三维可视化监控模块， 用于形成 综采工作面围岩状态与煤机装备三维实时驱动 监控画面。 本方案可以实现综采工作面围岩状态 及煤机装备状态的远程监控， 提升监控数据准确 性。 权利要求书2页 说明书10页 附图3页 CN 114743160 A 2022.07.12 CN 114743160 A 1.一种基于 视觉三维重建的采煤 工作面可视化 监控系统， 其特 征在于， 包括： 实时视频采集模块， 用于基于固定于综采工作面的液压支架上的多个摄像头， 实时采 集所述综采工作面生产画面的视频流； 所述视频流的视频画 面中包括所述综采工作面中多 个煤机装备在不同视角下的图像数据； 综采工作面煤机装备三维模型模块， 用于基于所述图像数据、 每个所述煤机装备的结 构尺寸信息及所述综采工作面的装备布设信息， 建立综采工作面煤 机装备三维模型； 视觉测量模块， 用于基于所述图像数据， 实时测量每 个所述煤 机装备的状态参数； 数据驱动模型模块， 用于基于所述状态参数驱动所述综采工作面煤机装备三维模型， 输出综采工作面煤 机装备三维模型实时驱动视频流； 三维可视化监控模块， 用于将每个所述摄像头采集的视频流进行拼接， 形成综采工作 面拼接画面， 并将所述综采工作面煤机装备三维模型实时驱动视频流和所述综采工作面拼 接画面进行叠加， 形成 综采工作面围岩状态与煤 机装备三维 实时驱动监控画面。 2.根据权利要求1所述的系统， 其特征在于， 所述综采工作面煤机装备三维模型模块具 体用于： 对所述图像数据进行 特征提取， 确定每 个所述煤 机装备各自对应的图像数据； 基于每个所述煤机装备各自对应的图像数据， 建立每个所述煤机装备的初始煤机装备 三维模型； 基于每个所述煤机装备的结构尺寸信 息， 分别对所述初始煤机装备三维模型进行深度 修复； 根据修复后的煤机装备三维模型和所述综采工作面的装备布设信 息， 对综采工作面场 景进行三维重构， 获得 所述综采工作面煤 机装备三维模型。 3.根据权利要求1所述的系统， 其特征在于， 在所述实时视频采集模块采集的视频流 中， 每个所述摄 像头采集的视频画面均包括部分重合画面。 4.根据权利要求1所述的系统， 其特 征在于， 所述 三维可视化 监控模块还用于： 以采煤机为中心， 将位于所述采煤机之前的N个摄像头和位于所述采煤机之后的N个摄 像头所采集的视频画面进行拼接， 形成生产局部拼接画面； 其中， 所述 N为正整数； 将所述综采工作面煤机装备三维模型实时驱动视频流和所述生产局部拼接画面形成 的视频流进行叠加， 形成所述综采工作面围岩状态与煤 机装备三维 实时驱动监控画面。 5.根据权利要求1所述的系统， 其特 征在于， 还 包括： 视频预处理模块， 用于基于 图像处理算法对所述视频流的每帧图像进行预处理， 获得 处理后的视频流； 其中， 所述视觉测量模块， 还用于基于所述处理后的视频流的视频画面中多个煤机装 备在不同视角下的图像数据， 实时测量每 个所述煤 机装备的状态参数； 所述三维可视化监控模块， 还用于将所述处理后的视频流中每个所述摄像头采集的视 频流进行拼接， 形成 综采工作面 拼接画面。 6.一种基于视觉三维重建的采煤工作面可视化监控方法， 其特征在于， 所述方法应用 于如权利要求1至 6中任一项所述的系统； 所述方法包括： 所述实时视频采集模块基于 固定于综采工作面的液压支架上的多个摄像头， 实时采集 所述综采工作面生产画 面的视频流； 所述视频流的视频画面中包括所述综采工作面中多个权　利　要　求　书 1/2 页 2 CN 114743160 A 2煤机装备在不同视角下实时的图像数据； 所述综采工作面煤机装备三维模型模块基于所述图像数据、 每个所述煤机装备的结构 尺寸信息及所述综采工作面的装备布设信息， 建立综采工作面煤 机装备三维模型； 所述视觉测量模块基于所述图像数据， 实时测量每 个所述煤 机装备的状态参数； 所述数据驱动模型模块基于所述状态参数驱动所述综采工作面煤机装备三维模型， 输 出综采工作面煤 机装备三维模型实时驱动视频流； 所述三维可视化监控模块将每个所述摄像头采集的视频流进行拼接， 形成综采工作面 拼接画面， 并将所述综采工作面煤机装备三 维模型实时驱动视频流和所述综采工作面拼接 画面进行叠加， 形成 综采工作面围岩状态与煤 机装备三维 实时驱动监控画面。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述图像数据、 每个所述煤机装 备的结构尺寸信息及所述综采工作面的装备布设信息， 建立综采工作面煤机装备三维模 型， 包括： 对所述图像数据进行 特征提取， 确定每 个所述煤 机装备各自对应的图像数据； 基于每个所述煤机装备各自对应的图像数据， 建立每个所述煤机装备的初始煤机装备 三维模型； 基于每个所述煤机装备的结构尺寸信 息， 分别对所述初始煤机装备三维模型进行深度 修复； 根据修复后的煤机装备三维模型和所述综采工作面的装备布设信 息， 对综采工作面场 景进行三维重构， 获得 所述综采工作面煤 机装备三维模型。 8.根据权利要求6所述的方法， 其特征在于， 在所述实时视频采集模块采集的视频流 中， 每个所述摄 像头采集的视频画面均包括部分重合画面。 9.根据权利要求6所述的方法， 其特征在于， 所述将每个所述摄像头采集的视频流进行 拼接， 形成综采工作面拼接画面， 并将所述综采工作面煤机装备三维模型实时驱动视频流 和所述综采工作面拼接画面进 行叠加， 形成综采工作面围岩 状态与煤机装 备三维实时驱动 监控画面， 包括： 以采煤机为中心， 将位于所述采煤机之前的N个摄像头和位于所述采煤机之后的N个摄 像头所采集的视频画面进行拼接， 形成生产局部拼接画面； 其中， 所述 N为正整数； 将所述综采工作面煤机装备三维模型实时驱动视频流和所述生产局部拼接画面形成 的视频流进行叠加， 形成所述综采工作面围岩状态与煤 机装备三维 实时驱动监控画面。 10.根据权利要求6所述的方法， 其特 征在于， 还 包括： 所述视频预处理模块基于图像处理算法对所述视频流的每帧图像进行预处理， 获得处 理后的视频流； 其中， 所述基于所述视频流的画面， 实时测量每 个所述煤 机装备的状态参数， 包括： 基于所述处理后的视频流的视频画面中多个煤机装备在不同视角下的图像数据， 实时 测量每个所述煤 机装备的状态参数； 其中， 所述将每个所述摄像头采集的视频流进行拼接， 形成综采工作面拼接画面， 包 括： 将所述处理后的视频流中每个所述摄像头采集的视频流进行拼接， 形成综采工作面拼 接画面。权　利　要　求　书 2/2 页 3 CN 114743160 A 3