(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210700388.0 (22)申请日 2022.06.20 (71)申请人 阿波罗智联 （北京） 科技有限公司 地址 100176 北京市北京经济技 术开发区 瑞合西二路7号院1号楼1层101 (72)发明人 李金刚　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. H04N 5/232(2006.01) (54)发明名称 远程控制方法、 装置、 操作终端、 控制设备和 存储介质 (57)摘要 本申请公开了远程控制方法、 装置、 操作终 端、 控制设备和存储介质， 涉及自然语言 处理、 计 算机视觉和 智能硬件控制技术领域。 具体实现方 案为： 获取第一设备显示屏的拍摄数据， 根据拍 摄数据展示显示画面， 在接收到用户操作的情况 下， 在显示画面中确定用户操作的第一操作位 置， 根据用户操作的触控持续时间和/或触控轨 迹， 确定用户操作的操作类型， 根据第一操作位 置和用户操作的操作类型， 控制第二设备在第一 设备对应的第二操作位置上， 依据操作类型执行 用户操作， 通过被控设备外置的摄像头等装置， 无需在被控设备内部运行远程控制软件， 同时在 被控设备系统状态异常的情况下， 仍可实现远程 控制， 提高了 远程控制的可靠性。 权利要求书3页 说明书15页 附图8页 CN 115134523 A 2022.09.30 CN 115134523 A 1.一种远程控制方法， 包括以下步骤： 获取第一设备显示屏的拍摄数据； 根据所述拍摄数据， 展示显示画面； 在接收到用户操作的情况 下， 在所述显示画面中确定所述用户操作的第一操作位置； 根据所述用户操作的触控持续时间和/或触控轨 迹， 确定所述用户操作的操作类型； 根据所述第 一操作位置和所述用户操作的操作类型， 控制所述第 二设备在所述第 一设 备对应的第二操作位置上， 依据所述操作类型 执行操作。 2.根据权利要求1所述的方法， 其中， 所述根据所述第 一操作位置和所述用户操作的操 作类型， 控制所述第二设备在所述第一设备对应的第二操作位置上， 依据所述操作类型执 行操作， 包括： 根据所述用户操作的操作类型， 确定对应的目标事 件标识； 根据所述第 一操作位置在所述显示画面中的相对位置， 确定所述第 一操作位置的第 一 位置坐标； 根据所述目标事 件标识和所述第一 位置坐标， 生成第一指示信息； 向服务器发送所述第一指示信息， 其中， 所述第 一指示信 息， 用于指示所述服务器向所 述第二设备的控制设备发送对应的第二指示信息， 所述第二指示信息包括所述目标事件标 识， 以及所述第一位置坐标对应的第二位置坐标， 所述第二位置坐标用于指示所述第一设 备的显示屏中的所述第二操作位置 。 3.根据权利要求2所述的方法， 其中， 所述根据所述第 一操作位置在所述显示画面中的 相对位置， 确定所述第一操作位置的第一 位置坐标， 包括： 对所述显示画面进行边框识别， 以从所述显示画面中确定与 所述第一设备的显示屏对 应的目标区域； 基于所述目标区域建立第一图像坐标系， 其中， 所述第一图像坐标系以所述目标区域 中默认位置为坐标原点， 以所述目标区域的至少一边距离所述坐标原点的距离为单位长 度； 在所述第一图像坐标系中， 确定所述第一操作位置的所述第一 位置坐标。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一操作位置和所述用户操 作的操作类型， 控制所述第二设备在所述第一设备对应的第二操作位置上， 依据所述操作 类型执行操作， 包括： 根据所述用户操作的操作类型， 确定对应的目标事 件标识； 根据所述第 一操作位置在所述显示画面中的相对位置， 以及所述第 一设备的显示屏尺 寸， 确定所述第二操作位置在所述第一设备的显示屏上的第三 位置坐标； 根据所述目标事 件标识和所述第三 位置坐标， 生成第三指示信息； 通过所述服务器向所述第二设备的控制设备发送所述第三指示信息 。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述第 一操作位置在所述显示画 面中的相对位置， 以及所述第一设备 的显示屏尺寸， 确定对应的所述第二操作位置在所述 第一设备的显示屏上的第三 位置坐标， 包括： 对所述显示画面进行边框识别， 以从所述显示画面中确定与 所述第一设备的显示屏对 应的目标区域；权　利　要　求　书 1/3 页 2 CN 115134523 A 2根据所述第 一操作位置在所述显示画面中的相对位置， 确定所述第 一操作位置在所述 目标区域中的相对位置； 根据所述第 一操作位置在所述目标区域中的相对位置， 以及所述第 一设备的显示屏尺 寸， 确定对应的所述第二操作位置在所述第一设备的显示屏上的第三 位置坐标。 6.根据权利要求1 ‑5任一项所述的方法， 其中， 所述方法还 包括： 向服务器发送远程控制请求； 其中， 所述远程控制请求， 用于触发所述服务器从多台候选终端中确定空闲的所述第 一设备， 以及启动所述第一设备对应的所述第二设备。 7.一种远程控制方法， 包括以下步骤： 控制图像采集设备对第一设备的显示屏进行拍摄， 以得到拍摄数据； 将所述拍摄数据发送至操作终端以展示显示画面； 根据所述操作终端探测到的用户操作在所述显示画面中的第 一操作位置， 以及所述用 户操作的类型， 控制所述第二设备在所述第一设备对应的第二操作位置上， 依据所述操作 类型执行操作。 8.根据权利要求7所述的方法， 其中， 所述根据所述操作终端探测到的用户操作在所述 显示画面中的第一操作位置， 以及所述用户操作的类型， 控制所述第二设备在所述第一设 备对应的第二操作位置上， 依据所述操作类型 执行操作， 包括： 接收服务器发送的指示信 息； 其中， 所述指示信息， 是所述服务器根据 所述操作终端发 送的第一指示信息生成的第二指示信息， 或者， 是所述操作终端通过所述服务器发送的第 三指示信息； 根据所述指示信 息中携带的位置坐标， 确定所述第 一设备的显示屏中的所述第 二操作 位置； 根据所述指示信息中携带的目标事 件标识， 确定所述用户操作的操作类型； 控制所述第 二设备在所述第 一设备对应的第 二操作位置上， 依据 所述操作类型执行操 作。 9.根据权利要求8所述的方法， 其中， 所述控制所述第 二设备在所述第 一设备对应的第 二操作位置上， 依据所述操作类型 执行操作， 包括： 根据所述第 二设备的坐标系与所述第 一设备的显示屏的坐标系之间的转换关系， 确定 所述第二操作位置在所述第二设备的坐标系中的目标位置； 根据所述目标位置， 和所述操作类型， 向所述第二设备发送动作指令 。 10.根据权利要求7 ‑9任一项所述的方法， 其中， 所述方法还 包括： 向服务器发送空闲状态的指示信息； 其中， 所述空闲状态的指示信息用于所述服务器 从多台候选终端中确定空 闲的第一设备； 在所述服务器的控制下启动所述第一设备对应的所述图像采集设备和所述第二设备。 11.根据权利要求10所述的方法， 其中， 所述方法还 包括： 在设定时长内执 行操作， 则控制所述第一设备进入所述空 闲状态。 12.一种远程控制装置， 包括： 获取模块， 用于获取第一设备显示屏的拍摄数据； 展示模块， 用于根据所述拍摄数据， 展示显示画面；权　利　要　求　书 2/3 页 3 CN 115134523 A 3