(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626898.8 (22)申请日 2022.06.06 (71)申请人 武汉市芯中芯科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区关山大道21号泛悦城T2写字楼26 层03号 （自贸区武汉片区） (72)发明人 鲁霖　莫木新　涂元　 (74)专利代理 机构 北京鹏帆慧博知识产权代理 有限公司 1 1903 专利代理师 祝辽原 (51)Int.Cl. G06V 10/774(2022.01) G06T 7/70(2017.01) G06V 10/22(2022.01) G06T 7/66(2017.01)G06T 7/20(2017.01) H04W 4/80(2018.01) H04N 5/232(2006.01) (54)发明名称 基于Vision框架和Core ML框架的物 体追踪 系统及方法 (57)摘要 本发明提供了一种基于Vision框架和Core   ML框架的物体追踪系统及方法， 系统包括智能终 端设备和与之蓝牙连接的云台设备， 所述智能终 端设备安装有APP， 所述APP基于Vision框架和 Core ML框架开发而成； 通过智能终端设备处理 器强大的处理能力， 采集智能终端设备屏幕上的 图像信息， 计算出目标的位置坐标信息， 算法转 化后， 发送指令控制云台设备转动， 使追踪目标 一值处于拍摄的中心， 同时通过选定不同的识别 模型， 拓展可识别的范围， 不再局限于人脸识别 追踪， 通过模型的不断训练、 学习、 升级， 使识别 准确率和效率 不断的提升 。 权利要求书1页 说明书3页 附图1页 CN 114926711 A 2022.08.19 CN 114926711 A 1.基于Vision框架和Core  ML框架的物体追踪系统， 其特征在于： 包括智能终端设备和 与之蓝牙连接的云台设备， 所述智能终端设备安装有APP， 所述APP基于Vision框架和Core   ML框架开发而成。 2.基于Visi on框架和Core  ML框架的物体追踪方法， 其特 征在于： 包括以下步骤： S1.智能终端设备的AP P通过Core  ML框架进行物体识别学习， 训练物体模型； S2.智能终端设备与云台设备通过蓝牙建立连接； S3.智能终端设备的AP P采集图像； S4.智能终端设备的AP P通过Visi on框架识别图像； S5.智能终端设备的AP P将识别结果进行坐标转换； S6.智能终端设备的AP P判断目标图像是否偏离屏幕中心， 并控制云台设备旋转。 3.根据权利要求2所述的基于Vision框架和Core  ML框架的物体追踪方法， 其特征在 于： 步骤S4具体为： 创建一个物体检测请求VNDetectRectanglesRequest， 根据数据源创建 一个VNImageRequestHandler， 调用VN ImageRequestHandler  performRequests执 行识别。 4.根据权利要求2所述的基于Vision框架和Core  ML框架的物体追踪方法， 其特征在 于： 步骤S5具体为： 使用CGAffineTransform对识别结构进行坐标转换， 并根据转换后的结 果矩形绘制红色边框， 同时打印co nfidence信息 到屏幕上。 5.根据权利要求4所述的基于Vision框架和Core  ML框架的物体追踪方法， 其特征在 于： 步骤S5还具体包括： 创建VNSequenceRequestHandler处 理多帧图像用于物体跟踪。 6.根据权利要求5所述的基于Vision框架和Core  ML框架的物体追踪方法， 其特征在 于： 跟踪多物体时， 使用VNDetectedObjectObservati on.uuid区分跟踪对象。 7.根据权利要求4所述的基于Vision框架和Core  ML框架的物体追踪方法， 其特征在 于： 步骤S5还具体包括： 创建一个VNDetectedObjectObservation对象做为参考源， 参考源 为物体识别的结果或者指定的一个矩形。 8.根据权利要求2所述的基于Vision框架和Core  ML框架的物体追踪方法， 其特征在 于： 步骤S6具体为： 识别的物体在坐标系中以矩形进行表示， 首先计算出手机屏幕的中心 线， 然后计算出目标矩形在坐标系中的中心线， 当目标矩形 的中心线与手机屏幕中心线的 距离大于手机屏幕宽度的十分之一时， 智能终端设备的APP向云台设备发送开始旋转的指 令， 当检测到目标矩形的中心线与手机屏幕中心线的距离小于手机屏幕宽度的十分之一 时， 智能终端设备的AP P向云台设备发送 停止开始旋转指令 。权　利　要　求　书 1/1 页 2 CN 114926711 A 2基于Vision框架和Core  ML框架的物体追踪系统及方 法 技术领域 [0001]本发明涉及物体识别追踪领域， 特别是涉及一种基于Vision框架和Core  ML框架 的物体追踪系统及方法。 背景技术 [0002]随着直播行业的快速发展， 人脸随拍也越来越广泛， 人们会利用手机来跟随人脸 直播。 采用在手机云台装置上加入人型检测模块， 识别人脸， 通过BLE指令控制支撑设备的 旋转， 跟随人脸转动。 但受 限于设备 的处理能力有限， 人物识别准确率低， 导致设备转动错 误， 无法准确的跟随人物， 而且只能识别人物， 对于其 他的物体， 无法识别。 [0003]因此， 亟需一种基于Vision框架和Cor e ML框架的物体追踪系统及方法， 能够解决 现有云台支撑设备 无法准确跟随物体旋转的问题。 发明内容 [0004]本发明的目的是提供一种基于Vision框架和Core  ML框架的物体追踪系统及方 法， 以解决上述现有云台支撑设备 无法准确跟随物体旋转的问题。 [0005]为实现上述目的， 本发明提供了如下 方案： [0006]本发明提供一种基于Vision框架和Core  ML框架的物体追踪系统， 包括智能终端 设备和与之蓝牙连接的云台设备， 所述智能终端设备安装有APP， 所述APP基于Vision框架 和Core ML框架开发而成。 [0007]本发明提供一种基于Visi on框架和Core  ML框架的物体追踪方法， 包括以下步骤： [0008]S1.智能终端设备的AP P通过Core  ML框架进行物体识别学习， 训练物体模型； [0009]S2.智能终端设备与云台设备通过蓝牙建立连接； [0010]S3.智能终端设备的AP P采集图像； [0011]S4.智能终端设备的AP P通过Visi on框架识别图像； [0012]S5.智能终端设备的AP P将识别结果进行坐标转换； [0013]S6.智能终端设备的AP P判断目标图像是否偏离屏幕中心， 并控制云台设备旋转。 [0014]优选地， 步骤S4具体为： 创建一个物体检测请求VNDetectRectanglesRequest， 根 据数据源创建一个VNImageRequestHandler， 调用VNImageRequestHandler   performRequests执 行识别。 [0015]优选地， 步骤S5具体为： 使用CGAffineTransform对识别 结构进行坐标转换， 并根 据转换后的结果矩形绘制红色边框， 同时打印co nfidence信息 到屏幕上。 [0016]优选地， 步骤S5还具体包括： 创建VNSequenceRequestHandler处理多帧图像用于 物体跟踪。 [0017]优选地， 跟踪 多物体时， 使用VNDetectedObjectObservati on.uuid区分跟踪对象。 [0018]优选地， 步骤S5还具体包括： 创建一个V NDetectedObjectObservation对象做为参 考源， 参考源为物体识别的结果或者指定的一个矩形。说　明　书 1/3 页 3 CN 114926711 A 3