(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210762402.X (22)申请日 2022.06.30 (71)申请人 陕西千智星创科技有限公司 地址 723099 陕西省汉中市汉台区汉中路 街道办事处太白路云商工场五楼G23 号 (72)发明人 古晶　孟雅清　王正扬　易泓竹　 马钊　李钰东　侯飞　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 高博 (51)Int.Cl. G06V 20/00(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06F 16/22(2019.01) G06F 16/28(2019.01) G06N 3/04(2006.01) G06Q 10/10(2012.01) G06Q 50/20(2012.01) (54)发明名称 一种基于智能托育 机器人的智能监控系统 (57)摘要 本发明公开了一种基于智能托育机器人的 智能监控系统， 包括托育机器人终端， 用于采集 视频数据， 并根据指令进行 警报通知； 服务器， 构 建人脸数据集， 对视频数据进行人脸检测， 识别 视频数据中的人员身份， 实时跟踪检测识别人 员， 并对识别人员的动作进行检测和识别， 汇总 识别结果并生成情况日志； 家长APP终端， 获取情 况日志。 通过智 能托育机器人与服务器连接， 实 现将机器人产生的各类信息同步至服务器中并 进行可视化， 使管理人员及时了解教学生活情况 并作出及时调整， 并将信息通过APP反馈给家长， 使家长及时掌握幼儿在校情况。 权利要求书2页 说明书11页 附图2页 CN 115223029 A 2022.10.21 CN 115223029 A 1.一种基于智能托育 机器人的智能监控系统， 其特 征在于， 包括： 托育机器人终端， 用于采集视频 数据， 并根据指令进行警报通知； 服务器， 构建人脸数据集， 对视频数据进行人脸检测， 识别视频数据中的人员身份， 实 时跟踪检测识别人员， 并对识别人员的动作进行检测和识别， 汇总识别结果并生成情况日 志； 家长APP终端， 获取情况日志。 2.根据权利要求1所述的基于智能托育机器人的智能监控系统， 其特征在于， 服务器包 括： 信息录入模块， 录入人员的基本信息并保存， 基本信息包括姓名、 学号、 班级、 家长姓 名、 家长联系方式、 家 庭住址和备注； 班级信息模块， 保存班级的基本信息， 包括班级、 班级人数、 主班老师姓名、 主班老师联 系方式、 生活老师姓名、 生活老师 联系方式和课程 安排。 3.根据权利要求2所述的基于智能托育机器人的智能监控系统， 其特征在于， 录入人员 的基本信息， 保存班级的基本信息具体为： 采用mysql数据库， 将录入的人员信息通过json数据发送至服务器， 服务器在校验数据 的合法性后， 将数据通过mys ql数据库的开放端口写入myapp数据库， 以mys ql数据内置数据 表结构innoBDB存储在 myapp数据库的classes_in formation数据表中； 在信息录入模块存 放录入的人员信息至数据库时， 所有录入的人员信息存储在classes_information数据表 中； 所有班级的学生信息在同一个表里， 查看班级信息时， 向服务器发送携带参数的ajax请 求， 携带参数的ajax请求给定学生的班级， 服务器处理请求后将数据库中符合条件的数据 返回。 4.根据权利要求1所述的基于智能托育机器人的智能监控系统， 其特征在于， 对视频数 据进行人脸检测， 识别视频 数据中的人员身份， 实时跟踪检测识别人员具体为： 利用人脸检测单元对所有人员进行人脸检测， 并使用人脸聚类单元进行聚类， 构建人 脸数据集； 采用人脸数据集进 行人脸识别， 确定视频数据中的人员身份， 再利用人员检测单 元实时跟踪检测人员。 5.根据权利要求4所述的基于智能托育机器人的智能监控系统， 其特征在于， 人脸检测 单元： 使用Faster  R‑CNN算法对托育机器人终端拍摄范围内的所有人员进行检测； 在 Faster R‑CNN输出的检测框内使用MTCN N进行人脸检测； 人脸聚类单元： 对检测到的人脸自动进行图像裁剪， 截取仅包含人脸的图像块， 采用 DBSCNN聚类算法将检测出的所有包含 人脸的图像块按照不同的人员进 行聚类， 将聚类结果 存储在一个文件夹中； 通过查看聚类结果， 将不同文件夹的名称按照 “班级+学号+姓名 ”的 格式进行 标注， 生成人脸识别数据集； 人脸识别单元： 根据已构建的人脸识别数据集对已知人脸进行编码， 当下一次再从视 频数据中检测到人脸时， 与人脸识别数据集中已编码的人脸进行比对， 在检测框的上方显 示人脸识别结果； 人员检测单元： 根据 人员体型、 行为习惯对人员进行身份判断， 用于人脸不清晰或视频 中出现人体背面时辅助判断身份信息， 利用初步检测结果， 使用SORT跟踪算法实现后续视 频中人员的检测与帧间目标ID关联。权　利　要　求　书 1/2 页 2 CN 115223029 A 26.根据权利要求1所述的基于智能托育机器人的智能监控系统， 其特征在于， 对识别人 员的动作进行检测 和识别具体为： 利用SlowFast算法， 使用高分辨率CNN分析视频数据中的静态内容， 同时使用低分辨率 CNN分析视频数据中的动态内容； 对视频数据中的所有 人员进行动作识别， 根据动作 识别结 果与人脸识别结果显示动作名称和人员位置； 对动作进 行实时统计， 识别的结果以mysql数 据表的格式存储， 每个人员的每个动作携带时间戳并上传至服务器， 服务器经过合法性检 验后， 写入myapp数据库中的action_detection数据表中保存为日志 格式； 服务器读取数据 表， 统计得到每个动作的数量， 以ajax格式发送， 并通过echart.js渲染； 对渲染后的动作数 据进行分类， 当人员发生对应动作时， 在托育机器人终端获取动作情况， 并上传到服务器， 服务器将得到的动作情况保存并显示； 对每 个人员每天的行为识别结果进行统计并显示。 7.根据权利要求1所述的基于智能托育机器人的智能监控系统， 其特征在于， 汇总识别 结果并生成情况日志具体为： 将每个人员 每天的所有动作识别结果汇总整理， 生成每个幼儿每日在校情况的日志， 日志包含人员每天的生活流程、 上课情况、 活动 情况、 饮食情况、 休息情况、 大小便次数和有 无异常行为， 将每 个人员每日的日志推送到对应的家长手机端AP P； 每个月通过每个人员长期形成的日志， 分析人员的性格特点， 根据每个人员的性格特 点检索对应的资料并选取， 然后将选取的资料推送到对应的家长手机端APP， 资料包括人员 成长阶段的心理状况、 营养比例搭配、 睡眠安 排、 性格分析、 兴趣培 养和科学教育引导方法； 以每个人员为对象对每日视频进行自动裁剪， 提取出不同人员在不同场景下的视频片 段， 然后将每 个人员的各个视频片段存 储在文件夹中， 推送到对应的家长手机端AP P。 8.根据权利要求1所述的基于智能托育机器人的智能监控系统， 其特征在于， 服务器还 包括： 安全监测模块， 利用环境安全监测单元对视频数据中的火和烟进行实时监测； 同时使 用异常行为检测单元对视频数据中的行为识别结果进行异常检测， 当有异常情况发生时， 利用托育 机器人终端发出警报。 9.根据权利要求8所述的基于智能托育机器人的智能监控系统， 其特征在于， 环境安全 监测单元： 使用YOLO  v5算法对视频数据中的火和烟进 行实时监测， 当视频数据中检测到 火 或烟时， 服 务器发送预警信号到对应的托育 机器人终端 进行报警报； 异常行为检测单元： 使用SlowFast算法对视频数据中人员的异常行为进行检测与识 别， 当检测到人员发生异常行为时， 服务器发送预警信号到对应的托育机器人终端进行报 警报， 异常行为包括逆行、 攀 爬、 聚集、 跳跃、 打架、 摔倒、 快 跑和抛掷物。 10.根据权利要求1所述的基于智能托育机器人的智能监控系统， 其特征在于， 服务器 还包括： 职工管理模块， 当检测到职工有殴打行为或不文明用语时， 将对应视频进行裁剪， 并进 行文字记录， 然后通过服 务器发送给对应的家长AP P终端。权　利　要　求　书 2/2 页 3 CN 115223029 A 3