(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210598951.8 (22)申请日 2022.05.30 (71)申请人 西南民族大 学 地址 610000 四川省成 都市武侯区一环路 南四段16号 (72)发明人 赵鹏斐　胡月　覃林　罗洪　 郭萌恩　顿千千　 (74)专利代理 机构 成都行之智 信知识产权代理 有限公司 5125 6 专利代理师 陈锐 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/762(2022.01) (54)发明名称 一种基于卷积神经网络检测青少年坐姿行 为的方法 (57)摘要 本发明涉及 图像处理与计算机视觉技术领 域， 公开了一种基于卷积神经网络检测青少年坐 姿行为的方法， 包括： S1、 收集各种 场景下的人物 的坐姿图片作为第一坐姿数据集； S2、 使用标注 软件对所述第一坐姿数据集中的坐姿图片进行 类别标注， 所述类别包括正确坐姿和错误坐姿； S3、 对所述第一坐姿数据集中的坐姿图片进行图 片增强处理得到第二坐姿数据集； S4、 基于 Yolov5s模型构建卷积神经网络， 在预测框的筛 选部分采用soft ‑NMS算法代替原有的Yolov5s模 型的NMS算法； S5、 将所述第二坐姿数据集输入至 设置了超参数的YOL Ov5模型进行迭代训练， 得到 训练好的Yolov5s模型； S6、 将训练好 的Yolov5s 模型部署到Jetson  Nano嵌入式开发板 上并利用 TensorRT加速推理。 本发明可使监护人实时观 测。 权利要求书2页 说明书10页 附图3页 CN 114821670 A 2022.07.29 CN 114821670 A 1.一种基于卷积神经网络检测青少年 坐姿行为的方法， 其特 征在于， 包括： S1、 收集各种场景 下的人物的坐姿图片作为第一 坐姿数据集； S2、 使用标注软件对所述第一坐姿数据集中的坐姿图片进行类别标注， 所述类别包括 正确坐姿和错 误坐姿； S3、 对所述第一 坐姿数据集中的坐姿图片进行图片增强处 理得到第二 坐姿数据集； S4、 基于Yolov5s模型构建卷积神经网络， 在 预测框的筛选部分采用soft ‑NMS算法代替 原有的Yo lov5s模型的NMS算法； S5、 将所述第二坐姿数据集输入至设置了超参数的YOLOv5模型进行迭代训练， 当训练 结果的准确度与精确度达 到要求时即可停止迭代训练， 得到训练好的Yo lov5s模型； S6、 将训练好的Yolov5s模型部署到Jet son Nano嵌入式开发板上并利用TensorRT加速 推理； S7、 通过jetson  nano嵌入式开发板连接的摄像头获取捕捉到的帧画面， 并将采集到的 帧画面输入至训练好的Yolov5s模型进行比对， 若判断坐姿正确， 则继续监测， 若在一段时 间内连续检测到人物错误坐姿， 则将错误信息传输至微信小程序端进行数据分析展示， 同 时进行声光 提醒。 2.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， 所述各种场景包括 正在上课的课 堂上以及 在学校或者在家 做作业时。 3.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， S2中的标注软件为 labelImg软件。 4.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， 所述 错误坐姿包括弯腰驼背、 跷二郎腿、 搭腿、 盘腿以及身体前倾。 5.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， S3中， 对图片做增强处理主要包括对图片进 行翻转、 旋转、 随机缩放、 平移、 随机裁剪、 随机排布、 颜色操作。 6.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， S4中， 所述soft ‑NMS算法为在NMS算法的基础上采用连续的高斯置信度降低策略得 到： 其中， Si为置信度， M为当前最大置信度的边界框， b为待处 理的边界框 。 7.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， S5的具体步骤 包括： S5.1、 将标注后的所述第二坐姿数据集 的xml文件转换成yolo_txt文件， 即将每个xml 文件标注提取的box信息保存为txt格式； S5.2、 通过脚本将txt格式的所述第二坐姿数据集以8:1:1的比例随机划 分为训练集、 验证集和 测试集并生成label标签； S5.3、 配置数据集文件， 用于存放划分后的所述训练集和验证集的数据； S5.4、 根据第二 坐姿数据集， 通过聚类得 出新的先验框；权　利　要　求　书 1/2 页 2 CN 114821670 A 2S5.5、 修改yolov5s模型的配置文件yolov5s.yaml， 将类别数nc改为2， 将原有的先验框 改为S5.4 生成的新的先验框； S5.6、 设置yolov5s模型的一般参数和超参数， 将训练集和测 试集输入至所述yolov5s 模型以对所述yolov5s模型进行训练， 并通过验证集对训练后的所述yolov5s模型进行验 证； S5.7、 根据所述yolov5s模型训练结束时输出的查准率、 查全率和以损失函数值围成的 曲线作为评价指标， 若评价指标大于规定的阈值， 则停止训练， 同时， 所述yolov5s模型生 成.pt权重模型文件， 否则， 重复S5.6 。 8.根据权利要求7所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， 所述yolov5s模 型的一般参数包括权重、 数据集配置、 迭代次数、 一次训练所选取的样 本数、 图片尺寸； 所述超参数包括初始学习率、 循环学习率、 学习率动量、 权重衰减系数、 预 热学习、 预热学习率动量、 预热学习率、 iou损失系数、 分类损失系数、 分类BCELoss中正样 本 的权重、 有无物体损失的系数、 有无物体BCELoss中正样本的权重、 iou训练时的阈值、 先验 框的长宽、 每个输出层的先验框数量。 9.根据权利要求8所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， S6的具体步骤为： S6.1、 通过github克隆TensorRTx项目， 以将S5.7生成的.pt权重模型文件转换为.wts 文件， 同时， 在Jetson  Nano嵌入式开发板上克隆TensorRTx项目， 使用Ten sorRT项目将.wts 文件转为.engine文件； S6.2、 在Jetson  Nano嵌入式开发板下载并安装DeepStream， 修改nvdsparsebbox_ Yolo.cpp文件 中的类型和数量， 然后保存在Jetson  Nano嵌入式开发板连接的存储器内并 编译。 10.根据权利要求1所述的一种基于卷积神经网络检测青少年坐姿行为的方法， 其特征 在于， S7中， 在一段时间内连续检测到人物 错误坐姿， 则将错误信息传输至微信小程序端进 行数据分析展示， 同时进行声光 提醒的具体步骤为： S7.1、 将每次的检测开启时间、 检测结束时间、 当次错误坐姿 的开始时间、 当次错误坐 姿的结束时间以及时长记录 到存储器的本地文件中； S7.2、 将文件上传到微信小程序端 进行数据分析展示， 同时， 判定进行声光报警提醒； S7.3、 若人物纠正坐姿， 则继续进行正常的视频采集， 否则， 通过无线网络传输至监护 人的微信小程序端以远程告知监护人。权　利　要　求　书 2/2 页 3 CN 114821670 A 3