(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211000576.9 (22)申请日 2022.08.19 (71)申请人 遵义医科 大学附属医院 地址 563000 贵州省遵义市开发区大连路 113号 (72)发明人 谌绍林　马军亮　柯希贤　刘英杰　 程学超　宋永祥　 (74)专利代理 机构 南京鸥和专利代理事务所 (普通合伙) 32670 专利代理师 王迪 (51)Int.Cl. A61B 5/00(2006.01) A61B 5/11(2006.01) G16H 50/30(2018.01) G06V 10/774(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于计算机深度学习的新生儿疼痛评 估系统 (57)摘要 本发明公开了一种基于计算机深度学习技 术的新生儿疼痛评估系统， 通过样本数据采集， 样本分类及处理， 测试集的处理， 训练集的处理， 建立评估系统服务端， 建立评估系统使用终端， 系统信效度评估； 从新生儿疼痛管理中的难 点——新生儿疼痛评估入手， 应用计算机深度学 习建立一套快速、 客观、 方便、 自动、 标准化评估 新生儿疼痛评估系统， 且将疼痛分为6个级别， 突 破了目前对计算机辅助疼痛评分仅分为重度疼 痛、 轻度疼痛、 无痛三个级别的缺点， 更具有临床 适用性； 建立新生儿疼痛评估系统的服务端和终 端， 方便医护人员/非医护人员使用， 并能对数据 进行实时分析和储存； 对该评估系统进行临床应 用的信效度评价， 以保障该评估工具的准确性和 客观性。 权利要求书2页 说明书6页 附图3页 CN 115349828 A 2022.11.18 CN 115349828 A 1.一种基于计算机深度学习技 术的新生儿疼痛评估系统， 其特 征在于， 包括以下步骤： S1： 样本数据采集： 使用一组100度夹角无畸变双目摄像头模组， 在距离受试婴儿面部 40‑60cm处拍摄分辨率为720*1280， 帧速率为30.00帧/秒的新生儿足跟采血所致疼痛面容 视频； S2： 样本分类及处 理： 随机抽取20个视频样本作为测试集， 其 余的作为训练集； S3： 测试集的处理： 将随机抽取的20例视频样本， 每秒随机抽取1 帧图片， 共360张， 作为 测试图片数据集， 由两名经培训的专业人员对该图片采用人工NFCS量表评分， 若评分不一 致， 咨询第三名专业人员， 共同商讨确定评分， 并将0 ‑9分作为该图片疼痛评分进行图片数 据标记； 再将两分为一个步长分为6个等级分别为： 0、 1 ‑2、 3‑4、 5‑6、 7‑8、 9， 将测试图片分6 类， 作为数据集， 以作为后期检测模型 可信度的标准； 该测试 数据集样本不纳入建模样本； S4： 训练集的处理： 基于深度学习的聚类算法模型， 将深度学习和聚类技术结合起来； 首先用深层神经网络结构对原始数据进行特征学习， 然后对学习到的特征表示进行预聚 类， 最后在微调模块中进 行特征和聚类的优化； 训练集的处理总体为分为三大部 分： 特征点 及特征向量的提取、 聚类法生成模型、 验证聚类法生成的模型； S5： 建立评估系统服务端： 将研究取得的模型及有关运算逻辑上传至云端并运行， 作为 评估系统的服 务端； S6： 建立评估系统使用终端： 通过任意带有视频拍摄功能并具备网络视频传输功能的 终端， 用微信新生儿疼痛评估小程序自动拍摄疼痛面容并上传至评估系统服务端， 而后自 动从评估系统服 务端拉取并显示对应的疼痛评分及级别 信息， 同时给 出处理推荐意见； S7： 系统信效度评估： 用新生儿评估系统和2名专业人员用NFCS量表同时评估100例足 跟采血操作的新生儿疼痛水平， 收集数据， 分析效标关联效度、 区分效度、 重测信度、 准确 度、 敏感度和特异度、 ROC曲线和AUC； 通过ROC曲线和AUC以发现最佳临界值指标和诊断准确 性。 2.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征 在于， 所述S2中样本数据处理方法为： 将原始视频， 利用消息摘要算法—Message ‑Digest  Algorithm生成唯一的MD5码， 作为该视频的唯一标识； 同时将原始视频逐帧提取为以MD 5码 加时间戳形式命名的JPEG格式图片序列， 剔除无效帧， 从而形成全局图片数据库。 3.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征 在于， 所述NFCS量表评 分包括皱眉、 挤眼、 鼻唇沟加深、 张口、 嘴垂 直伸展、 嘴水平伸展、 舌紧 绷、 下颌颤动、 缩唇、 伸舌10项， 每项有评分1分， 无评0分， 早产儿总分0 ‑10分或新生儿0 ‑9 分； 得分越高疼痛程度越重 。 4.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征 在于， 所述训练集处理中特征点及特征向量提取方法为： 采用基于计算机深度学习技术的 OpenFace_2.2.0面部特征点分析软件包对 所采集的视频进行特征点和特征向量的提取； 用 该软件进 行逐帧分析， 用深层神经网络结构对原始数据进行特征学习， 经过人脸转正、 光流 直方图生成、 面部特征点标记、 特征点活动强度判断， 最 终以单个视频文件为单位生成逗号 分隔符CSV文件； 该CSV文件以时间戳的形式对帧在单个视频文件内进行唯一标识， 并包含 了帧内的特 征向量、 特 征点参数， 人脸识别置信度， 人脸识别成功逻辑 值等内容。 5.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征权　利　要　求　书 1/2 页 2 CN 115349828 A 2在于， 所述训练集处理中聚类法生 成模型方法为： 采用K ‑均值聚类算法—K ‑Means及其改进 算法对训练集中的特征向量进行划分聚类从而生成包含6个聚类中心的模型， 采用以下算 法实现： 首先从n个数据对象中任意选择k个特征点作为初始聚类中心； 而对于所剩下 的其 它特征点， 则根据他们与这些聚类中心的相似度， 分别将他们分配给与其最相似的聚类； 然 后再计算每个所新聚类的聚类中心； 不断重复这一过程直到标准测度函数开始收敛为止； 采用均方差作为标准测度函数， 具体定义： 其中， E为训练集中所有特征向量的均方差之和； P为特征向量所构成的特征空间中的 一个点； mi 为聚类Ci的均值， P和mi均是多维的； 经过上述 聚类过程后可生成一个包含六个聚类中心的聚类模型， 聚类中心是其所在类 别在特征空间中的质心， 对应的是该类别中特异性最强的新生儿疼痛面容图片； 由两名经 培训的专业人员对 该6张图片采用人工NFCS量表评 分和分级， 若评 分不一致， 咨询第三名专 业人员， 共同商讨确定评 分和分级， 并将最 终确定的疼痛等级分别作为6个聚类中心疼痛 等 级， 为6个聚类进行命名， 作为6种疼痛等级在特 征点及特 征向量层面的划分标准。 6.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征 在于， 所述验证聚类法生成的模型方法为： 将与待测 新生儿疼痛面容特征向量的欧氏距离 最近的聚类中心的等级作为待测新生儿疼痛面容的疼痛等级； 欧氏距离在n维空间的计算 公式为： 7.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征 在于， 所述评估系统服务端采用一台配置为CPU： 2核8GiB  GPU： 1*P4的华为云云计算实例作 为计算服务器， 一台配置为1核 |2GB的华 为云MySQ L数据库实例用于 评估结果存 储。 8.根据权利要求1所述一种基于计算机深度学习技术的新生儿疼痛评估系统， 其特征 在于， 所述评估系统使用终端采集的视频在RTP协 议下实时传输至评估系统服务端， 再通过 调用OpenFace_2.2.0面部特征点分析软件包对接收到的视频以30帧每秒的速度进行特征 点及特征向量的提取， 并将其传输给评估模型进行实时或准实时的疼痛等级评估； 评估模 型会对每一帧有效帧进行评 分并实时返回结果至评估系统使用终端； 在每次评估完一段视 频后选取置信度大于80％且疼痛等级最高的评分作为整体评分。权　利　要　求　书 2/2 页 3 CN 115349828 A 3