(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211072684.7 (22)申请日 2022.09.02 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 刘歆　钱鹰　陈奉　姜美兰　 杜红力　陈仕杰　朱红军　周宁　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 方钟苑 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种理发店员工 工作内容智能识别方法 (57)摘要 本发明涉及一种理发店员工工作内容智能 识别方法， 属于机器视觉技术领域， 包括以下步 骤： S1： 采集设备安装位置和安装条件的设置； S2： 建立理发员工人脸、 顾客人脸标签库， 并训练 人脸识别模型； S3： 建立与物品、 工 具和人相关的 动作标签库， 并进行理发店动作行为识别模型训 练； S4： 利用训练好的人脸识别模型、 理发店动作 行为识别模 型， 用于实际理发服务场景进行动作 行为识别。 构建顾客、 员工、 动作几个要素的 “动 作对”行为时序； S5： 建立工作内容识别标签， 构 建工作内容识别的深度神经网络模 型， 用以确定 理发店员工对顾客的服务工作内容。 本发明通过 理发店员工工作内容智能识别方法， 辅助实现理 发店有效地智能化管理。 权利要求书4页 说明书9页 附图2页 CN 115424347 A 2022.12.02 CN 115424347 A 1.一种理发店员工 工作内容智能识别方法， 其特 征在于： 包括以下步骤： S1： 指定采集设备的安装位置和硬件条件， 对理发员工和顾客进行识别； S2： 建立理发员工人脸、 顾客人脸标签库， 并训练人脸识别模型； S3： 建立与物品、 工具和人相 关的动作标签库， 并进行理发店动作行为识别模型训练， 其中涉及服务工作中物品、 工具和 动作相关的人体动作、 对象操作交互、 人与人 交互三大类 的多种动作行为识别； S4： 利用训练好的人脸识别模型、 理发店动作行为识别 模型， 对实际理发服务场景进行 动作行为识别； 构建顾客、 员工、 动作要素的 “动作对”行为时序； S5： 建立不同类型理发服务工作内容的标准关键行为序列， 作为工作内容识别标签； 并 根据所述“动作对”行为时序， 构建工作内容识别的深度神经网络模型， 用以确定理发店员 工对顾客的服 务工作内容。 2.根据权利要求1所述的理发店员工工作内容智能识别方法， 其特征在于： 所述步骤S1 中具体包括： 捕获理发店场景中理发员工和顾 客的视频帧， 以及进 行员工身份id、 顾客身份 确认和物品、 工具、 行为动作的检测 和识别。 3.根据权利要求1所述的理发店员工工作内容智能识别方法， 其特征在于： 所述步骤S3 具体包括以下步骤： S31： 按照AVA数据集打标签规则， 构建服务过程中与物品、 工具和人相关的人体动作、 对象操作交 互、 人与人交 互三大类及其中涉及的动作行为标签库； S32： 构建动作行为标签库， 训练 理发店动作行为识别模型； S33： 建立理发店动作行为关键活动集 合。 4.根据权利要求3所述的理发店员工工作内容智能识别方法， 其特征在于： 步骤S31具 体包括以下步骤： S311： 首先对原始采集的行为动作视频按15分钟进行分析， 并统一将15分钟视频分割 成300个非重叠的3秒片段； 视频采样时遵循保持动作序列的时间顺序这 一策略； S312： 然后对每 个3秒片段的中间帧的人物利用Label Img打标工具手动标注边界框； S313： 对标注框的每个人， 从预制的动作类别表中选择适当的标签来描述人物动作； 人 物动作分为以下三类标签： 人体姿势/位移动作、 人/物/人交 互动作、 人/人互动 动作； S314： 最后对所有视频片段全部标注， 来建立理发动作行为视频训练标签库。 5.根据权利要求3所述的理发店员工工作内容智能识别方法， 其特征在于： 所述步骤 S32中， 使用基于3D ‑Resnet50网络的SlowFast模型进行动作 行为识别， 所述SlowFast模型 由Slow分支和Fast分支组成； 首先以步长Stride＝16帧为间隔， 从输入的视频采样， 输入到3D ‑Resnet50主干网络中 提取理发时环境特 征信息； 其次以步骤Stride＝2帧为间隔， 从输入的视频帧采样， 同时通道数channel设置为 Slow分支1/8倍， 输入到网络中提取理发时 时序动作特 征信息； 然后在3D ‑Resnet50主干的Res_conv3_1和Res_conv4_1层分别进行横向连接， 将时序 动作信息特 征融入到环境特 征中； 最后在全连接层利用Slow分支和Fast分支后的融合特征信息进行分类和预测理发动 作。权　利　要　求　书 1/4 页 2 CN 115424347 A 26.根据权利要求3所述的理发店员工工作内容智能识别方法， 其特征在于： 所述步骤 S33中， 根据所构建的动作行为标签库， 结合理发店实际应用场景， 把所有动作行为分为两 类集合： 关键动作行为活动集合： 包括剪头发、 卷头发、 染头发、 烫头发； 关键动作行为活动集合 表示为KeyAct ＝{KeyAct1,…,KeyActi,…,KeyActn}， 其中， KeyActi为第i个关键动作行为， i＝1,…,n， n为关键动作行为个数量； 普通动作行为活动集合： 包括交流、 站、 坐、 走； 普通动作行为活动集合表示为 NormalAct＝{NormalAct1,…,NormalActi1,…,NormalActn1}， 其中， NormalActi1为第i1个 普通动作行为， i1＝1, …,n1， n1为普通动作行为个数量。 7.根据权利要求1所述的理发店员工工作内容智能识别方法， 其特征在于： 所述步骤S4 具体包括如下步骤： S41： 按一定的规则进行图像和视频帧段采样， 用于人脸识别和动作行为识别； S42： 根据视频时序识别过程中， 人脸识别和动作行为识别关于人员身份的确认， 以及 各种行为的识别结果， 建立顾客、 员工身份对应关系， 以及服务过程中具体 “动作对”行为时 序， 记录视频时序中顾客和员工的 “动作对”关系。 8.根据权利要求7所述的理发店员工工作内容智能识别方法， 其特征在于： 步骤S41具 体包括以下步骤： S411： 理发服务过程中， 根据服务项目的平均时间来采样， 并把采样的图像和视频帧段 输入模型进行检测； S412： 输入按采样规则所得到的图像到人脸识别模型， 确定顾客会员身份以及员工身 份信息； 根据工位位置， 以及工位对应的摄像头索引信息， 建立工位上顾客、 员工与服务动 作行为所对应的工作内容之产的关联关系； S413： 把训练好的SlowFast模型在某一帧中检测框框出的人体区域， 与S412中同一帧、 同一人体区域的人脸框人脸识别结果相关联， 用于后续当未识别到人脸时的人员身份追 踪； S414： 利用步骤S32中训练好的SlowFast模型进行理发员工和顾客动作行为识别， 包 括： 顾客和员工的人体姿势/位移动作、 服务过程中员工使用的物品和工具与 顾客服务交互 行为、 员工和顾客的交 互行为识别。 9.根据权利要求7所述的理发店员工工作内容智能识别方法， 其特征在于： 步骤S42具 体包括以下步骤： S421： 一个服务过程中， 当顾客和员工进入某工位stationk的摄像头范围中， 利用步骤 S2中训练后的人脸识别模型， 同时完成顾客和员工的人脸识别， 以激活建立工位stationk 上顾客和员工的服务对<Cidp， Eidq>， Cidp表示顾客集合， p＝1, …,m； Eidq表示员工集合， q ＝1,…,m1， m和m1分别表示顾客和员工人 数； S422： 在工位stationk的摄像头范围中， 通过步骤S32训练后的理发店动作行为识别模 型进行实时视频序列的动作行为识别， 在t时刻， 顾客Cidp的识别动作集合为Actpt＝ {Actpt,1,…,Actpt,k}； 员工Eidq的识别动作集合为A ctqt＝{Actqt,1,…,Actqt,k1}， 其中， k和 k1为顾客和员工在t时刻所识别到的动作个数， 而Actpt,k和Actqt,k1为所识别到的动作行 为：权　利　要　求　书 2/4 页 3 CN 115424347 A 3