(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211164639.4 (22)申请日 2022.09.23 (71)申请人 浙江联运知慧科技有限公司 地址 311100 浙江省杭州市余杭经济开发 区五洲路98号 (72)发明人 鲍承德　王远喆　 (74)专利代理 机构 杭州丰禾专利事务所有限公 司 33214 专利代理师 李杰 (51)Int.Cl. B65F 1/14(2006.01) B65F 1/00(2006.01) G06V 40/16(2022.01) (54)发明名称 基于AI自动识别用户投递垃圾行为的系统 和方法 (57)摘要 本发明涉及垃圾回收领域， 尤其涉及一种基 于AI自动识别用户投递垃圾行为的系统和方法。 该技术方案涉及一种基于AI自动识别用户投递 垃圾行为的方法， 仅需设置于第一摄像头、 第二 摄像头、 计算终端和扬声器， 并且计算终端连接 云端即可。 具体来说， 本方案中先通过第一摄像 头进行实时监控， 抓拍用户进入拍摄区域内的投 递行为。 在确认存在投递行为之后， 对于用户进 行人脸识别， 从而确认用户身份。 接着， 判断用户 是否将垃圾投递到垃圾桶内， 以及是否正确进行 分类投递。 在乱投递或分类不正确的情况下， 将 在云端记录该不文明行为， 并进行语音督导。 该 方案不仅无需固定时的箱体， 而且 可对于该区域 内进行全时段检测和督导， 能有效解决社会资源 问题。 权利要求书3页 说明书8页 附图1页 CN 115504121 A 2022.12.23 CN 115504121 A 1.基于AI自动识别用户投递垃圾行为的方法， 包括如下步骤： 步骤1， 第一摄像头实时监控， 当识别用户进入投递范围内时， 检测该用户是否存在投 递垃圾的行为， 如存在投递行为则执 行步骤2； 步骤2， 第 一摄像头对于上述用户进行人脸抓拍， 并将包含人脸图像的照片传送至云端 进行用户信息识别； 步骤3， 至少一个第二摄像头拍摄包含多个表征不同分类的垃圾桶桶口及其周围区域 的照片， 并基于投递前后的照片比对， 判断是否存在新增垃圾； 如有新增垃圾， 则进一步判 断垃圾是否处于垃圾桶的桶口内部； 如果垃圾处于桶口内部， 则执行步骤4； 如果垃圾处于 桶口外， 则执 行步骤5； 步骤4， 基于第一摄像头和/或第二摄像头所获取的垃圾图像特征， 基于垃圾种类判断 与当前垃圾桶桶口区域 适配； 如不匹配， 则执 行步骤5； 步骤5， 将第一摄像头获取的视频片段， 第二摄像头拍摄的照片， 以及人脸识别的用户 信息绑定并反馈 至云端， 同时通过扬声器进行语言督 导。 2.根据权利要求1所述的基于AI自动识别用户投递垃圾行为的方法， 其特 征在于： 所述步骤1中， 第一摄像头从所拍摄的连续照片或视频中判断用户上肢的投递行为， 并 且在判断用户上肢产生投递行为后， 获取连续的图像序列， 在图像序列中判断是否存在运 动物体； 如果存在， 则认为用户存在投递垃圾的行为， 并执 行步骤2。 3.根据权利要求2所述的基于AI自动识别用户投递垃圾行为的方法， 其特 征在于： 在用户投放垃圾时， 会有肢体上变化， 肢体上有各个关键点， 每两个关键点间生成一个 PAF， 手腕关键点和手肘关键点之间生成一个PAF前臂； 如果点P位于肢体上， 则 处的值 是从身体部位j1指向j2的单位向量， 对于所有其 他点， 向量为零值； 其中， 输入一张图， 检测其上面的每一个点， 如果这个点在肢体上， 则其值为从j1指向j2的单 位向量， 即v＝(xj2， k‑xj1， k)/||xj2， k‑xj1， k||2； 肢体上的点集定义为,线段距离阈值内的点集， 即那些点p， 0≤v ·(P‑Xj1,k)≤Lc,k和 |v⊥·(P‑Xj1,k)|≤σ l， 其中肢体宽度σ 是以像素为单位的距离， 肢体长度为Lc， k＝||xj2， k‑ xj1， k||2， v⊥是垂直于v的向量； 对于最终的每个部位的PAF， 取K个人的PAF的平均值， nc(p)是所有k个人在P点的非零 向量的数量； 假如说有两个的手臂相交了， 但是手都可以看到， 那么在两个手臂相交的地方 的PAF的值和方向就会不 一样； 最终PAF通过真实的身体关键点计算得到 。 4.根据权利要求2所述的基于AI自动识别用户投递垃圾行为的方法， 其特 征在于： 在用户投放垃圾的一段时间内， 物体在观察成像平面上的像素运动时会有一个瞬时速 度， 利用图像序列中像素在时间域上 的变化以及相邻帧之间的相关性， 找到上一帧跟当前 帧之间存在的对应关系， 计算出相邻帧之间物体的运动信息， 从而判断画面是否有运动情 况， 初步判断用户是否存在投放垃圾行为。 5.根据权利要求 4所述的基于AI自动识别用户投递垃圾行为的方法， 其特 征在于： 物体运动估计算法的约束方程如下：权　利　要　求　书 1/3 页 2 CN 115504121 A 2考虑一个像素I(x,y,t)在第一帧的光强度(其中t代表其所在的时间维度)； 它移动了 (dx,dy)的距离到下一帧， 用了 dt时间； 因为是同一个像素点， 假设我们认为该像素在运动 前后的光强度是不变的， 即： I(x,y,t)＝ I(x+dx,y+dy,t+dt) 将上式右端 进行泰勒展开， 得： 其中ε代表二阶无穷小 项， 可忽略不计； 再将上述两个式子结合后同 除dt， 可得： 设u,v分别为 光流分别为沿X轴与Y轴的速度矢量， 得： 令 分别表示图像 中像素点的灰度沿X,Y,T方向的偏导 数； 综上， 最终得到： Ixu+Iyv+It＝0 其中， Ix,Iy,It均可由图像数据求得， 而(u,v)即为所求 光流矢量。 6.根据权利要求1所述的基于AI自动识别用户投递垃圾行为的方法， 其特征在于： 所述 步骤3具体包括如下步骤： 3.1， 投递前后， 第二摄像头拍摄包含多个表征不同分类的垃圾桶桶口及其周围区域的 照片； 3.2， 基于投递前后的照片比对， 发现投递后 照片中的新增图像特 征； 3.3， 在投递后 照片中获取 垃圾桶桶口边缘范围； 3.4， 判断新增图像特征处于该图像 中垃圾桶桶口边缘所围合的范围内外； 如果垃圾处 于桶口内部， 则执 行步骤4； 如果垃圾处于桶口外， 则执 行步骤5。 7.根据权利要求1所述的基于AI自动识别用户投递垃圾行为的方法， 其特 征在于： 步骤3中采用一个第 二摄像头拍摄包含多个表征不同分类的垃圾桶桶口及其周围区域 的照片； 或者是每个垃圾桶桶口上方均设置一个第二摄像头， 该第二摄像头拍摄对应垃圾 桶桶口及其周围区域的照片， 且相邻两个第二摄 像头拍摄至少有部分重合。 8.根据权利要求1所述的基于AI自动识别用户投递垃圾行为的方法， 其特 征在于： 步骤4中； 当投递垃圾为垃圾袋时， 从第一摄像头和/或第二摄像头所获取的图像中判 断垃圾袋的颜色， 并判断该颜色垃圾袋与当前投递的垃圾桶是否分类一致； 当投递垃圾为 垃圾时， 从第一摄像头和/或第二摄像头所获取的图像中获取的垃圾图像特征， 发送至 云端 判断该垃圾种类， 并基于垃圾种类判断与当前 垃圾桶桶口区域 适配。权　利　要　求　书 2/3 页 3 CN 115504121 A 3