(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064300.7 (22)申请日 2022.09.01 (71)申请人 杭州松美智能科技有限公司 地址 310000 浙江省杭州市拱 墅区祥符镇 祥茂路16号D座6 03室 (72)发明人 谢明国　罗铁雄　 (74)专利代理 机构 北京沁优知识产权代理有限 公司 11684 专利代理师 屠语桑 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/68(2022.01) G06V 10/82(2022.01) G06T 7/62(2017.01) G01G 19/40(2006.01) (54)发明名称 人脸识别自助称重消费系统 (57)摘要 本发明涉及餐饮系统技术领域， 公开了人脸 识别自助 称重消费系统， 其技术方案要点是包括 菜品结算装置和选取区域， 菜品结算装置包括称 重台、 显示器、 第一摄像头、 第二摄像头和感应传 感器， 第一摄像头对准称重台， 第二摄像头和感 应传感器对准选取区域本发明设计了一套人脸 自助称重的消费系统， 相较于现有的消费系统， 本发明中不需要使用到二维码托盘或RFID标签， 取餐前要去绑定托盘进行人员信息登记的痛点， 可以省去托盘的定做的步骤， 做到人员离开既自 动结算， 整个消费过程做到 了无感的消费体验。 权利要求书3页 说明书9页 附图3页 CN 115439908 A 2022.12.06 CN 115439908 A 1.人脸识别自助称面积重消费系统， 包括菜品结算装置(101)和选取区域， 其特征在 于： 所述菜品结算装置(101)包括称重台(102)、 显示器(103)、 第一摄像头(104)、 第二摄像 头(105)和感应传感器(106)， 所述第一摄像头(104)对准所述称重台(102)， 所述第二摄像 头(105)和所述感应传感器(10 6)对准所述选取区域； 还包括人体感应模块(201)、 人脸识别模块(207)、 启动模块(202)、 图像获取模块 (208)、 图像重构 模块(203)、 图像识别模块(209)、 数据计算模块(204)、 显示模块(213)和数 据库(206)； 所述数据库(206)， 存储有人脸信息、 账户信息、 各个菜品对应第一权重、 各个菜品单位 价格和各个菜品单位营养数值； 所述人体感应模块(201)， 实时识别所述选取区域的环境状态， 若产生动态数据， 则生 成人脸识别 信息； 所述人脸识别模块(207)， 配置有人脸识别算法， 所述人脸识别模块(207)实时获取所 述人脸识别信息， 通过人脸识别算法计算动态数据， 并与所述数据库(206)中的所述人脸信 息匹配， 若匹配成功， 则读取所述数据库(206)中该人脸数据对应的账户信息， 并生成用户 绑定信息， 若匹配失败， 则停止对人脸数据的计算； 所述启动模块(202)， 实时获取所述用户绑定信息， 并与所述称重台(102)通信连接， 当 获取所述用户绑定信息和所述称重台(102)重量数据上升时， 则生成启动信息； 所述图像获取模块(208)， 接收所述启动信息， 通过所述第一摄像头(104)获取所述称 重台(102)上的图像数据， 并生成待处 理图像信息； 所述图像重构模块(203)， 配置有第一图像标记算法和第一预设区间值， 获取所述待处 理图像信息， 识别所述待处理图像信息中菜品图像， 通过所述第一摄像头(104)获取容器中 菜品至第一摄像头(104)的若干距离数据值， 当重合最多的距离数据值占若干距离数据值 的重合率处于第一预设区间值时， 则通过所述第一图像标记算法对重合最多的距离数据值 的数据区域进行标记， 并生成含有第一标记 区域的第一菜品图像信息， 当重合率不处于第 一预设区间时， 则生成不含有所述第一标记区域的第二菜品图像信息； 所述图像识别模块(209)， 配置有菜品图像数据模型(210)， 若获取所述第一菜品图像 信息， 通过所述菜品图像数据模 型(210)对图像进 行识别， 确认所述第一菜品图像信息中的 食物种类， 获取对应食物种类的第一权重、 单位价格和单位营养数值， 并计算所述第一标记 区域的面积占容器中菜品面积的比例数值， 以生成含有所述比例数值的第一菜品信息， 若 获取所述第二菜品图像信息， 通过所述菜品图像数据模型(210)对图像进 行识别， 确认所述 第二菜品图像信息的食物种类， 获取对应食物种类的单位价格和单位营养数值， 以生成第 二菜品信息； 所述数据计算模块(204)， 若获取所述第一菜品信息， 读取所述称重台(102)的菜品重 量数值， 将所述第一权重赋予所述比例数值， 并计算出去除汤汁重量的菜品干重数值， 所述 菜品干重数值结合所述单位价格和所述单位营养数值， 生成对应的菜品价格和菜品营养数 值， 若获取所述第二菜品信息， 读取所述称重台(102)的菜品重量数值， 所述菜品重量数值 结合所述单位 价格和所述单位营养数值， 生成对应的菜品价格和菜品营养数值； 所述显示模块(213)， 获取所述菜品价格和所述菜品营养数值， 并通过所述显示器 (103)公示；权　利　要　求　书 1/3 页 2 CN 115439908 A 2所述结算模块(205)， 若所述称重台(102)上重量数据清零且所述第二摄像头(105)和 感应传感器(106)检测 到菜品放入餐盘和人员离开时， 则按照所述菜品价格完成扣费且结 束结算， 若所述称 重台(102)上重量数据 清零且所述第二摄像头(105)未检测到菜品放入餐 盘， 则取消扣费且结束结算。 2.根据权利要求1所述的人脸识别自助称重消费系统， 其特征在于： 所述图像识别模块 (209)配置有第二图像标记算法和第二预设区间值， 若获取所述第一菜品图像信息， 通过第 二图像标记算法将图像中的食物 区域进行标记， 以生成第二标记 区域， 对所述第一标记 区 域和所述第二标记区域的重合区域的图像清晰度计算， 若重合区域图像清晰度处于第二预 设区间值内， 则对该重合区域取消所述第一标记 区域， 若重合区域图像清晰度不处于第二 预设区间值内， 则对该重合区域保留所述第一标记区域。 3.根据权利要求2所述的人脸识别自助称重消费系统， 其特征在于： 所述第 一图像标记 算法配置有第一标记间隔数值， 对重合最多的距离数据值的边缘处按照第一标记间隔数值 标记， 以形成边 缘处呈多边形的所述第一标记区域。 4.根据权利要求3所述的人脸识别自助称重消费系统， 其特征在于： 所述图像识别模块 (209)还配置有第一面积算法， 所述第一面积算法获取所述第一标记区域内任意一点标记 为原点， 所述原点与所述第一标记 区域边缘处各个角连线， 以使所述第一标记 区域分割成 若干个三角形， 测量各个所述连线长度； 其中， S为单个三角形的面积， t为第一标记间隔数值， a为其中一个连线长度， b为相邻 另一个连线长度， 将若干个三角形面积S求和得 出所述第一标记区域的面积。 5.根据权利要求3或4所述的人脸识别自助称重消费系统， 其特征在于： 第二图像标记 算法配置有第二标记间隔数值， 对食物 区域的边缘处按照标记间隔数值标记， 以形成边缘 处呈多边形的所述第二标记区域。 6.根据权利要求2所述的人脸识别自助称重消费系统， 其特征在于： 所述第 一预设区间 值和所述第二预设区间值均可 更改。 7.根据权利要求2所述的人脸识别自助称重消费系统， 其特征在于： 所述第 一标记间隔 数值和所述第二标记间隔数值相等。 8.根据权利要求1所述的人脸识别自助称重消费系统， 其特征在于： 还包括异常报 警模 块， 实时监控消费系统状态， 当出现异常状态时， 所述异常报警模块实时进行声光报警。 9.根据权利要求1所述的人脸识别自助称重消费系 统， 其特征在于： 所述数据库(206) 还包括对应的各个餐具重量数据； 所述图像识别模块(209)还包括餐具识别单元(211)， 所述餐具识别单元(211)配置有 餐具图像数据模 型(212)， 若获取所述第一菜品图像信息或第二菜品图像信息， 通过餐具图 像数据模型(212)对所述第一菜品图像信息或第二菜品图像信息中的图像进行识别， 获取 对应餐具的餐具重量数据； 所述数据计算模块(204)， 读取所述称重台(102)的所述菜品重量数值时， 减去所述餐 具重量数据。权　利　要　求　书 2/3 页 3 CN 115439908 A 3