(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210957496.6 (22)申请日 2022.08.10 (71)申请人 深圳精创视 觉科技有限公司 地址 518109 广东省深圳市龙华区龙华 街 道和平东路港之龙科技园科技孵化中 心6楼E、 1区 (72)发明人 宋瑞超　卢坤　 (51)Int.Cl. G06Q 10/08(2012.01) G06T 7/73(2017.01) G06T 7/136(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于中心点识别定位的SMT料盘统计方 法 (57)摘要 本发明专利提供一种基于中心点识别定位 的SMT料盘统计方法， 具体包括料盘图像采集定 位分割、 料盘数据离线训练、 料盘图像在线预测 定位和料盘在线预测准确性评估步骤， 该识别方 法综合应用图像 分割与深度学习目标检测技术， 保障料盘的识别定位精确度， 提高不同类别料盘 识别的兼容性， 节省人工成本的同时优化仓储管 理的快速性与便捷性。 权利要求书2页 说明书7页 附图3页 CN 115439052 A 2022.12.06 CN 115439052 A 1.一种基于中心点识别定位的SMT料盘统计方法， 其特 征在于： 包括 料盘图像采集， 定位分割： 基于给定不同数量的样本料盘采集图像， 运用局部动态阈值 分割方法获取不同料盘相对于采集图像的坐标信息(rect _x, rect_y, rect_w, rect_h)， 其中rect_x为料盘ROI区域的左上端点横坐标， rect_y为料盘ROI区域的左上端点纵坐标， rect_w为料盘ROI区域的宽度， rect_h为料盘ROI区域的高度； 料盘数据离线训练： 包括识别料盘ROI区域的图像裁剪、 料盘位置标注以及中心点识别 定位模型的搭建和离线训练， 基于目标中心区域特征提取和识别搭建智能检测神经网络模 型， 可快速实现物料中心点的识别和定位， 将图像数据提取模块与数据分类预测模块导出 为训练模型文件； 料盘图像在线预测定位： SMT料盘采集装置重新获取大于1个待检测料盘图像后， 分割 定位获取待检测料盘ROI区域， 依次循环调用上述训练模型文件， 可获取当前检测料盘ROI 区域内所有元器件的坐标(predict_x,  predict_y)， 其中pre dict_x为当前识别元器件的 像素横坐标， predict_y为当前识别元器件的像素纵坐标， 统计所有 元器件识别坐标信息后 即可描述当前 料盘内元器件总数量。 2.根据权利要求1所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 样本 料盘图像采集定位分割包括对于采集含有四个料盘的RGBA四通道图像， 采用公式一转换为 灰度图像， 最大程度保留原 始灰度对比度信息， 公式一 为 ， 其中Gary代表转换后的灰度图像， (p_x,p_y)对应当前像素横纵坐标数值， c为转换灰 度信息幅度信息， SMT料盘灰度图像转换默认取值为0.5， log为取对数操作， R， G， B， A分别代 表原始采集图像的四个单独通道信息， 对应0.39， 0.59， 0.11， 0.0为灰度图像通道信息转换 系数， 对于S MT料盘灰度图像， 其中含有料盘数量范围为1 ‑4个， 采用动态阈值分割方式进一 步缩小料盘 检测ROI区域， 对应 计算为公式二 为 ， 其中Light和Dark模式分别对应相对料盘发黑或者 发亮的料盘呈现效果， GOrginal为原始料盘图像特征， GThreshold为图像平滑后的料盘图像特 征， offset 为偏差阈值， 采用上述操作方式即可将料盘图像与背 景区域进 行划分， 背景区域 像素值设置为0， 识别料盘区域像素值设置为255， 统计获取整幅料盘图像中像素值等于255 的区域， 获取对应轮廓区域后求取最小外接矩形， 提取最小外接矩形的坐标信息(rect_x， rect_y， rect_w， rect_h)。 3.根据权利要求1所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 料盘 ROI区域的图像裁剪包括获取样本料盘ROI图像后， 对图像进行裁剪， 以固定模型训练 图像 尺寸， 设定待裁剪 料盘ROI图像信息为(rect _x0,rect_y0,  rect_x1,rect _y1)， 其中(rect_ x0,rect_y0)为左上端点横 纵坐标信息， (rect_x1,rect_y1)为右下端点的横纵坐标信息， 裁剪图像尺 寸为crop_size以及图像裁剪重叠像素值为ov erlap， 所有裁剪图像对应坐标信 息可用公式三描述， 公式三 为权　利　要　求　书 1/2 页 2 CN 115439052 A 2 ， 其中(rect_xi,rect_yi)对应第i个裁剪图像相对料盘ROI区域图像的左上端点像素横 纵坐标， 裁剪图像像素宽度和高度对应均为crop_size， 采用公式三即可获取n幅固定尺寸 的裁剪图像， 其中i=1,2,3,. ..,n。 4.根据权利要求3所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 料盘 位置标注包括使用标注软件对裁剪后图像进行数据标注， 标注在于辅助提取中心点(x_ center,y_c enter)坐标数值， 其中x_center和y_center分别代表裁剪图像中对应元器件的 像素横纵坐标， 人工手动选择不同裁剪料盘图像， 通过缩放、 平移等操作在所有 元器件中心 区域鼠标点击自动绘制圆点区域， 在获取一定数量的标注文件后， 以文本文档形式对标签 数据进行存 储。 5.根据权利要求4所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 数据 标注适用对象为裁剪图像区域内占比大于60%的单个元器件， 对于裁剪图像边缘元器件图 像标注， 参考元器件显示比例， 若显示区域相对整个元器件比例小于60%， 不进 行标注， 避免 出现多个中心点识别情况。 6.根据权利要求4所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 定位 模型的搭建和离线训练包括输入信息的归一化和数据增强， 模型提供翻转、 旋转、 仿射变 换、 扭曲等多种图像扩增模式， 以提高模型的兼容适应能力， 网络模型层数包括5个3 ×3卷 积层和1×1池化层串联组合的数据特征提取模块， 图像数据特征提取模块后接连flatten 层对数据进行一维度化操作同时不影响batc h大小。 7.根据权利要求6所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 分类 预测模块包括： P1、 P2、 P3三个金字塔层， 分别对应图像特征维度的底层信息和高层信息， 模 型最后一层输出经过softmax操作得到每个像素位置对应的料中心点位置概率， 采用分值 过滤操作即可获取当前训练图像内所有料盘的中心 点坐标， 然后与人工标注中心点坐标进 行二维空间位置计算， 所得数据记作当前模型训练损失值， 待损失值稳定逐渐收敛区域稳 定时， 将图像数据提取模块与数据分类预测模块 导出即为训练模型文件。 8.根据权利 要求1所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， SMT料 盘统计方法还包括在线预测准确性评估， 对于单类别已知料盘循环测试N大于5次并获取N 次预测数量数值， 取其平均数为Number_Predict并与人工矫正料盘内元器件总数量 Number_Target 计算绝对误差和相对误差， 可初步对基于中心点识别定位的SMT料盘智能统 计方法进行准确性和稳定性评估。 9.根据权利要求8所述的基于中心点识别定位的SMT料盘统计方法， 其特征在于， 对于 选取不同类别料盘， 统计不同类别料盘预测的绝对误差和相对误差， 进一步评估本专利提 出SMT料盘智能统计方法的兼容 性。权　利　要　求　书 2/2 页 3 CN 115439052 A 3