(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210426555.7 (22)申请日 2022.04.22 (71)申请人 河南理工大 学 地址 454003 河南省焦作市高新区世纪大 道2001号 (72)发明人 徐清华　李冰锋　杨艺　吴桐　 (74)专利代理 机构 北京科慧致远知识产权代理 有限公司 1 1739 专利代理师 王乾旭　赵红凯 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于书脊视 觉指纹的图书盘点方法 (57)摘要 本发明公开了一种基于书脊视觉指纹的图 书盘点方法， 包括制作图书书脊视觉指纹数据集 并划分为图书书脊视觉指纹训练数据集和图书 书脊视觉指纹测试数据集； 构建书脊检测模型和 图书身份识别模型； 获取训练后的书脊检测模 型， 获取训练后的图书身份识别模型； 将图书书 脊视觉指纹数据集依次通过训练后的书脊检测 模型和训练后的图书身份识别模 型， 获取预测图 书位置信息以及预测图书身份信息； 读取图书的 国际标准书号信息， 根据预测图书位置信息及预 测图书身份信息， 对所述图书进行比对盘点； 本 发明在图书身份识别模型中复用了图像的书脊 检测模型中的视觉信息， 大大压缩了模型的规 模， 减少了模型的训练难度， 提高了模型运行速 度。 权利要求书5页 说明书12页 附图3页 CN 115170789 A 2022.10.11 CN 115170789 A 1.一种基于书脊视觉指纹的图书盘点方法， 其特征在于， 所述盘点方法具体包括以下 步骤： 制作图书 书脊视觉指纹数据集； 将所述图书书脊视觉指纹数据集按比例划分为图书书脊视觉指纹训练数据集和图书 书脊视觉指纹测试 数据集； 采用基于卷积神经网络的目标检测方法构建书脊检测模型； 采用基于卷积神经网络多标签分类的方法构建图书 身份识别模型； 根据所述图书书脊视觉指纹训练数据集， 对所述书脊检测模型进行训练得到训练后的 书脊检测模型， 对所述图书 身份识别模型进行训练得到训练后的图书 身份识别模型； 将所述图书书脊视觉指纹数据集依次通过所述训练后的书脊检测模型和所述训练后 的图书身份识别模型， 获取 预测图书位置信息以及预测图书 身份信息； 从图书馆馆藏数据库中读取图书的国际标准书号信 息， 并根据 所述预测图书位置信 息 以及预测图书 身份信息， 对所述图书 进行比对盘点。 2.根据权利要求1所述基于书脊视觉指纹的图书盘点方法， 其特征在于， 所述图书书脊 视觉指纹数据集是根据人工或者机器人视觉系统采集的图书图像制作而成， 所述图书书脊 视觉指纹数据集中每个图书信息样本对包括样本数据和样本标签两部 分， 所述样本数据为 采集的书脊图像， 样本标签包括书脊图像位置标签信息以及对应书脊图像的图书身份标签 信息， 制作所述书脊图像位置标签信息的步骤 包括： S1： 对根据人工或者机器人视 觉系统采集的图书图像进行尺寸归一 化降采样处 理； S2： 对所述尺寸归一化降采样处理后的图书图像采用带有角度的矩形标注框标注出所 述图书的书脊 位置和大小； 其中， 采用所述带有角度的矩形标注框标注的内容包括标注框类别信 息以及标注框位 置信息， 所述标注框类别信息包括书脊标注框以及随机选取 的背景标注框， 所述标注框位 置信息包括标注框中心点的纵坐标、 横坐标、 标注框的长度和宽度以及标注框与水平正方 向的夹角； 制作所述图书 身份标签信息的步骤 包括： S3： 从图书馆 馆藏数据库中读取对应图书国际标准书号 ISBN； S4： 将所述图书国际标准书号ISBN中后10位有效数据转化为30位二进制数据 来表示图 书身份信息； S5： 重复S1～S4， 制作包括 图书馆所有图书书目书脊 图像位置标签信息和图书身份标 签信息。 3.根据权利要求2所述基于书脊视觉指纹的图书盘点方法， 其特征在于， 将所述采用带 有角度的矩形标注框标注后的图书书脊信息和所述图书身份信息进行关联， 包括对带有角 度的矩形标注框标注后的图书书脊信息和所述图书身份信息集中的信息进 行配对， 构建图 书信息样本对 获取图书 书脊视觉指纹数据集； 其中， X表示采集到的图像， 表示X中的标注框的类别信息， 表示X中的标注框的 回归信息， 表示X中所有书脊的ISB N信息， 分别表示标注框中心点的横 坐标、 纵坐标， 标注框的宽度、 高度以及标注框的角度信息 。权　利　要　求　书 1/5 页 2 CN 115170789 A 24.根据权利要求3所述基于书脊视觉指纹的图书盘点方法， 其特征在于， 所述书脊检测 模型包括特征提取网络和检测头网络， 所述特征提取网络由若干卷积块串联而组成， 所述 特征提取网络可采用 ResNet网络、 VGG网络、 Inceptron网络、 轻量化的MobileNet网络、 shufflenet网络以及自定义特征提取网络， 在所述自定义特征提取网络的给定输入为X的 条件下， 所述自定义特征提取网络通过所述卷积块进行卷积运算后得到的特征输出为 {X1,...Xi,...XN}， 实现从输入图像到特 征图的转换； 所述检测头网络用于预测目标的类别和位置， 所述检测头网络包括分类子网络和回归 子网络， 所述分类子网络以自定义 特征提取网络中最后一个特征输出XN作为输入， 经过n1次 卷积运算后产生分类输出张量Ycls， 所述分类输出张量Ycls中包括图书书脊类别信息， 所述 回归子网络以特征提取网络中最后 一个特征输出XN作为输入， 经过n2次卷积运算后产生回 归输出张量Yreg， 所述回归输出张量Yreg中包括图书 书脊包围框的位置、 尺寸和角度信息 。 5.根据权利要求4所述基于书脊视觉指纹的图书盘点方法， 其特征在于， 所述图书身份 识别模型以自定义特征提取网络中的特征输出{X1,...Xi,...XN}作为输入， 构造所述图书 身份识别模型的步骤 包括： S1： 分别对所述自定义特征提取网络中的特征输出X1,...Xi,...XN‑1在空间上进行若干 次下采样， 通过若干 次下采样操作后， 所述特征输出X1,...Xi,...XN‑1的大小与特征输出XN 在空间上尺寸的大小相同； S2： 对所述特征输出X1,...Xi,...XN‑1下采样后的结果与XN沿着通道进行拼接， 产生第 一特征图 S3： 对所述第一特 征图 再进行一次卷积运 算， 产生第二特 征图 S4： 根据所述分类输出张量Ycls提供的图书书脊类别信息以及回归输出张量Yreg提供的 图书书脊包围框的位置、 尺寸和角度信息， 在所述第二特征图 上截取书脊区域的特征 图， 对所述第二特征图 截取书脊区域的特征图时进行图书书脊包围框的旋转， 使其角 度变为0度， 假定旋转 前， 图书书脊包围框内某点横纵坐标为(i1,j1)， 当逆时针旋转角度为θ 时， 横纵坐标为(i1,j1)的图书书脊包围框内某 点的横纵坐标变换为(i2,j2)， (i2,j2)的计算 公式如式(1)所示： S5： 对所述第二特 征图 进行区域池化操作， 获取图书 书脊视觉信息 S6： 对所述图书 书脊视觉信息 进行n3次全链接运 算后得到 S7： 对 进行sigmoid计算， 获取图书身 份输出向量Yids， 所述图书身份输出向量Yids中 第k个元素 的计算公式如式(2)所示： 6.根据权利要求5所述基于书脊视觉指纹的图书盘点方法， 其特征在于， 对所述第 二特权　利　要　求　书 2/5 页 3 CN 115170789 A 3