基于计算机视觉和人工智能技术的图书馆图书盘点系统的探索与应用

图书馆杂志 ›› 2022, Vol. 41 ›› Issue (7): 96-100.

基于计算机视觉和人工智能技术的图书馆图书盘点系统的探索与应用

王晓刚1 钱思文2 张继3 郭俊俊4 潘操3 （1 常州市武进区图书馆 2 常州大学机器人产业学院 3 常州大学计算机与人工智能学院 4 常州大学微电子与控制工程学院）

出版日期:2022-07-15 发布日期:2022-07-20
作者简介:王晓刚常州市武进区图书馆，馆长，副研究馆员。研究方向：公共图书馆建设管理、智慧图书馆建设。作者贡献：论文整体框架设计、算法流程设计。E-mail：691990700@qq.com 江苏常州 213161 钱思文女，常州大学机器人产业学院，本科生。研究方向：计算机视觉、人工智能。作者贡献：算法编程与实验。江苏常州 213164 张继常州大学计算机与人工智能学院，人工智能系副主任，副教授。研究方向：计算机视觉、人工智能。作者贡献：算法设计、软件设计。江苏常州 213164 郭俊俊常州大学微电子与控制工程学院，讲师。研究方向：智能系统、机器人。作者贡献：系统硬件设计。江苏常州 213164 潘操常州大学计算机与人工智能学院，计算机系主任，副教授。研究方向：嵌入式系统、硬件系统设计。作者贡献：系统硬件设计。江苏常州 213164

Exploration and Application of Library Automatic Book Inventory Checking System Based on Computer Vision and Artificial Intelligence

Wang Xiaogang1 , Qian Siwen2 , Zhang Ji3 , Guo Junjun4 , Pan Cao3 (1 Wujin Library, Changzhou; 2 School of Robotics Industry, Changzhou University; 3 School of Computer and Artificial Intelligence, Changzhou University; 4 School of Microelectronics and Control Engineering, Changzhou University)

Online:2022-07-15 Published:2022-07-20
About author:Wang Xiaogang1, Qian Siwen2, Zhang Ji3, Guo Junjun4, Pan Cao3 (1 Wujin Library, Changzhou; 2 School of Robotics Industry, Changzhou University; 3 School of Computer and Artificial Intelligence, Changzhou University; 4 School of Microelectronics and Control Engineering, Changzhou University)

摘要/Abstract

摘要： 针对现代图书馆对图书自动盘点的需求，基于计算机视觉和人工智能技术设计了图书馆图书盘点系统。使用 Mask R-CNN 深度学习网络对书脊图像进行实例分割，再对分割后的书脊图像提取书架号和书名位置并进行文字识别，最终对书架号和书名两步验证确认书籍是否乱架。通过实地采集图像并测试表明，本文方法对于不同类型的书脊图像能够实现较好的分割和识别效果，能够准确地检测出乱架书籍，适合搭载在图书馆自动盘点机器人上，可以有效提高图书盘点的工作效率。

Abstract: According to the demand of modern library for automatic inventory, a library automatic book inventory checking system is designed based on computer vision and artificial intelligence. Firstly, Mask R-CNN is used to segment spines. Then the book titles and bookshelf numbers are located and recognized. At last, whether books are in disorder is confirmed by two-step verification with recognized book titles and bookshelf numbers. Experimental results show that our method can achieve better segmentation and recognition for different types of spine images, detect disordered books accurately, and is suitable for carrying on library automatic inventory robots, which improves the work efficiency of book inventory.

王晓刚钱思文张继郭俊俊潘操（常州市武进区图书馆常州大学机器人产业学院常州大学计算机与人工智能学院常州大学微电子与控制工程学院）. 基于计算机视觉和人工智能技术的图书馆图书盘点系统的探索与应用[J]. 图书馆杂志, 2022, 41(7): 96-100.

Wang Xiaogang , Qian Siwen , Zhang Ji , Guo Junjun , Pan Cao ( Wujin Library, Changzhou, School of Robotics Industry, Changzhou University, School of Computer and Artificial Intelligence, Changzhou University, School of Microelectronics and Control Engineering, Changzhou University). Exploration and Application of Library Automatic Book Inventory Checking System Based on Computer Vision and Artificial Intelligence[J]. Libraly Journal, 2022, 41(7): 96-100.

参考文献

[ 1 ] J Suthakom. A robotic library system for an off site shelving facility[C]. Proc. of 2002 IEEE International Conference on Robotics &Automation. 2002：1010–1012.
[ 2 ] K H Yuan，A C Hong，M Ang，et a1. Unmanned library：An intelligent robotic books Retrieval & return system utilizing RFID tags[C]. Proc. of 2002 IEEE International Conference on Systems，Man and Cybernetics. 2002：50–55.
[ 3 ] 张厚生，王启云. 图书馆服务的无线技术——RFID的应用[J]. 大学图书馆学报，2004，22（1）：56–59.
[ 4 ] D J Lee. Matching book-spine images for library shelf-reading process automation[C]. Proc of the 4th IEEE Conference on Automation Science and Engineering Key Bridge Marriot. 2008：1004–1008.
[ 5 ] 张伟伟，汤光明，孙怡峰. 一种针对汉字特点的场景图像中文文本定位算法 [J]. 信息工程大学学报，2014，15（6）：729–736.
[ 6 ] 黄晓明，高陈强，田阳阳. 自然场景文本区域定位 [J]. 重庆邮电大学学报：自然科学版，2015，27（5）：700–705.
[ 7 ] 方建军，杜明芳，庞睿. 基于小波分析和概率Hough 变换的书脊视觉识别[J]. 计算机工程与科学，2014：36（1）：126–131.
[ 8 ] 殷策. 基于计算机视觉的书脊识别算法研究[D].赣州：江西理工大学，2016.
[ 9 ] 刘汝翠. 基于自动智能分类器的图书馆乱架图书检测[J]. 现代商贸工业，2016，37（25）：172–174.
[10] 冯庸. 基于视觉的图书馆在架错序图书自动识别技术研究[D]. 沈阳：沈阳工业大学，2017.
[11] 曹海青，王丹煜，姚志英. 基于投影算子的图书索书号自动识别[J]. 计算机系统应用，2018，27（3）：240–245.
[12] 崔晨. 基于图像的书脊检测与识别关键技术研究与实现[D]. 南京：南京理工大学，2018.
[13] 乔笑. 面向智能书柜的书脊检测与识别关键技术研究与实验[D]. 南京：南京理工大学，2019.
[14] K M He，G Gkioxari，P Dollár，et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2020，42（2）：386–397.
[15] S Q Ren，K M He，R Girshick，et al，Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks[C]. Advances in neural informationprocessing systems. 2015：91–99.
[16] Y LeCun，L Botton，Y Bengio，et al. Gradientbased learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278–2324