基于 BERT 模型的中文期刊文献自动分类实践研究

图书馆杂志 ›› 2022, Vol. 41 ›› Issue (5): 109-118.

基于 BERT 模型的中文期刊文献自动分类实践研究

沈立力姜鹏王静（上海图书馆）

出版日期:2022-05-15 发布日期:2022-05-24
作者简介:沈立力女，硕士，上海图书馆（上海科学技术情报研究所），馆员。研究方向：数字人文、知识组织与知识发现。作者贡献：论文框架设计、内容撰写。 E-mail：llshen@libnet.sh.cn 上海 200031 姜鹏硕士，上海图书馆（上海科学技术情报研究所），工程师。研究方向：数字化数据化、知识组织与知识发现。作者贡献：论文修改、数据收集与分析。上海 200031 王静女，硕士，上海图书馆（上海科学技术情报研究所），馆员。研究方向：数字化数据化。作者贡献：数据收集与分析。上海 200031

A Study on the Automatic Classification of Chinese

Literature in Periodicals Based on BERT Model

Shen Lili, Jiang Peng, Wang Jing (Shanghai Library)

Online:2022-05-15 Published:2022-05-24
About author:Shen Lili, Jiang Peng, Wang Jing (Shanghai Library)

摘要/Abstract

摘要： Google AI 团队发布的 BERT 模型在多项自然语言处理任务中取得了研究成果，但在中文文献自动分类领域尚有待探索。本文旨在探索 BERTbase 中文基础模型在中文社科、科技期刊文献分类上的实际分类效果，指出模型在实际应用中存在的问题并提出解决方法。本文选取 R 大类（医药、卫生）、TG 大类（金属学与金属工艺）、F 大类（经济）、J 大类（艺术）共 1 745 000 条数据作为训练语料，并以另外 9 610 条数据作为测试样本，利用 BERT 模型分别对社科、科技期刊文献进行分类研究。测试结果表明 BERT 模型在社科文献中的四级准确率为 76.95%，科技文献为 68.55%。之后引入惩罚策略，为实际工作中免检数据阈值的设定提供参考。BERTbase 模型在《全国报刊索引》实际分类标引工作中有一定可行性，基本满足当前网络环境下中文文献自动分类的需求。

关键词:

BERT 模型深度学习文献分类《中国图书馆分类法》

Abstract: The BERT model released by Google AI team has achieved results in a number of Natural Language Processing tasks. But the research in the field of automatic classification of Chinese literature remains to be explored. The purpose of this paper is to explore the actual classification effect of BERT’s Chinese basic model in the classification of Chinese social science and sci-tech periodicals, to point out the problems existing in the practical application of the model, and to propose solutions. This paper selects more than 1745000 Chinese documents of R category (medicine, health), TG category (metallogy and metalworking), F category (economics), and J category (art) as training corpus, and uses another 9610 data as test samples. BERT Model is used to classify the literatures of social science and sci-tech periodicals. The results show that the four-level accuracy of BERT model is 76.95% in social science literature and 68.55% in scientific literature. Then the penalty strategy is introduced to provide reference for the threshold setting of the exemption data in practice. The BERT model can be used in the actual classification and indexing of the Quan Guo Bao Kan Suo Yin (CNBKSY) to meet the needs of automatic classification of Chinese documents under the current network environment.

Key words:

BERT, Deep learning, Literature classification, Chinese Library Classification

沈立力姜鹏王静（上海图书馆）.

基于 BERT 模型的中文期刊文献自动分类实践研究

[J]. 图书馆杂志, 2022, 41(5): 109-118.

Shen Lili, Jiang Peng, Wang Jing (Shanghai Library).

A Study on the Automatic Classification of Chinese

Literature in Periodicals Based on BERT Model

[J]. Libraly Journal, 2022, 41(5): 109-118.

参考文献

[1] 成颖，史九林. 自动分类研究现状与展望 [J]. 情报学报，1999（1）：20–26.
[2] 郭利敏. 基于卷积神经网络的文献自动分类研究 [J]. 图书与情报，2017（6）：96–103.
[3] 李轩.《中图法》分类理论与技术的发展研究[D]. 石家庄：河北大学，2019.
[4] 侯汉清，薛春香. 用于中文信息自动分类的《中图法》知识库的构建 [J]. 中国图书馆学报， 2005（5）：82–86.
[5] 薛春香，夏祖奇，侯汉清. 基于语料和基于标引经验的自动分类模式比较 [J]. 南京农业大学学报（社会科学版），2005（4）：85–92.
[6] 郭利敏，刘炜，吴佩娟，等. 机器学习在图书馆应用初探：以 TensorFlow 为例 [J]. 大学图书馆学报，2017，35（6）：31–40.
[7] 李湘东，廖香鹏，黄莉. LDA 模型下书目信息分类系统的研究与实现 [J]. 现代图书情报技术， 2014（5）：18–25.
[8] 王昊，严明，苏新宁. 基于机器学习的中文书目自动分类研究 [J]. 中国图书馆学报，2010， 36（6）：28–39.
[9] 董微，赵捷. 基于密度分布单类支持向量机的科技文献分类研究 [J]. 情报工程，2018，4（3）： 67–72.
[10] 张晓丹. 改进的图神经网络文本分类模型应用研究——以 NSTL 科技期刊文献分类为例 [J]. 情报杂志，2021，40（1）：184–188.
[11] 谢红玲，奉国和，何伟林. 基于深度学习的科技文献语义分类研究 [J]. 情报理论与实践，2018， 41（11）：149–154.
[12] Devlin J，Chang M W，Lee K，et al. BERT：Pre- training of Deep Bidirectional Transformers for Language Understanding [J/OL]. arXiv preprint arXiv，2018. https://arxiv.org/pdf/1810.04805.
[13] Jwa H，Oh D，Park K，et al. exBAKE：Automatic Fake News Detection Model Based on Bidirectional Encoder Representations from Transformers （BERT）[J]. Applied Sciences，2019，9（19）.
[14] Dai Z，Yang Z，Yang Y，et al. Transformer-xl： Attentive language models beyond a fixed-length context [C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence，Italy：ACL，2019：2978–2988.
[15] Shi P，Lin J. Simple BERT models for relation ex-traction and semantic role labeling [J]. arXiv preprint arXiv：1904.05255，2019.
[16] Zhang Z，Han X，Liu Z，et al. ERNIE：Enhanced Language Representation with Informative Entities [C] //Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence，Italy：ACL，2019：1441–1451.
[17] 罗鹏程，王一博，王继民. 基于深度预训练语言模型的文献学科自动分类研究 [J]. 情报学报， 2020，39（10）：1046–1059.
[18] 赵旸，张智雄，刘欢，等. 基于 BERT 模型的中文医学文献分类研究 [J]. 数据分析与知识发现， 2020，4（8）：41–49.
[19] 段丹丹，唐加山，温勇，等. 基于 BERT 模型的中文短文本分类算法 [J]. 计算机工程，2021， 47（1）：79–86.
[20] 陈强强. 基于机器学习的中文书目自动分类的研究 [D]. 北京：北方工业大学，2018.
[21] 全国信息与文献标准化技术委员会. 科学技术报告、学位论文和学术论文的编写格式 [Z]. 1988- 01-01.
[22] 刘欢，张智雄，王宇飞. BERT 模型的主要优化改进方法研究综述 [J]. 数据分析与知识发现， 2021，5（1）：3–15.
[23] 卜书庆，刘华梅.《中国图书馆分类法》第五版与第四版增删改类目对照表 [M]. 北京：国家图书馆出版社，2013：21–42；57–61；70–78； 105–115.
[24] 刘进军. 基于惩罚的 SVM 和集成学习的非平衡数据分类算法研究 [J]. 计算机应用与软件， 2014，31（1）：186–190.
[25] Chawla N V，Bowyer K W，Hall L O，et al. SMOTE：Synthetic Minority Over-sampling Technique[J]. Journal of Artificial Intelligence Research，2002（16）：321–357.
[26] 结巴中文分词 [EB/OL]. [2021-08-19]. https:// github.com/fxsjy/jieba.
[27] 万莹，孙连英，赵平，等. 基于信息增强 BERT 的关系分类 [J]. 中文信息学报，2021，35（3）： 69–77.
[28] 飞浆 [EB/OL]. [2021-08-19]. https://www.paddle paddle.org.cn/.
[29] 万青玲. 基于 Text-CNN 和 LSTM 的出境游评论文本分析 [D]. 武汉：中南财经政法大学，2019.
[30] Li S，Li W Q，Cook C，et al. Independently Recurrent Neural Network（IndRNN）：Building A Longer and Deeper RNN [J/OL]. arXiv preprint arXiv，[2018-05-22]. https://arxiv.org/ abs/1803.04831.
[31] Zhu C，Cheng Y，Gan Z，et al. FreeLB：Enhanced Adversarial Training for Natural Language Understanding [J/OL]. arXiv preprint arXiv， [2020-04-23]. https://arxiv.org/pdf/1909.11764.
[32] Kowsari K，Heidarysafa M，Brown D E，et al. RMDL：Random Multimodel Deep Learning for Classification[J/OL]. arXiv preprint arXiv，[2018- 03-01]. https://arxiv.org/abs/1803.04831.
[33] Bouthillier X，Konda K，Vincent P，et al.Dropout as data augmentation[J/OL]. arXiv preprint arXiv， [2016-01-08]. https://arxiv.org/pdf/1506.08700.
[34] 李湘东，阮涛. 内容相近类目实现自动分类时相关分类技术的比较研究——以《中图法》E271 和 E712.51 为例 [J]. 图书馆杂志，2018，37（6）： 11–21；30.
[35] 薛春香，何琳，侯汉清. 基于《中图法》知识库的自动分类相关问题探析 [J]. 图书馆建设， 2015（6）：16–20；26.
[36] 杨斌，李成华，江小平，等. 一种用于提升深度学习分类模型准确率的正则化损失函数 [J]. 中南民族大学学报（自然科学版），2020，39（1）：74–78.
[37] 国家图书馆《中国图书馆分类法》编辑委员会. 中国图书馆分类法 [M]. 5 版. 北京：国家图书馆出版社，2010：1–4.
[38] 《中国图书馆分类法》编委会.《中国图书馆分类法》第五版使用手册 [M]. 北京：国家图书馆出版社，2012：9–10.