基于机器阅读理解与词汇增强模型的古代科技领域命名实体识别∗

摘要/Abstract

摘要：

针对古代科技领域的命名实体识别问题,提出一种基于机器阅读理解与词汇增强模型的方法DLEBERT-MRC。该方法通过BERT 预训练模型提取问句和目标文本的上下文信息, 并在Transformer 层之间通过双线性注意力机制引入领域词典进行特征增强,采用SoftMax 预测实体的首尾位置。基于所构建的领域词典,以百度百科为数据源建立古代科技语料库并进行标注,构建了符合机器阅读标准的命名实体识别数据集。实验评估表明了该方法的有效性,消融实验进一步验证了模型各个结构的重要性。

关键词: 命名实体识别&emsp, 机器阅读理解&emsp, 领域词汇增强&emsp, 中国古代科技&emsp, 数字人文

Abstract:

Recognizing named entities in the texts of ancient Chinese science and technology haspresented a unique challenge in recent years. In response we introduce a novel named entity recognitionNER method DLEBERT-MRC which is grounded in a machine reading comprehension MRCframework and utilizes a domain lexicon-enhanced BERT model to extract contextual information fromboth questions and target texts. The introduction of domain-specific lexicons through a bilinear attentionmechanism between transformer layers significantly enriches contextual information. SoftMax is employedin the decoding layer to accurately predict the start and end positions of entities in the input text.Furthermore we constructed an ancient Chinese science and technology NER dataset employing theBIOES scheme. The dataset derived from Baidu Encyclopedia is designed to align with thespecifications of MRC tasks. Experimental evaluation verifies the effectiveness of the proposed methodwhile ablation experiments demonstrate the importance of each component of the model.

Key words:

Named entity recognition, Machine reading comprehension, Domain lexicon enhanced BERT, Ancient Chinese science and technology, Digital humanities

潘　俊　肖名城　陶祥兴(浙江科技大学理学院). 基于机器阅读理解与词汇增强模型的古代科技领域命名实体识别∗[J]. 图书馆杂志, 2025, 44(415): 64-74.

Pan Jun, Xiao Mingcheng, Tao Xiangxing（School of Science Zhejiang University of Science and Technology）. Machine Reading Comprehension and Lexicon-Enhanced BERT Based Named Entity Recognition Ancient Chinese Science and Technology Texts[J]. Libraly Journal, 2025, 44(415): 64-74.

参考文献

[ 1 ] 李明杰. 古代科技文献整理的目标,路径与当前亟需解决的问题[J]. 图书情报研究, 2021(3): 14 21.

[ 2 ] 潘俊,李萌配,王贤明. 应用深度学习的中文命名实体识别研究综述[J]. 数字图书馆论坛,2023,19(5):1 9.

[ 3 ] 孙茂松,黄昌宁,高海燕,等. 中文姓名的自动辨识[J]. 中文信息学报,1995(2):16 27.

[ 4 ] 朱锁玲,包平. 方志类古籍地名识别及系统构建[J]. 中国图书馆学报, 2011, 37 ( 3 ): 118124.

[ 5 ] 皇甫晶,王凌云. 基于规则的纪传体古代汉语文献姓名识别[J]. 图书情报工作,2013, 57(3): 120 124.

[ 6 ] 李娜. 面向方志类古籍的多类型命名实体联合自动识别模型构建[J]. 图书馆论坛,2021, 41(12): 113 123.

[ 7 ] 黄水清,王东波,何琳. 基于先秦语料库的古汉语地名自动识别模型构建研究[J]. 图书情报工作,2015, 59(12):135 140.

[ 8 ] 袁悦,王东波,黄水清,等. 不同词性标记集在典籍实体抽取上的差异性探究[J]. 数据分析与知识发现,2019, 3(3):57 65.

[ 9 ] 严承希,唐雪梅,杨浩,等. HanNER:一个面向汉语古籍语料命名实体自动抽取的通用框架[J].情报学报,2023, 42(2):203 216.

[10] 崔丹丹,刘秀磊,陈若愚,等. 基于LatticeLSTM的古汉语命名实体识别[ J]. 计算机科学, 2020, 47(增刊2):18 22.

[11] 徐晨飞,叶海影,包平. 基于深度学习的方志物产资料实体自动识别模型构建研究[J]. 数据分析与知识发现,2020, 4(8):86 97.

[12] 刘懋霖,赵萌,王昊. 面向古诗词的物象库构建方法及其分布规律研究[J]. 图书馆杂志,2024,43(1):96 108.

[13] Kenton J D M W C Toutanova L K. BERT Pretrainingof deep bidirectional transformers forlanguage understanding C / / Proceedings of the17th Conference of the North American Chapter ofthe Association for Computational LinguisticsHuman Language Technologies 2019 41714186.

[14] Cui Y Che W Liu T et al. Pre-training withwhole word masking for Chinese BERT J . IEEE /ACM Transactions on Audio Speech and LanguageProcessing 2021 29 3504 3514.

[15 ] 王东波, 刘畅, 朱子赫, 等. SikuBERT 与SikuRoBERTa:面向数字人文的《四库全书》预训练模型构建及应用研究[J]. 图书馆论坛,2022,42(6):31 43.

[16] 林立涛,王东波,刘江峰,等. 数字人文视域下典籍动物命名实体识别研究:以SikuBERT 预训练模型为例[ J]. 图书馆论坛,2022, 42 (10 ): 42 50.
[17] 刘江峰,冯钰童,王东波,等. 数字人文视域下SikuBERT 增强的史籍实体识别研究[J]. 图书馆论坛,2022, 42(10):61 72.

[18] Li X Feng J Meng Y et al. A unified MRCframework for named entity recognition C / /Proceedings of the 58th Annual Meeting of theAssociation for Computational Linguistics 20205849 5859.

[19] 范涛,王昊,张卫,等. 基于机器阅读理解的非遗文本实体抽取研究[J]. 数据分析与知识发现, 2022, 6(12):70 79.

[20] 喻雪寒,何琳,王献琪. 基于机器阅读理解的古文事件抽取研究[J]. 情报学报,2023, 42(3):316326.
[21] Liu W Fu X Zhang Y et al. Lexicon enhancedChinese sequence labeling using BERT adapterC / / Proceedings of the 59th Annual Meeting ofthe Association for Computational Linguistics andthe 11th International Joint Conference on NaturalLanguage Processing 2021 5847 5858.

[22] Huang Z Wei X Kai Y. Bidirectional LSTMCRFmodels for sequence tagging EB / OL .2024-03-20 . https / / arxiv. org / pdf / 1508.01991. pdf.

[23] Zhang Y Yang J. Chinese NER using lattice LSTM C / /Proceedings of the 56th Annual Meeting of theAssociation for Computational Linguistic 20181554 1564.

[24] Huang L Yu W Ma W et al. A survey onhallucination in large language models principlestaxonomy challenges and open questions EB /OL . 2024-06-20 . https / / arxiv. org / abs /2311. 05232.

[1]	赵京胜1, 2 　杨心怡1 　曲维龙1 　郑嘉上1 　朱巧明2(1 青岛理工大学信息与控制工程学院　2 苏州大学计算机科学与技术学院). 双通道多粒度特征融合的古诗词命名实体识别——以唐宋时期为例[J]. 图书馆杂志, 2025, 44(415): 75-87.
[2]	王希羽1, 2 　王东波1, 2 (1 南京农业大学信息管理学院　2 南京农业大学人文与社会计算研究中心). 基于大语言模型的跨语言典籍自动分词研究 [J]. 图书馆杂志, 2025, 44(413): 104-115.
[3]	张　旭1 　张　斌1, 2, 3 (1 中国人民大学信息资源管理学院　2 中国人民大学图书馆　3 中国人民大学数字人文研究院). 中国数字人文学术共同体建设的现实困境与实践进路[J]. 图书馆杂志, 2025, 44(413): 93-103.
[4]	吴丹1, 2 　贺晓阳1 (1 武汉大学信息管理学院　2 武汉大学人机交互与用户行为研究中心). 交互式数字叙事重塑文化遗产:理论溯源、生态建构与发展路向[J]. 图书馆杂志, 2025, 44(413): 4-18.
[5]	周　知　周　群(西北大学公共管理学院). 基于残差网络的碑帖年代识别方法研究[J]. 图书馆杂志, 2025, 44(412): 81-89.
[6]	武兆迪1, 2 　王　昊1, 2 　裘靖文1, 2(1　南京大学信息管理学院　2　江苏省数据工程与知识服务重点实验室). 基于半监督学习的历史古籍事件主题识别模型研究[J]. 图书馆杂志, 2025, 44(412): 67-80.
[7]	王丽华马小柯（上海大学文化遗产与信息管理学院）. 融汇人文·智驭未来:聚焦AGI 时代的数字人文研究——CDH2024"数字人文百家争鸣与学科交叉融合"研讨会综述[J]. 图书馆杂志, 2025, 44(409): 110-117.
[8]	付雅明普欣宇（上海大学文化遗产与信息管理学院）. 数字叙事理论下多模态档案资源开发模式探究——以"跟着档案观上海"数字人文平台为例[J]. 图书馆杂志, 2025, 44(409): 97-109.
[9]	薛霏1 王静静2 叶鹰3, 4（1 浙江大学图书馆 2 山东大学新闻传播学院 3 复旦大学国家智能评价与治理实验基地 4 南京大学江苏省国际联合信息学实验室）. DeepSeek 推动下生成式AI走势及其图书馆应用前景探析[J]. 图书馆杂志, 2025, 44(409): 43-50.
[10]	付靖宜1 秦翠玉1 王晓光1, 2 （1 武汉大学信息管理学院 2 武汉大学文化遗产智能计算实验室）. 基于FAIR原则的数字人文开放数据平台应用现状调研与分析[J]. 图书馆杂志, 2025, 44(408): 84-97.
[11]	代林序周文泓（中国人民大学信息资源管理学院）. 面向数字人文研究的网络档案资源服务：实践进展与优化方向[J]. 图书馆杂志, 2025, 44(406): 96-107.
[12]	崔金英颜佳（上海图书馆）. 基于深度学习模型的命名实体识别对比研究——以民国电影类期刊为例[J]. 图书馆杂志, 2025, 44(405): 108-119.
[13]	仇开域夏翠娟（上海图书馆）. 数字人文服务中的跨媒介叙事研究与实践[J]. 图书馆杂志, 2024, 43(401): 11-23.
[14]	刘周颖赵宇翔张妍张轩慧朱庆华（南京林业大学人文社会科学学院南京大学信息管理学院南京大学数据管理创新研究中心）. 数字人文类开放数据竞赛的公众参与行为影响因素研究[J]. 图书馆杂志, 2024, 43(400): 123-135.
[15]	朱武信夏翠娟吴建伟（上海图书馆）. 面向全流程管理的专家协同知识生产系统设计与实现——以家谱联合编目系统为例[J]. 图书馆杂志, 2024, 43(400): 4-12.