基于DA-BERT-CRF 模型的古诗词地名自动识别研究——以金陵古诗词为例

图书馆杂志 ›› 2023, Vol. 42 ›› Issue (390): 87-94.

基于DA-BERT-CRF 模型的古诗词地名自动识别研究——以金陵古诗词为例

余馨玲1 常娥1，2
（1 东南大学经济管理学院 2 东南大学图书馆）

出版日期:2023-10-15 发布日期:2023-11-01
作者简介:余馨玲东南大学经济管理学院，硕士研究生。研究方向：知识组织。作者贡献：论文撰写、程序实现。E-mail：2419738474@qq.com 江苏南京 211189 常娥东南大学图书馆，硕士研究生导师。研究方向：知识组织与管理。作者贡献：确定选题、论文修改。江苏南京 211189

Automatic Recognition of Place Names in Ancient PoetryBased on DA-BERT-CRF Models: Taking the AncientPoetries of Nanjing as an Example

Yu Xinling1, Chang E1, 2(1 School of Economics and Management, Southeast University; 2 Southeast University Library)

Online:2023-10-15 Published:2023-11-01
About author:Yu Xinling1, Chang E1, 2(1 School of Economics and Management, Southeast University; 2 Southeast University Library)

摘要/Abstract

摘要：

古诗词地名实体识别不仅有助于深度挖掘古诗词文本之间的关联，而且有助于绘制中国诗歌版图分布，推动空间维度的中国古典文学研究。文章围绕南京城系统采集有关古诗词数据，采用BIOES 方法进行地名实体标注。针对古诗词领域训练数据匮乏、以字代词等问题，提出一种采用数据增强方法，同时融合预训练模型与条件随机场方法的古诗词地名识别模型，简称DABERT-CRF 模型。文章将训练数据采用实体交叉互换方法进行数据增强处理，然后通过预训练模型BERT 得到古诗词地名的上下文语义信息，最后利用条件随机场CRF 实现地名标签约束并生成全局最优地名序列。文章提出的DA-BERT-CRF 模型十折交叉实验平均精确率、平均召回率和平均F 值分别为86.49%、90.44%、88.35%。

Abstract:

The entity recognition of the place in ancient poetry not only helps to deeply explore therelationship between ancient poems, but also helps to draw the distribution of Chinese poetry and promotethe study of Chinese classical literature in spatial dimension. The paper collected the data about theancient poetry of Nanjing and marked the place names with BIOES. Aiming at the lack of training data inthe field of ancient poetry, the paper proposed a place name recognition model in ancient poetry, whichused a data augmentation method and combined the pre-training model and CRF model, called DABERT-CRF model. In this paper, the training data was enhanced by the entity cross-exchange method.The context semantic information of the place names in ancient poetry was obtained by BERT model.Then, the CRF model was used to realize the constraint of the place name label and to generate the globaloptimal place name sequence. The average accuracy, average recall and average F value of the DA-BERTCRFmodel presented in this paper were 86.49%, 90.44% and 88.35% respectively.

余馨玲常娥（东南大学经济管理学院东南大学图书馆）. 基于DA-BERT-CRF 模型的古诗词地名自动识别研究——以金陵古诗词为例[J]. 图书馆杂志, 2023, 42(390): 87-94.

Yu Xinling, Chang E ( School of Economics and Management, Southeast University, Southeast University Library). Automatic Recognition of Place Names in Ancient PoetryBased on DA-BERT-CRF Models: Taking the AncientPoetries of Nanjing as an Example[J]. Libraly Journal, 2023, 42(390): 87-94.

参考文献

[ 1 ] 崔倩倩. 基于知识图谱的国内外数字人文研究可视化分析[J]. 图书馆界，2020（6）：48—54；65.
[ 2 ] 刘炜，谢蓉，张磊，等. 面向人文研究的国家数据基础设施建设[J]. 中国图书馆学报，2016，42（5）：29—39.
[ 3 ] 刘昱彤. 面向古汉语语义理解的自然语言处理技术研究与实现[D]. 北京：北京邮电大学，2021.
[ 4 ] 邓三鸿，胡昊天，王昊，等. 古文自动处理研究现状与新时代发展趋势展望[J]. 科技情报研究，2021，3（1）：1—20.Volk M，Clematide S. Learn-filter-
[ 5 ] apply-forget.mixed approaches to named entity recognition[C]//Proceedings of NLDB，2001（1）：153—163.
[ 6 ] Rau L F. Extracting company names from text[C]//Artificial Intelligence Applications， 1991. IEEE，1991.
[ 7 ] Bikel D M， Schwartz R， Weischedel R M . AnAlgorithm that Learns What’s in a Name[J].Machine Learning， 1999， 34（1—3）：211—231.
[ 8 ] Ji-HwanKim， Woodland P C. A rule-based namedentity recognition system for speech input[C]//International Conference on Spoken LanguageProcessing. DBLP， 2000.
[ 9 ] Borthwick A. A Maximum Entropy Approach ToNamed Entity[D]. New York： New York University，1999.
[10] Collobert R， Weston J， Bottou L， et al. NaturalLanguage Processing（ almost） from Scratch[J].Journal of Machine Learning Research， 2011，12（1）：2493—2537.
[11] Lample G，Ballesteros M，Subramanian S，et al. Neural Architectures for Named EntityRecognition[C]// Proceedings of the 2016Conference of the North American Chapter of theAssociation for Computational Linguistics： HumanLanguage Technologies， 2016.
[12] Lee J， Yoon W， Kim S， et al. BioBERT： a pretrainedbiomedical language representation modelfor biomedical text mining[J]. Bioinformatics， 2019.
[13] Eberts M， Ulges A. Span-based Joint Entityand Relation Extraction with Transformer Pretraining[C]// arXiv. arXiv， 2019.
[14] 曾艳，侯汉清. 古籍文本抽词研究[J]. 图书情报工作，2008（1）：132—135.
[15] 俞鸿魁，张华平，刘群，等. 基于层叠隐马尔可夫模型的中文命名实体识别[J]. 通信学报，2006（2）：87—94.
[16] 刘非凡，赵军，吕碧波，等. 面向商务信息抽取的产品命名实体识别研究[J]. 中文信息学报，2006（1）：7—13.
[17] 冯冲，陈肇雄，黄河燕. 采用主动学习策略的组织机构名识别[J]. 小型微型计算机系统，2006（4）：710—714.
[18] 张玥杰，徐智婷，薛向阳. 融合多特征的最大熵汉语命名实体识别模型[J]. 计算机研究与发展，2008（6）： 1004—1010.
[19] 杨志豪，林鸿飞，李彦鹏. 条件随机域与上下文线索结合的生物实体识别[J]. 计算机工程，2008（7）： 203—204；208.
[20] 刘宇瀚，刘常健，徐睿峰，等. 结合字形特征与迭代学习的金融领域命名实体识别[J]. 中文信息学报，2020，34（11）：74—83.
[21] 王子牛，姜猛，高建瓴，等. 基于BERT 的中文命名实体识别方法[J]. 计算机科学，2019，56（S2）：138—142.
[22] 刘新亮，张梦琪，谷情，等. 基于BERT-CRF 模型的生鲜蛋供应链命名实体识别[J]. 农业机械学报，2021， 52（S1）： 519—525.
[23] 朱锁玲，包平. 方志类古籍地名识别及系统构建[J]. 中国图书馆学报，2011，37（3）：118—124.
[24] 黄水清，王东波，何琳. 基于先秦语料库的古汉语地名自动识别模型构建研究[J]. 图书情报工作，2015， 59（12）： 135—140.
[25] 李成名. 基于深度学习的古籍词法分析研究[D].南京：南京师范大学， 2018.
[26] 徐晨飞，叶海影，包平. 基于深度学习的方志物产资料实体自动识别模型构建研究[J]. 数据分析与知识发现， 2020，4（8）：86—97.
[27] 崔竞烽，郑德俊，王东波，等. 基于深度学习模型的菊花古典诗词命名实体识别[J]. 情报理论与实践， 2020， 43（11）：150—155.
[28] 王建明，陈响育，杨自忠，等. 不同数据增强方法对模型识别精度的影响[J]. 计__________算机科学，2022， 49（S1）：418—423.
[29] Coulombe C. Text data augmentation made simpleby leveraging NLP cloud APIs[J]. arXiv preprintarXiv： 1812.04718，2018．
[30] 李健，张克亮，唐亮，等. 面向中文命名实体识别任务的数据增强[J]. 计算机与现代化，2022（4）：1—6；11.
[31] Liu Y， Zhang M. Neural network methods fornatural language processing[J]. ComputationalLinguistics， 2018， 44（1）：193—195．
[32] Liu P，Wang X M，Xiang C， et al. A survey oftext data augmentation[C]//Proceedings of the 2020International Conference on Computer Communicationand Network Security. 2020：191—195.
[33] Jacob D，Chang M，Kenton L， et al. BERT： pretrainingof deep bidirectional transformers forlanguage understanding[C]//Conference of theNorth American Chapter of the Association forComputational Linguistics： Human LanguageTechnologies， 2019： 4171—4186.
[34] 蔡鑫怡，姜威宇，韩浪焜，等. Bert 在中文阅读理解问答中的应用方法[J]. 信息与电脑（理论版）， 2019（8）：39—40.
[35] 赵鹏飞，赵春江，吴华瑞，等. 基于BERT 的多特征融合农业命名实体识别[J]. 农业工程学报，2022，38（3）： 112—118.
[36] Lafferty J，Mccallum A，Pereira F C N. ConditionalRandom Fields： Probabilistic Models for Segmentingand Labeling Sequence Data[J]. proceedings of icml，2002.
[37] Sun C， Qiu X， Xu Y， et al. How to Fine-Tune BERTfor Text Classification? [C]//Chinese ComputationalLinguistics：18th China National Conference onComputational Linguisties，2019：194—206.