Automatic Recognition of Place Names in Ancient PoetryBased on DA-BERT-CRF Models: Taking the AncientPoetries of Nanjing as an Example

Abstract

Abstract:

The entity recognition of the place in ancient poetry not only helps to deeply explore therelationship between ancient poems, but also helps to draw the distribution of Chinese poetry and promotethe study of Chinese classical literature in spatial dimension. The paper collected the data about theancient poetry of Nanjing and marked the place names with BIOES. Aiming at the lack of training data inthe field of ancient poetry, the paper proposed a place name recognition model in ancient poetry, whichused a data augmentation method and combined the pre-training model and CRF model, called DABERT-CRF model. In this paper, the training data was enhanced by the entity cross-exchange method.The context semantic information of the place names in ancient poetry was obtained by BERT model.Then, the CRF model was used to realize the constraint of the place name label and to generate the globaloptimal place name sequence. The average accuracy, average recall and average F value of the DA-BERTCRFmodel presented in this paper were 86.49%, 90.44% and 88.35% respectively.

Yu Xinling, Chang E ( School of Economics and Management, Southeast University, Southeast University Library). Automatic Recognition of Place Names in Ancient PoetryBased on DA-BERT-CRF Models: Taking the AncientPoetries of Nanjing as an Example[J]. Libraly Journal, 2023, 42(390): 87-94.

References

[ 1 ] 崔倩倩. 基于知识图谱的国内外数字人文研究可视化分析[J]. 图书馆界，2020（6）：48—54；65.
[ 2 ] 刘炜，谢蓉，张磊，等. 面向人文研究的国家数据基础设施建设[J]. 中国图书馆学报，2016，42（5）：29—39.
[ 3 ] 刘昱彤. 面向古汉语语义理解的自然语言处理技术研究与实现[D]. 北京：北京邮电大学，2021.
[ 4 ] 邓三鸿，胡昊天，王昊，等. 古文自动处理研究现状与新时代发展趋势展望[J]. 科技情报研究，2021，3（1）：1—20.Volk M，Clematide S. Learn-filter-
[ 5 ] apply-forget.mixed approaches to named entity recognition[C]//Proceedings of NLDB，2001（1）：153—163.
[ 6 ] Rau L F. Extracting company names from text[C]//Artificial Intelligence Applications， 1991. IEEE，1991.
[ 7 ] Bikel D M， Schwartz R， Weischedel R M . AnAlgorithm that Learns What’s in a Name[J].Machine Learning， 1999， 34（1—3）：211—231.
[ 8 ] Ji-HwanKim， Woodland P C. A rule-based namedentity recognition system for speech input[C]//International Conference on Spoken LanguageProcessing. DBLP， 2000.
[ 9 ] Borthwick A. A Maximum Entropy Approach ToNamed Entity[D]. New York： New York University，1999.
[10] Collobert R， Weston J， Bottou L， et al. NaturalLanguage Processing（ almost） from Scratch[J].Journal of Machine Learning Research， 2011，12（1）：2493—2537.
[11] Lample G，Ballesteros M，Subramanian S，et al. Neural Architectures for Named EntityRecognition[C]// Proceedings of the 2016Conference of the North American Chapter of theAssociation for Computational Linguistics： HumanLanguage Technologies， 2016.
[12] Lee J， Yoon W， Kim S， et al. BioBERT： a pretrainedbiomedical language representation modelfor biomedical text mining[J]. Bioinformatics， 2019.
[13] Eberts M， Ulges A. Span-based Joint Entityand Relation Extraction with Transformer Pretraining[C]// arXiv. arXiv， 2019.
[14] 曾艳，侯汉清. 古籍文本抽词研究[J]. 图书情报工作，2008（1）：132—135.
[15] 俞鸿魁，张华平，刘群，等. 基于层叠隐马尔可夫模型的中文命名实体识别[J]. 通信学报，2006（2）：87—94.
[16] 刘非凡，赵军，吕碧波，等. 面向商务信息抽取的产品命名实体识别研究[J]. 中文信息学报，2006（1）：7—13.
[17] 冯冲，陈肇雄，黄河燕. 采用主动学习策略的组织机构名识别[J]. 小型微型计算机系统，2006（4）：710—714.
[18] 张玥杰，徐智婷，薛向阳. 融合多特征的最大熵汉语命名实体识别模型[J]. 计算机研究与发展，2008（6）： 1004—1010.
[19] 杨志豪，林鸿飞，李彦鹏. 条件随机域与上下文线索结合的生物实体识别[J]. 计算机工程，2008（7）： 203—204；208.
[20] 刘宇瀚，刘常健，徐睿峰，等. 结合字形特征与迭代学习的金融领域命名实体识别[J]. 中文信息学报，2020，34（11）：74—83.
[21] 王子牛，姜猛，高建瓴，等. 基于BERT 的中文命名实体识别方法[J]. 计算机科学，2019，56（S2）：138—142.
[22] 刘新亮，张梦琪，谷情，等. 基于BERT-CRF 模型的生鲜蛋供应链命名实体识别[J]. 农业机械学报，2021， 52（S1）： 519—525.
[23] 朱锁玲，包平. 方志类古籍地名识别及系统构建[J]. 中国图书馆学报，2011，37（3）：118—124.
[24] 黄水清，王东波，何琳. 基于先秦语料库的古汉语地名自动识别模型构建研究[J]. 图书情报工作，2015， 59（12）： 135—140.
[25] 李成名. 基于深度学习的古籍词法分析研究[D].南京：南京师范大学， 2018.
[26] 徐晨飞，叶海影，包平. 基于深度学习的方志物产资料实体自动识别模型构建研究[J]. 数据分析与知识发现， 2020，4（8）：86—97.
[27] 崔竞烽，郑德俊，王东波，等. 基于深度学习模型的菊花古典诗词命名实体识别[J]. 情报理论与实践， 2020， 43（11）：150—155.
[28] 王建明，陈响育，杨自忠，等. 不同数据增强方法对模型识别精度的影响[J]. 计__________算机科学，2022， 49（S1）：418—423.
[29] Coulombe C. Text data augmentation made simpleby leveraging NLP cloud APIs[J]. arXiv preprintarXiv： 1812.04718，2018．
[30] 李健，张克亮，唐亮，等. 面向中文命名实体识别任务的数据增强[J]. 计算机与现代化，2022（4）：1—6；11.
[31] Liu Y， Zhang M. Neural network methods fornatural language processing[J]. ComputationalLinguistics， 2018， 44（1）：193—195．
[32] Liu P，Wang X M，Xiang C， et al. A survey oftext data augmentation[C]//Proceedings of the 2020International Conference on Computer Communicationand Network Security. 2020：191—195.
[33] Jacob D，Chang M，Kenton L， et al. BERT： pretrainingof deep bidirectional transformers forlanguage understanding[C]//Conference of theNorth American Chapter of the Association forComputational Linguistics： Human LanguageTechnologies， 2019： 4171—4186.
[34] 蔡鑫怡，姜威宇，韩浪焜，等. Bert 在中文阅读理解问答中的应用方法[J]. 信息与电脑（理论版）， 2019（8）：39—40.
[35] 赵鹏飞，赵春江，吴华瑞，等. 基于BERT 的多特征融合农业命名实体识别[J]. 农业工程学报，2022，38（3）： 112—118.
[36] Lafferty J，Mccallum A，Pereira F C N. ConditionalRandom Fields： Probabilistic Models for Segmentingand Labeling Sequence Data[J]. proceedings of icml，2002.
[37] Sun C， Qiu X， Xu Y， et al. How to Fine-Tune BERTfor Text Classification? [C]//Chinese ComputationalLinguistics：18th China National Conference onComputational Linguisties，2019：194—206.