A Comparative Study of Named Entity Recognition Based on Deep Learning Models: A Case Study of Film Journals in the Republic of China Period

Abstract

Abstract:

This paper constructs a deep learning model based on NEZHA-RTransformer-CRF. A total of 660 corpora were randomly selected from 101 journals as experimental data. A corpus was established through manual annotation, and the text was input into the NEZHA model to extract feature representation information. Subsequently, the RTransformer model was employed to extract local contextual information, with the final output fed into the CRF for entity recognition. Comparative analysis was conducted against four other models: BERT-BiLSTM-CRF, BERT-BiGRU-CRF, SVM and ChatGLM-Ptuning. The NEZHA-RTransformer-CRF model achieved an accuracy of 89.79% and a significantly improved F1 value of 79.44%. This validates the effectiveness and reliability of the proposed model, confirming the feasibility of applying deep learning techniques to the Repulibcian-era journal corpora. The results provide valuable data support for further exploration of journal data from this period.

Key words: Deep learning, Named entity identification, Film journals, Digital humanities

Cui Jinying, Yan Jia (Shanghai Library). A Comparative Study of Named Entity Recognition Based on Deep Learning Models: A Case Study of Film Journals in the Republic of China Period[J]. Libraly Journal, 2025, 44(405): 108-119.

References

[ 1 ] 夏翠娟. 面向人文研究的“数据基础设施”建设——试论图书馆学对数字人文的方法论贡献[J]. 中国图书馆学报，2020，46（3）：24–37.

[ 2 ] 司若，黄莺. 电影修复的历史、规范与时代意义[J]. 电影艺术，2021（5）：102–110.

[ 3 ] 李姗姗，梁钰唯. 数字人文视域下电影档案资源的建构与开发[J]. 档案学研究，2021（2）： 68–74.

[ 4 ] 刘浏，王东波. 命名实体识别研究综述[J]. 情报学报，2018，37（3）：329–340.

[ 5 ] 袁慧，马建霞. 命名实体情报挖掘方法研究及其在图书馆中的发展[J]. 图书馆理论与实践， 2017，216（10）： 29–36； 47.

[ 6 ] Eddy S R. Hidden markov models[J]. Current Opinionin Structural Biology，1996，6（3）：361–365.

[ 7 ] Lafferty J，Mccallum A，Pereira F C N. Conditional random fields： Probabilistic models for segmenting and labeling sequence data[C]//Proceedings of the 18th Int Conf on Machine Learning. New York： ACM，2001：282–289.

[ 8 ] Isozaki H，Kazawa H. Efficient support vector classifiers for named entity recognition[C]// Proceedings of the 19th International Conference on Computational Linguistics. Stroudsburg： Association for Computational Linguistics，2002： 1–7.

[ 9 ] Gupta S，Manning C D. Analyzing the dynamics of research by extracting key aspects of scientific papers[C]// Proceedings of the 5th International Joint Conference on Natural Language Processing. Asian Federation of Natural Language Processing， 2011： 1–9.

[10] Le Cun Y，Bottou L，Bengio Y，et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE，1998，86（11）：2278– 2324.

[11] Rumelhart D E，Hinton G E，Williams R J. Learning representations by back-propagating errors[J]. Nature，1986（6088）：533–536.

[12] Hochreiter S，Schmidhuber J.Long short-term memory [J]. Neural computation，1997，9（8）： 1735–1780.

[13] Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need [C]// Proceedings of the 3lst International Conferenee on Neural Information Processing Systems. NewYork：ACM，2017：6000–6010.

[14] Devlin J，Chang M W，Lee K，et al. BERT：Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the Conference of the NAACL. 2019：4171–4186.

[15] Liu Y，Ott M，Goyal N，et al. RoBERTa： A robustly optimized BERT pretraining approach [OL]. arXiv：1907.11692，2019. https://arxiv.org/ pdf/1907.11692.

[16] Yang Z L，Dai Z H，Yang Y M，et al. XLNet： Generalized autoregressive pretraining for language understanding[C]// Proceedings of the 33rd International Conference on Neural Information Processing Systems. 2019：5753–5763.

[17] Lan Z，Chen M，Goodman S，et al. Albert： A lite bert forself-supervised learning of language representations [C]//International Conference on Learning Representations. AddisAbaba：ICLR， 2020：102–108.

[18] Zeng H. Measuring massive multitask Chinese Understanding[OL] axiv preprint arxiv：2304. 12986，2023. https://arxiv.org/pdf/2304.12986.

[19] 赵继贵，钱育蓉，王魁，等. 中文命名实体识别研究综述[J]. 计算机工程与应用，2024，60（1）： 15–27.

[20] 张继元，钱育蓉，冷洪勇，等. 基于深度学习的命名实体识别研究综述[J]. 现代电子技术， 2024，47（6）：32–42.

[21] 章成志，谢雨欣，张恒. 学术文献全文内容中的方法实体细粒度抽取及演化分析研究[J]. 情报学报，2023，42（8）：952–966.

[22] 李东升，鲍玉来，刘建华，等. 基于BERT 的高校图书馆微信信息服务的命名实体识别方法[J]. 现代情报，2023，43（4）：64–76.

[23] 鲍彤，章成志.ChatGPT 中文信息抽取能力测评——以三种典型的抽取任务为例[J]. 数据分析与知识发现，2023，7（9）：1–11.

[24] 肖丹，杨春明，张晖，等. 基于多头注意力的中文电子病历命名实体识别[J]. 计算机应用与软件，2024，41（1）：133–138；160.

[25] 刘忠宝，党建飞，张志剑.《史记》历史事件自动抽取与事理图谱构建研究[J]. 图书情报工作， 2020，64（11）：116–124.

[26] 崔竞烽，郑德俊，王东波，等. 基于深度学习模型的菊花古典诗词命名实体识别[J]. 情报理论与实践，2020，43（11）：150–155.

[27] 刘江峰，冯钰童，王东波，等. 数字人文视域下SikuBERT 增强的史籍实体识别[J]. 图书馆论坛， 2022（10）：61–72.

[28] 余馨玲，常娥. 基于DA-BERT-CRF 模型的古诗词地名自动识别研究——以金陵古诗词为例 [J]. 图书馆杂志，2023，42（10）：87–94；73.

[29] 林立涛，王东波，刘江峰，等. 数字人文视域下典籍动物命名实体识别研究——以SikuBERT 预训练模型为例[J]. 图书馆论坛，2022，42（10）： 42–50.

[30] 吴梦成，林立涛，齐月，等. 数字人文视域下先秦典籍植物知识挖掘与组织研究[J]. 图书情报工作，2023，67（12）：103–113.

[31] 刘懋霖，赵萌，王昊. 面向古诗词的物象库构建方法及其分布规律研究[J]. 图书馆杂志，2024， 43（1）：96–108.

[32] 郑爽. 清末民初文言统一对阅读文化嬗变的影响[J]. 大学图书馆学报，2018，36（ 3）：57–64.

[33] J Wei，X Ren，X Li，et al. NEZHA： Neural Contextualized Representation for Chinese Language

Understanding [OL]. arXiv Preprint，arXiv：1909. 00204. https://arxiv.org/pdf/1909.00204.

[34] 何玉洁，杜方，史英杰，等. 基于深度学习的命名实体识别研究综述[J]. 计算机工程与应用， 2021，57（11）：21–36.

[35] Z Wang，Y Ma，Z Liu，et al. R-Transformer： Recurrent Neural Network Enhanced Transformer [OL]. arXiv Preprint，arXiv：1907.05572. https://arxiv.org/ pdf/1907.05572.

[36] 邓小政. 面向法律文书知识图谱构建研究[D]. 南昌：江西财经大学，2021.

[37] 焦凯楠，李欣，朱容辰. 中文领域命名实体识别综述[J]. 计算机工程与应用，2021，57（16）： 1–15.

[38] 张栋，陈文亮. 基于上下文相关字向量的中文命名实体识别[J]. 计算机科学，2021，48（3）： 233–238.

[39] Qu L，Ferraro G，Zhou L，et al. Named Entity Recognition for Novel Types by Transfer Learning[C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics，2016： 899–905.

[40] Huang K X，Altosaar J，Ranganath R. Clinical BERT： Modeling Clinical Notes and Predicting Hospital Readmission [OL]. arXiv Preprint，arXiv： 1904.05342.

[41] Beltagy I，Lo K，Cohan A. SciBERT：A Pretrained Language Model for Scientific Text[C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing（EMNLP-IJCNLP）. 2019： 3613–3618.