基于深度学习文本摘要的科技名词释义生成方法

doi:10.12339/j.issn.1673-8578.2024.02.004

中国科技术语 ›› 2024, Vol. 26 ›› Issue (2): 29-36.doi: 10.12339/j.issn.1673-8578.2024.02.004

基于深度学习文本摘要的科技名词释义生成方法

杜振雷¹(), 陈若愚²(), 姜雨杉²()

¹ 全国科学技术名词审定委员会,北京 100717
² 北京信息科技大学计算机学院,北京 100101

收稿日期:2023-03-27 修回日期:2023-06-29 出版日期:2024-03-29 发布日期:2024-03-29

作者简介:

杜振雷(1985—),男,硕士,全国科学技术名词审定委员会事务中心宣传推广处副处长,学习强国·每日科技名词编辑部主任,全国语言与术语标准化技术委员会计算机辅助术语工作分技术委员会委员。主要研究方向为术语管理、术语传播和自然语言处理。主持或参与国家级、省部级及其他科研项目共8项,发表学术论文10篇,参与制定新闻出版行业标准1项,参与编写专著4部。通信方式:duzl@cnterm.cn。

陈若愚(1982—),男,博士,2013年毕业于北京理工大学,现为北京信息科技大学计算机学院讲师。主要研究方向包括自然语言处理、知识图谱构建与应用等。作为主要人员参加了国家自然科学基金、国家242信息安全计划课题等多项研究。在国内外期刊、会议上发表论文10余篇。通信方式:chenruoyu@bistu.edu.cn。

姜雨杉(1999—),女,北京信息科技大学信息管理学院网络空间安全专业2022级硕士研究生,研究方向为自然语言处理。通信方式:jiangys0929@163.com。

基金资助:
国家语言文字委员会科研项目“面向中文学习者的科技名词术语释义扩展生成研究”(YB135-155)

Research on Term Interpretation Generation Methods Based on Deep Learning Text Summarization

DU Zhenlei¹(), CHEN Ruoyu²(), JIANG Yushan²()

Received:2023-03-27 Revised:2023-06-29 Online:2024-03-29 Published:2024-03-29

摘要/Abstract

摘要：

科技名词是科学技术形成、积累、交流和传播的前提和基础。为科技名词生成百科性释义,对于普通民众和中文学习者掌握科技名词内涵、正确使用术语具有很强的现实意义。文章提出了一种基于深度学习的科技名词百科释义生成方法。通过网络采集百科文本和专家撰写的术语释义文章,构建了科技名词百科释义数据集。基于T5 PEGASUS预训练模型并对模型进行微调,构建了生成式文本摘要模型和建立了科技名词释义生成系统。实验结果显示,本项研究所提出的模型在生成质量、语义连贯性和通用性等方面具有较高的性能。

关键词: 深度学习, 文本摘要, 科技名词, 术语释义, 释义生成, 数据集

Abstract:

Scientific and technological terms are the foundation and prerequisite for the formation, accumulation, communication, and dissemination of scientific knowledge. Generating encyclopedic definitions for these terms is of great practical significance for the general public and Chinese learners to grasp the connotations of scientific terms and use them correctly. In this study, we propose a deep learning-based method for generating encyclopedic definitions of scientific and technological terms. We collected encyclopedic texts and expert-written term definitions from the internet to construct a dataset for scientific and technological term definitions. Based on the T5 PEGASUS pre-trained model, we fine-tuned the model to build a generative text summarization model and developed a system for generating definitions of scientific and technological terms. Experimental results demonstrate that the proposed model exhibits high performance in terms of generation quality, semantic coherence, and versatility.

Key words: deep learning, text summarization, scientific and technological terms, definition of terms, definition generation, dataset

杜振雷, 陈若愚, 姜雨杉. 基于深度学习文本摘要的科技名词释义生成方法[J]. 中国科技术语, 2024, 26(2): 29-36.

DU Zhenlei, CHEN Ruoyu, JIANG Yushan. Research on Term Interpretation Generation Methods Based on Deep Learning Text Summarization[J]. China Terminology, 2024, 26(2): 29-36.

图/表 6

参考文献 20

[1]	RADFORD A, WU J, CHILD R, et al. Language models are unsupervised multitask learners[J]. OpenAI blog, 2019, 1(8): 9.
[2]	BROWN T, MANN B, RYDER N, et al. Language models are few-shot learners[J]. Advances in Neural Information Processing Systems, 2020, 33: 1877-1901.
[3]	LIU P J, SALEH M, POT E, et al. Generating Wikipedia by Summarizing Long Sequences[C]// International Conference on Learning Representations. 2018.
[4]	李金鹏, 张闯, 陈小军, 等. 自动文本摘要研究综述[J]. 计算机研究与发展, 2021, 58(1): 1-21.
[5]	张龙凯, 王厚峰. 文本摘要问题中的句子抽取方法研究[J]. 中文信息学报, 2012, 26(2): 97-101.
[6]	赵伟, 王文娟, 任彦凝, 等. 基于改进Transformer的生成式文本摘要模型[J]. 重庆邮电大学学报(自然科学版), 2023, 35(1): 185-192.
[7]	FAN M, SUN F, MA Y. A survey of text summarization techniques[J]. Journal of Artificial Intelligence Research, 2017, 59: 185-212.
[8]	ZHANG Y, CHEN J, CHEN X. Fine-grained definition generation for scientific terms via a hierarchical and compositional approach[J]. Journal of the Association for Information Science and Technology, 2021, 72(9): 1051-1065.
[9]	JIANG T, LIU S, ZHOU Z, et al. A method for scientific term definition expansion based on machine learning[J]. Computer Applications in Engineering Education, 2021, 29(5): 1097-1112. doi: 10.1002/cae.v29.5 URL
[10]	WU X, CHEN H, CHEN Y. A Method of Acronym Expansions with Attention Mechanism[J]. Journal of Information Science Theory and Practice, 2021, 9(1): 73-90.
[11]	CUI Q, LIU Z, WANG J, et al. Knowledge-based text summarization: Enriching summarization by incorporating knowledge graphs[C]// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies. 2018: 579-584.
[12]	CHEN X, ZHOU Y, YANG H, et al. An Improved Text Summarization Method Based on Entity-Relation Graph[J]. Future Internet, 2020, 12(2): 27. doi: 10.3390/fi12020027 URL
[13]	陈松林, 高志勇, 刘艳芳. 中文自动文摘综述: 基于深度学习技术[J]. 数据分析与知识发现, 2021, 5(7): 1-18.
[14]	CHEN J, LIU Y, JIN J. Neural summarization: A survey of supervised and unsupervised approaches[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2018, 10(3): 1-28.
[15]	WANG W, PAN Y, DAHLMEIER D. A survey of deep learning-based text summarization models[J]. 2019, arXiv preprint arXiv:1912.01722.
[16]	电子计算机[DB/OL]. 术语在线. (2023-02-13) [2023-03-05]. https://www.termonline.cn/search?k=%E7%94%B5%E5%AD%90%E8%AE%A1%E7%AE%97%E6%9C%BA&r=1679891581708
[17]	学习强国·每日科技名词编委会. 学习强国·每日科技名词(2021)[M]. 长春: 吉林出版集团股份有限公司, 2022.
[18]	SU J. T5 PEGASUS - ZhuiyiAI[EB/OL]. (2022-04-03) [2023-03-05]. https://github.com/ZhuiyiTechnology/t5-pegasus
[19]	XUE L, CONSTANT N, ADAM R, et al. mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer[C]// Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies. 2021: 483-498.
[20]	ZHANG J, ZHAO Y, SALEH M, et al. Pegasus: Pre-training with extracted gap-sentences for abstractive summarization[C]// Proceedings of the 37 th International Conference on Machine Learning. PMLR, 2020: 11328-11339.

超参数名	超参数值
序列长度	512
批次大小	24
世代数	100000
学习率	1e-4
优化器	Adam
权重衰减	1e-6
分段线性学习率	0.8
温度参数	0.7
Beam宽度	5

超参数名	超参数值
序列长度	512
批次大小	24
世代数	100000
学习率	1e-4
优化器	Adam
权重衰减	1e-6
分段线性学习率	0.8
温度参数	0.7
Beam宽度	5

评价值模型	ROUGE-1	ROUGE-2	ROUGE-L
Seq2Seq	50.23	38.47	47.12
Transformer	54.19	42.01	50.76
BERT	56.12	45.62	53.09
T5 PEGASUS	60.53	50.32	57.87

评价值模型	ROUGE-1	ROUGE-2	ROUGE-L
Seq2Seq	50.23	38.47	47.12
Transformer	54.19	42.01	50.76
BERT	56.12	45.62	53.09
T5 PEGASUS	60.53	50.32	57.87

基于深度学习文本摘要的科技名词释义生成方法

Research on Term Interpretation Generation Methods Based on Deep Learning Text Summarization

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 20

相关文章 15

编辑推荐

Metrics

本文评价

[1]	杜振雷, 刘金婷, 史金鹏. ChatGPT及其核心技术在科技名词规范化中的应用潜力与挑战[J]. 中国科技术语, 2023, 25(4): 45-54.
[2]	史金鹏, 王海, 杜振雷. 基于文献计量的自动驾驶名词体系构建方法[J]. 中国科技术语, 2023, 25(2): 32-43.
[3]	曾江霞. 多模态大数据语境下科技术语翻译标准分析——以新冠肺炎和新冠病毒术语翻译为例[J]. 中国科技术语, 2020, 22(5): 33-41.
[4]	裴亚军. 科技名词审定工作的性质、任务和组织[J]. 中国科技术语, 2020, 22(1): 5-8.
[5]	魏星, 王小辉, 魏亮, 杜振雷. 科技名词多音字探析[J]. 中国科技术语, 2019, 21(6): 5-10.
[6]	刘翚. 民国科技名词翻译史的创建及其意义——评温昌斌著《民国科技译名统一工作实践与理论》[J]. 中国科技术语, 2018, 20(5): 22-25.
[7]	裴亚军. 创新开展新时期科技名词规范化工作,努力发挥支撑服务作用[J]. 中国科技术语, 2018, 20(3): 7-10.
[8]	甘师秀. 英语术语单、复数浅析[J]. 中国科技术语, 2017, 19(1): 59-60.
[9]	王琪. 浅谈科技异读词的规范问题[J]. 中国科技术语, 2016, 18(4): 16-18.
[10]	杜翔, 李志江. 科技名词汉语拼音难点探析——以《两岸科技常用词典》为例[J]. 中国科技术语, 2015, 17(5): 20-24.
[11]	姚云云. 建立科技图书使用规范科技名词的保障体系[J]. 中国科技术语, 2015, 17(4): 49-52.
[12]	何家宁. 贸易术语释义原则与方法探讨 ——以“到岸价格”(CIF)为例[J]. 中国科技术语, 2015, 17(1): 15-18.
[13]	江纪武, 郑礼胜, 王洁. 从误名“鸡枞菌”看科技名词规范化[J]. 中国科技术语, 2014, 16(4): 58-60.
[14]	刘青. 关于科技名词中字母词问题的探讨[J]. 中国科技术语, 2014, 16(2): 10-14.
[15]	裴亚军, 覃德兵. 公益性科技名词数据资源共享的原则和方法[J]. 中国科技术语, 2014, 16(2): 15-17.