术语抽取软件测评框架研究

doi:10.12339/j.issn.1673-8578.2022.01.005

中国科技术语 ›› 2022, Vol. 24 ›› Issue (1): 45-54.doi: 10.12339/j.issn.1673-8578.2022.01.005

术语抽取软件测评框架研究

王华树¹(), 刘世界²()

1.北京外国语大学高级翻译学院,北京 100089
2.上海海事大学外国语学院,上海 201306

收稿日期:2021-08-25 修回日期:2021-11-08 出版日期:2022-01-05 发布日期:2021-12-27
作者简介:王华树(1980—),男,博士,北京外国语大学高级翻译学院副教授,兼任世界翻译教育联盟翻译技术研究会会长、中国翻译协会本地化服务委员会副秘书长、中国英汉语比较研究会外语教育技术专业委员会副秘书长、《中国科技术语》编委等。多年来致力于推动翻译技术产学研的生态融合,在《中国翻译》《外国语》《外语电化教学》《上海翻译》等期刊发表论文六十余篇,主持国家级、省部级及校级科研项目十多项,出版《人工智能时代翻译技术研究》《计算机辅助翻译概论》《应用程序本地化》《翻译与本地化项目管理》等十多部著作。研究领域:翻译与本地化技术、外语教育技术、术语管理。通信方式: wanghuashu@vip.qq.com。
刘世界(1994—),男,上海海事大学外国语学院2019级硕士研究生,专业为英语笔译,曾在《外语教学》《中国ESP研究》等刊物上发表论文。研究方向:翻译技术、术语管理、机器翻译译后编辑。通信方式: henryliushijie@163.com。
基金资助:
2018年教育部人文社会科学项目“大数据时代译者翻译技术能力的构成与培养研究”(18YJC740097);北京外国语大学北京高校高精尖学科“外语教育学”建设项目阶段性成果(2020SYLZDXM011)

Evaluation Framework of Terminology Extraction Software

WANG Huashu¹(), LIU Shijie²()

Received:2021-08-25 Revised:2021-11-08 Online:2022-01-05 Published:2021-12-27

摘要/Abstract

摘要：

自然语言处理技术的飞速发展,使得术语抽取软件在翻译、教育、语言学等领域成为不可或缺的资源,软件的种类也越来越多,可为用户提供不同的功能。然而,如何选择合适的软件成了亟待解决的问题。此研究参考ISO/IEC 25010: 2011和GB/T 2500.10—2016,从术语抽取软件的特性出发,选取功能适用性、兼容性、性能效率、易用性、信息安全性五个方面,探讨了术语抽取软件的动态化测评框架,并提出针对性的框架应用建议与应用案例,以期为用户选择恰当的术语抽取软件提供科学依据。

关键词: 术语抽取软件, 测评框架, 术语管理, 功能适用性, 性能效率

Abstract:

The rapid development of natural language processing technology has made terminology extraction software (TES) an indispensable resource in translation, education, and linguistics, and there are more and more types of software that can provide users with different functions. However, how to choose an appropriate software has become an urgent problem. Referring to ISO/IEC 25010: 2011 and GB/T 2500.10—2016 standards, this study selects five aspects related to the characteristics of TES, such as functional suitability, compatibility, performance efficiency, usability, and information security, analyzes the dynamic evaluation framework of TES, and proposes recommendations and application cases for the framework to provide a scientific basis for users to choose an appropriate TES.

Key words: terminology extraction software (TES), evaluation framework, terminology management, functional suitability, performance efficiency

中图分类号:

TP391
H083

王华树, 刘世界. 术语抽取软件测评框架研究[J]. 中国科技术语, 2022, 24(1): 45-54.

WANG Huashu, LIU Shijie. Evaluation Framework of Terminology Extraction Software[J]. China Terminology, 2022, 24(1): 45-54.

图/表 5

参考文献 13

[1]	王华树, 王少爽. 翻译场景下的术语管理: 流程、工具与趋势[J]. 中国科技术语, 2019, 21(3):9-14.
[2]	BERNIER-COLBORNE G. Defining a gold standard for the evaluation of term extractors[C]// Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC ’12), 2012: 15-18.
[3]	王华树. 浅议实践中的术语管理[J]. 中国科技术语, 2013, 15(2):11-14.
[4]	SAURON V. Tearing out the terms: Evaluating terms extractors[C]//Proceedings of the Aslib Conference Translating and the Computer 24, London: The Association for Information Management, 2002: 1-18.
[5]	PERIÑÁN-PASCUAL C, MAIRAL-USÓN R. A framework of analysis for the evaluation of automatic term extractors[J]. Vigo International Journal of Applied Linguistics, 2018: 105-125.
[6]	ISO. ISO/IEC 25010:2011 Systems and Software Engineering—Systems and Software Quality Requirements and Evaluation (SQuaRE)—System and Software Quality Models[S]. Geneva: International Organization for Standardization International Electrotechnical Commission, 2011.
[7]	中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会. GB/T 25000.10—2016 系统与软件工程: 系统与软件质量要求和评价(SQuaRE) 第10部分: 系统与软件质量模型[S]. 北京: 中国标准出版社, 2016.
[8]	VIVALDI J, RODRÍGUEZ H . Evaluation of terms and term Extraction Systems: A practical approach[J]. Terminology. International Journal of Theoretical and Applied Issues in Specialized Communication, 2007, 13(2):225-248. doi: 10.1075/term URL
[9]	FRANTZI K, ANANIADOU S, MIMA H. Automatic recognition of multi-word terms: The C-value/NC-value method[J]. International Journal on Digital Libraries, 2000, 3(2):115-130. doi: 10.1007/s007999900023 URL
[10]	JOYCE A. How to Measure Learnability of a User Interface[EB/OL].(2019-10-20)[2021-05-04]. https://www.nngroup.com/articles/measure-learnability.
[11]	GARRETT J J. 用户体验要素: 以用户为中心的产品设计[M]. 范晓燕, 译. 北京: 机械工业出版社, 2011.
[12]	王均松. 翻译质量评估新方向: DQF动态质量评估框架[J]. 中国科技翻译, 2019, 32(3):27-29.
[13]	DERIEMAEKER J. Research into the performance of the terminology extraction software Termtreffer[D]. Belgium: Ghent University, 2012: 13-17.

特性	子特性	度量	测评方法
功能适用性(30%)	功能正确性(50%)	精确率(30%)	数值标度
		召回率(30%)
		F1值(40%)
	功能适合性(50%)	是否支持多语言对(10%)	二值标度
		是否支持单/双语提取(10%)
		是否支持单/双语标注(10%)
		是否支持词长/词频限制(10%)
		是否支持原/译文停用词功能(10%)
		是否支持静噪比设置(10%)
		是否支持结果筛选(10%)
		是否支持术语添加/编辑(10%)
		是否支持术语分享(10%)
		是否支持术语标签分类(10%)
兼容性(20%)	软件兼容性(50%)	操作系统兼容性(40%)	李克特五分量表
		应用软件兼容性(30%)
		浏览器兼容性(30%)
	数据兼容性(50%)	新旧数据转换性(50%)
	数据兼容性(50%)	异种数据兼容性(50%)
性能效率(20%)	时间特性(50%)	源文档读取时间(30%)	李克特五分量表
		人工筛选时间(40%)
		数据导出时间(30%)
	容量(50%)	是否支持批量文件上传(50%)	二值标度
	容量(50%)	是否有文件大小限制(50%)	二值标度
易用性(20%)	易学性(50%)	初次使用时的易学性(40%)	李克特五分量表
		学习曲线的陡度(30%)
		效率饱和点(30%)
	用户界面舒适性(50%)	界面设计(40%)
		导航设计(30%)
		信息设计(30%)
信息安全性(10%)	保密性(30%)	登录是否需要进行身份鉴别(40%)	二值标度
		是否存在登录验证码(30%)
		是否有登录失败次数限制(30%)
	完整性(30%)	是否具备术语数据自动保存的功能(50%)
	完整性(30%)	是否具备数据恢复功能(50%)
	信息安全性的依从性(40%)	是否遵守与信息安全性相关的标准、规定或法规(100%)

特性	子特性	度量	测评方法
功能适用性(30%)	功能正确性(50%)	精确率(30%)	数值标度
		召回率(30%)
		F1值(40%)
	功能适合性(50%)	是否支持多语言对(10%)	二值标度
		是否支持单/双语提取(10%)
		是否支持单/双语标注(10%)
		是否支持词长/词频限制(10%)
		是否支持原/译文停用词功能(10%)
		是否支持静噪比设置(10%)
		是否支持结果筛选(10%)
		是否支持术语添加/编辑(10%)
		是否支持术语分享(10%)
		是否支持术语标签分类(10%)
兼容性(20%)	软件兼容性(50%)	操作系统兼容性(40%)	李克特五分量表
		应用软件兼容性(30%)
		浏览器兼容性(30%)
	数据兼容性(50%)	新旧数据转换性(50%)
	数据兼容性(50%)	异种数据兼容性(50%)
性能效率(20%)	时间特性(50%)	源文档读取时间(30%)	李克特五分量表
		人工筛选时间(40%)
		数据导出时间(30%)
	容量(50%)	是否支持批量文件上传(50%)	二值标度
	容量(50%)	是否有文件大小限制(50%)	二值标度
易用性(20%)	易学性(50%)	初次使用时的易学性(40%)	李克特五分量表
		学习曲线的陡度(30%)
		效率饱和点(30%)
	用户界面舒适性(50%)	界面设计(40%)
		导航设计(30%)
		信息设计(30%)
信息安全性(10%)	保密性(30%)	登录是否需要进行身份鉴别(40%)	二值标度
		是否存在登录验证码(30%)
		是否有登录失败次数限制(30%)
	完整性(30%)	是否具备术语数据自动保存的功能(50%)
	完整性(30%)	是否具备数据恢复功能(50%)
	信息安全性的依从性(40%)	是否遵守与信息安全性相关的标准、规定或法规(100%)

特性	子特性	度量	测评方法	A	B	A得分	B得分
功能适用性(30%,按照百分制折合为30分)	功能正确性(50%)	精确率(30%)	数值标度	40%	50%	1.8	2.25
		召回率(30%)		60%	70%	2.7	3.15
		F1值(40%)		40%	50%	2.4	3.0
	功能适合性(50%)	是否支持多语言对(10%)	二值标度	是	是	1.5	1.5
		是否支持单/双语提取(10%)		是	是	1.5	1.5
		是否支持单/双语标注(10%)		否	是	0.0	1.5
		是否支持词长/词频限制(10%)		是	是	1.5	1.5
		是否支持原/译文停用词功能(10%)		是	是	1.5	1.5
		是否支持静噪比设置(10%)		否	是	0.0	1.5
		是否支持结果筛选(10%)		否	是	0.0	1.5
		是否支持术语添加/编辑(10%)		是	是	1.5	1.5
		是否支持术语分享(10%)		是	否	1.5	0.0
		是否支持术语标签分类(10%)		否	否	0.0	0.0
总计						15.9	20.4

特性	子特性	度量	测评方法	A	B	A得分	B得分
功能适用性(30%,按照百分制折合为30分)	功能正确性(50%)	精确率(30%)	数值标度	40%	50%	1.8	2.25
		召回率(30%)		60%	70%	2.7	3.15
		F1值(40%)		40%	50%	2.4	3.0
	功能适合性(50%)	是否支持多语言对(10%)	二值标度	是	是	1.5	1.5
		是否支持单/双语提取(10%)		是	是	1.5	1.5
		是否支持单/双语标注(10%)		否	是	0.0	1.5
		是否支持词长/词频限制(10%)		是	是	1.5	1.5
		是否支持原/译文停用词功能(10%)		是	是	1.5	1.5
		是否支持静噪比设置(10%)		否	是	0.0	1.5
		是否支持结果筛选(10%)		否	是	0.0	1.5
		是否支持术语添加/编辑(10%)		是	是	1.5	1.5
		是否支持术语分享(10%)		是	否	1.5	0.0
		是否支持术语标签分类(10%)		否	否	0.0	0.0
总计						15.9	20.4

[1]	刘春燕. 信息与文献标准化术语管理研究[J]. 中国科技术语, 2022, 24(1): 63-72.
[2]	李澜. 口译术语管理——概念、现状和未来[J]. 中国科技术语, 2021, 23(2): 55-62.
[3]	陆诗婷. 网络协作翻译项目的术语管理模式初探——以《中国纪录片发展研究报告(2018)》汉译英项目为例[J]. 中国科技术语, 2020, 22(4): 18-24.
[4]	邱碧华编译. 基于框架术语学理论的北约术语管理[J]. 中国科技术语, 2020, 22(3): 33-39.
[5]	李伟, 颜海峰. 术语管理实践的行业模式探索——《术语管理指南》述评[J]. 中国科技术语, 2020, 22(3): 40-43.
[6]	王华树, 王少爽. 翻译场景下的术语管理:流程、工具与趋势[J]. 中国科技术语, 2019, 21(3): 9-14.
[7]	周丹丹. 基于自建术语管理系统的翻译项目研究[J]. 中国科技术语, 2019, 21(3): 15-21.
[8]	柳菁. 敦煌文化汉英术语库建设及术语管理研究[J]. 中国科技术语, 2019, 21(2): 17-21.
[9]	邱碧华/编译. 欧洲技术交流协会对德国企业术语工作状况的调研报告[J]. 中国科技术语, 2019, 21(2): 26-31.
[10]	陈立雪, 王华树. 科技术语管理的现状及优化[J]. 中国科技术语, 2018, 20(3): 14-16.
[11]	刘翚, 宁海霖. 大型机构术语管理的方法和意义——以欧盟IATE术语库为例[J]. 中国科技术语, 2017, 19(5): 10-16.
[12]	王华树. 科技翻译项目中的术语管理[J]. 中国科技术语, 2015, 17(4): 17-21.
[13]	梁爱林. 术语管理工具的应用[J]. 中国科技术语, 2015, 17(2): 27-31.
[14]	冷冰冰. 译者术语管理的理论支撑问题[J]. 中国科技术语, 2015, 17(1): 5-9.
[15]	王华树. 浅议实践中的术语管理[J]. 中国科技术语, 2013, 15(2): 11-14.

术语抽取软件测评框架研究

Evaluation Framework of Terminology Extraction Software

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 13

相关文章 15

编辑推荐

Metrics

本文评价