Evaluation Framework of Terminology Extraction Software

doi:10.12339/j.issn.1673-8578.2022.01.005

Abstract

Abstract:

The rapid development of natural language processing technology has made terminology extraction software (TES) an indispensable resource in translation, education, and linguistics, and there are more and more types of software that can provide users with different functions. However, how to choose an appropriate software has become an urgent problem. Referring to ISO/IEC 25010: 2011 and GB/T 2500.10—2016 standards, this study selects five aspects related to the characteristics of TES, such as functional suitability, compatibility, performance efficiency, usability, and information security, analyzes the dynamic evaluation framework of TES, and proposes recommendations and application cases for the framework to provide a scientific basis for users to choose an appropriate TES.

Key words: terminology extraction software (TES), evaluation framework, terminology management, functional suitability, performance efficiency

CLC Number:

WANG Huashu, LIU Shijie. Evaluation Framework of Terminology Extraction Software[J]. China Terminology, 2022, 24(1): 45-54.

Figures/Tables 5

References 13

[1]	王华树, 王少爽. 翻译场景下的术语管理: 流程、工具与趋势[J]. 中国科技术语, 2019, 21(3):9-14.
[2]	BERNIER-COLBORNE G. Defining a gold standard for the evaluation of term extractors[C]// Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC ’12), 2012: 15-18.
[3]	王华树. 浅议实践中的术语管理[J]. 中国科技术语, 2013, 15(2):11-14.
[4]	SAURON V. Tearing out the terms: Evaluating terms extractors[C]//Proceedings of the Aslib Conference Translating and the Computer 24, London: The Association for Information Management, 2002: 1-18.
[5]	PERIÑÁN-PASCUAL C, MAIRAL-USÓN R. A framework of analysis for the evaluation of automatic term extractors[J]. Vigo International Journal of Applied Linguistics, 2018: 105-125.
[6]	ISO. ISO/IEC 25010:2011 Systems and Software Engineering—Systems and Software Quality Requirements and Evaluation (SQuaRE)—System and Software Quality Models[S]. Geneva: International Organization for Standardization International Electrotechnical Commission, 2011.
[7]	中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会. GB/T 25000.10—2016 系统与软件工程: 系统与软件质量要求和评价(SQuaRE) 第10部分: 系统与软件质量模型[S]. 北京: 中国标准出版社, 2016.
[8]	VIVALDI J, RODRÍGUEZ H . Evaluation of terms and term Extraction Systems: A practical approach[J]. Terminology. International Journal of Theoretical and Applied Issues in Specialized Communication, 2007, 13(2):225-248. doi: 10.1075/term URL
[9]	FRANTZI K, ANANIADOU S, MIMA H. Automatic recognition of multi-word terms: The C-value/NC-value method[J]. International Journal on Digital Libraries, 2000, 3(2):115-130. doi: 10.1007/s007999900023 URL
[10]	JOYCE A. How to Measure Learnability of a User Interface[EB/OL].(2019-10-20)[2021-05-04]. https://www.nngroup.com/articles/measure-learnability.
[11]	GARRETT J J. 用户体验要素: 以用户为中心的产品设计[M]. 范晓燕, 译. 北京: 机械工业出版社, 2011.
[12]	王均松. 翻译质量评估新方向: DQF动态质量评估框架[J]. 中国科技翻译, 2019, 32(3):27-29.
[13]	DERIEMAEKER J. Research into the performance of the terminology extraction software Termtreffer[D]. Belgium: Ghent University, 2012: 13-17.

特性	子特性	度量	测评方法
功能适用性(30%)	功能正确性(50%)	精确率(30%)	数值标度
		召回率(30%)
		F1值(40%)
	功能适合性(50%)	是否支持多语言对(10%)	二值标度
		是否支持单/双语提取(10%)
		是否支持单/双语标注(10%)
		是否支持词长/词频限制(10%)
		是否支持原/译文停用词功能(10%)
		是否支持静噪比设置(10%)
		是否支持结果筛选(10%)
		是否支持术语添加/编辑(10%)
		是否支持术语分享(10%)
		是否支持术语标签分类(10%)
兼容性(20%)	软件兼容性(50%)	操作系统兼容性(40%)	李克特五分量表
		应用软件兼容性(30%)
		浏览器兼容性(30%)
	数据兼容性(50%)	新旧数据转换性(50%)
	数据兼容性(50%)	异种数据兼容性(50%)
性能效率(20%)	时间特性(50%)	源文档读取时间(30%)	李克特五分量表
		人工筛选时间(40%)
		数据导出时间(30%)
	容量(50%)	是否支持批量文件上传(50%)	二值标度
	容量(50%)	是否有文件大小限制(50%)	二值标度
易用性(20%)	易学性(50%)	初次使用时的易学性(40%)	李克特五分量表
		学习曲线的陡度(30%)
		效率饱和点(30%)
	用户界面舒适性(50%)	界面设计(40%)
		导航设计(30%)
		信息设计(30%)
信息安全性(10%)	保密性(30%)	登录是否需要进行身份鉴别(40%)	二值标度
		是否存在登录验证码(30%)
		是否有登录失败次数限制(30%)
	完整性(30%)	是否具备术语数据自动保存的功能(50%)
	完整性(30%)	是否具备数据恢复功能(50%)
	信息安全性的依从性(40%)	是否遵守与信息安全性相关的标准、规定或法规(100%)

特性	子特性	度量	测评方法
功能适用性(30%)	功能正确性(50%)	精确率(30%)	数值标度
		召回率(30%)
		F1值(40%)
	功能适合性(50%)	是否支持多语言对(10%)	二值标度
		是否支持单/双语提取(10%)
		是否支持单/双语标注(10%)
		是否支持词长/词频限制(10%)
		是否支持原/译文停用词功能(10%)
		是否支持静噪比设置(10%)
		是否支持结果筛选(10%)
		是否支持术语添加/编辑(10%)
		是否支持术语分享(10%)
		是否支持术语标签分类(10%)
兼容性(20%)	软件兼容性(50%)	操作系统兼容性(40%)	李克特五分量表
		应用软件兼容性(30%)
		浏览器兼容性(30%)
	数据兼容性(50%)	新旧数据转换性(50%)
	数据兼容性(50%)	异种数据兼容性(50%)
性能效率(20%)	时间特性(50%)	源文档读取时间(30%)	李克特五分量表
		人工筛选时间(40%)
		数据导出时间(30%)
	容量(50%)	是否支持批量文件上传(50%)	二值标度
	容量(50%)	是否有文件大小限制(50%)	二值标度
易用性(20%)	易学性(50%)	初次使用时的易学性(40%)	李克特五分量表
		学习曲线的陡度(30%)
		效率饱和点(30%)
	用户界面舒适性(50%)	界面设计(40%)
		导航设计(30%)
		信息设计(30%)
信息安全性(10%)	保密性(30%)	登录是否需要进行身份鉴别(40%)	二值标度
		是否存在登录验证码(30%)
		是否有登录失败次数限制(30%)
	完整性(30%)	是否具备术语数据自动保存的功能(50%)
	完整性(30%)	是否具备数据恢复功能(50%)
	信息安全性的依从性(40%)	是否遵守与信息安全性相关的标准、规定或法规(100%)

特性	子特性	度量	测评方法	A	B	A得分	B得分
功能适用性(30%,按照百分制折合为30分)	功能正确性(50%)	精确率(30%)	数值标度	40%	50%	1.8	2.25
		召回率(30%)		60%	70%	2.7	3.15
		F1值(40%)		40%	50%	2.4	3.0
	功能适合性(50%)	是否支持多语言对(10%)	二值标度	是	是	1.5	1.5
		是否支持单/双语提取(10%)		是	是	1.5	1.5
		是否支持单/双语标注(10%)		否	是	0.0	1.5
		是否支持词长/词频限制(10%)		是	是	1.5	1.5
		是否支持原/译文停用词功能(10%)		是	是	1.5	1.5
		是否支持静噪比设置(10%)		否	是	0.0	1.5
		是否支持结果筛选(10%)		否	是	0.0	1.5
		是否支持术语添加/编辑(10%)		是	是	1.5	1.5
		是否支持术语分享(10%)		是	否	1.5	0.0
		是否支持术语标签分类(10%)		否	否	0.0	0.0
总计						15.9	20.4

特性	子特性	度量	测评方法	A	B	A得分	B得分
功能适用性(30%,按照百分制折合为30分)	功能正确性(50%)	精确率(30%)	数值标度	40%	50%	1.8	2.25
		召回率(30%)		60%	70%	2.7	3.15
		F1值(40%)		40%	50%	2.4	3.0
	功能适合性(50%)	是否支持多语言对(10%)	二值标度	是	是	1.5	1.5
		是否支持单/双语提取(10%)		是	是	1.5	1.5
		是否支持单/双语标注(10%)		否	是	0.0	1.5
		是否支持词长/词频限制(10%)		是	是	1.5	1.5
		是否支持原/译文停用词功能(10%)		是	是	1.5	1.5
		是否支持静噪比设置(10%)		否	是	0.0	1.5
		是否支持结果筛选(10%)		否	是	0.0	1.5
		是否支持术语添加/编辑(10%)		是	是	1.5	1.5
		是否支持术语分享(10%)		是	否	1.5	0.0
		是否支持术语标签分类(10%)		否	否	0.0	0.0
总计						15.9	20.4

[1]	HUA Daoyang, HU Ni. Aviation Technology Terminology Management Based on SDL Multiterm [J]. China Terminology, 2024, 26(2): 43-48.
[2]	LONG Yuqiong, ZHOU Xiaoling. Exploration of Technology-enabled Terminology Translation and Management: A Case Study on Chinese Academic Translation Project of“C-E Translation of The Transformation of Rural China” [J]. China Terminology, 2024, 26(2): 49-58.
[3]	LIU Chunyan. Research on Standardized Terminology Management of Information and Documentation [J]. China Terminology, 2022, 24(1): 63-72.
[4]	LI Lan. Terminology Management in Interpreting Mode: Concepts, Present and Future [J]. China Terminology, 2021, 23(2): 55-62.
[5]	LU Shiting. Analysis of Terminology Management in Online Collaborative Translation Practice:Case Study on “Study Report on China’s Documentary 2018” [J]. China Terminology, 2020, 22(4): 18-24.
[6]	LI Wei, YAN Haifeng. A Probe into the Industry Model of Terminology Management Practice:Review of A Practitioner’s Guide to Terminology Management [J]. China Terminology, 2020, 22(3): 40-43.
[7]	QIU Bihua. A Frame-based Version of NATO Glossaries [J]. China Terminology, 2020, 22(3): 33-39.
[8]	ZHOU Dandan. On the Translation Projects Aided by Self-built Terminology Management System [J]. China Terminology, 2019, 21(3): 15-21.
[9]	WANG Huashu, WANG Shaoshuang. Terminology Management in the Situation of Translation: Workflow, Tools, and Trends [J]. China Terminology, 2019, 21(3): 9-14.
[10]	QIU Bihua. The Investigation and Analysis by Tekom in 2016 about the Terminology Work Implemented by Companies in Germany [J]. China Terminology, 2019, 21(2): 26-31.
[11]	LIU Jing. Construction and Terminology Management of the Dunhuang Culture Chinese-English Terminology Database [J]. China Terminology, 2019, 21(2): 17-21.
[12]	CHEN Lixue, WANG Huashu. Status and Optimization of Scientific Terminology Management [J]. China Terminology, 2018, 20(3): 14-16.
[13]	LIU Hui, NING Hailin. Methods and Significances of Institutional Terminology Management:Case Study of IATE Termbase [J]. China Terminology, 2017, 19(5): 10-16.
[14]	WANG Huashu. Terminology Management in Scientific Translation [J]. China Terminology, 2015, 17(4): 17-21.
[15]	LIANG Ailin. Application of the Terminology Management Tools [J]. China Terminology, 2015, 17(2): 27-31.