大数跨境
0
0

《基于人工智能技术的翻译工具的翻译水平比较研究》——论文点评

《基于人工智能技术的翻译工具的翻译水平比较研究》——论文点评 新译研究院
2024-01-05
0
导读:随着中国学术研究国际化程度的提高,人们在学术写作、阅读、交流方面对翻译软件的需求越来越迫切。近年来生成类人工智能(GAI)的爆发式发展让学人对其在翻译场景下的作用寄予厚望。

基于人工智能技术的翻译工具的翻译水平比较研究


马倩  崔筱慈


摘 要:随着中国学术研究国际化程度的提高,人们在学术写作、阅读、交流方面对翻译软件的需求越来越迫切。近年来生成类人工智能(GAI)的爆发式发展让学人对其在翻译场景下的作用寄予厚望。为了更好地发挥基于人工智能技术的翻译工具在学术生产上的功效,本文选取了ChatGPT、文心一言、DeepL和Newtranx四个工具,通过比较它们对同一篇文章的翻译,对比它们在速度、准确性、兼容性和连贯性等方面的表现。研究发现,各工具在使用方式、翻译速度等方面都有显著差异;而它们虽然在最终译文内容上有不同,但存在一些共性问题。基于对四个翻译工具的深度使用,本文为试图借助这类工具辅助学术生产的师友提出一套相对系统的操作方案,帮助各位师友避免使用中常见的问题,并对这类工具未来的技术发展提出相关建议。


关键词:人工智能  翻译工具  人机互动  比较研究


论文

节选



一 翻译质量的比较方法


(一)工具选择

本文选择了四个工具进行学术翻译上的比较,分别是ChatGPT、文心一言、DeepL和Newtranx。这些工具均符合两个基本的选择标准:1.基于AI相关技术;2.位于国际领先水平。为了充分检测其跨语言、跨文化的沟通能力,我们特意选择了两款外国公司的产品和两款中国公司的产品。为了突出通用型工具和专用型工具的差异,我们选择了两个具备翻译功能的通用型工具和两个专注于翻译的专用型工具。

第一个工具ChatGPT是美国OpenAI公司开发的一种由人工智能技术驱动的自然语言处理工具,是引爆这一轮人工智能技术发展的标志性产品。它通过连接大量的语料库来训练模型,具备语言理解和文本生成能力,从而可以以对话方式进行人机互动,并可以执行包括翻译在内的各类文本生成的工作。文心一言是中国百度公司开发的类似产品,同样可以以人机对话的方式进行文本生成,自诩为ChatCPT的竞争对手。

相比于ChatGPT和文心一言的通用性,DeepL和NewTranx则是垂直的翻译工具。前者是一个德国公司推出的翻译工具,基于人工神经网络技术,可以实现31种语言之间的端到端互译。而新译信息科技有限公司推出的国产翻译工具NewTranx则是利用人工智能自然语言处理技术和多模态机器翻译技术构建的、能提供一站式智能编译服务的平台,其技术水平得到了国家多部委的权威认定。


(二)原文选择

为了比较四个工具的翻译水平,我们选择了一篇中文论文和一篇英文论文作为母本。首先,在中文论文中,我们选择了一篇发表在《社会学研究》上的论文,题目为《从脱贫攻坚到乡村振兴:迈向“家国一体”的国家与农民关系》。选择一篇人文社会科学的论文,是基于以下考虑。第一,相比于自然科学界的学者,人文社会科学领域具备与国际学界对话、使用英文写作两项能力的学者群体要小得多。第二,相比于无国界的自然科学,人文社会科学具有很强的地域性、国家性色彩,产生了更多地方性理论。而如今人文社会科学学者却肩负了“讲好中国故事”“介绍中国方案”的艰巨使命,所以我们选取了一篇“乡村振兴”题材的农村社会学论文,这是我国社会学界研究人数最多的领域。第三,这是一篇定性研究的文章,相比于结构更“八股”的定量论文,更注重文字表现力,也更能考察基于Al技术的翻译工具的水平。第四,我们面向的读者主要是人文社会科学领域特别是社会学界的师友。其次,在英文论文中,我们选择了一篇发表在Science上的论文,题目为Al and the Transformation of Social Science Re-search:Careful bias Management and Data Fidelity are Key。虽然该文发表在自然科学界学术杂志的“顶刊”上,但却并非传统的自然科学研究。该篇文章不仅紧扣本辑《魁阁学刊》的主题,且充分反映了AI研究的跨学科属性。


(三)比较方法

由于ChatGPT和文心一言并非专用的翻译平台,所以在使用其进行翻译时需要先对其输入“请把以下内容翻译成中文/英文”口令,然后再逐段输入中文/英文,待其给出中文/英文翻译后再进行统一整理。而DeepL和NewTranx作为垂直翻译工具,可以有多种模式进行选择,既可以对单词、句子等较短的文本进行翻译,也可以对Word、PDF等文件进行翻译。为体现其翻译的便捷性,我们使用了Word文档直接进行翻译,通过上传中文/英文原文的Word文件,在平台上选择目标语言后进行翻译。这不仅可以极大减少翻译时间,还可以观察其在文件格式处理等方面的表现。

【完整论文】

基于人工智能技术的翻译工具(论文).pdf


EXCERPTS FROM THE PAPER 


论文

点评




评 委:刘劲松(语言服务专家 新译研究院副院长)


第一,这篇论文立意新颖。作者为了评估ChatGPT、文心一言、DeepL和Newtranx四款翻译工具的翻译能力,挑选了2篇发表在顶级期刊的社会学相关的论文,一篇中文文献,一篇英文文献,然后利用四款翻译工具获取相应的译文。我大致浏览了译文,理解基本没问题。


第二,作者基于自己的使用体验和平台返回的译文结果进行客观分析和评估。简要设计了评估机翻性能的评估指标,分别从用户便利性,响应速度、准确性、兼容性和连贯性几个维度进行对比分析,分别总结了一些有价值的发现。


但是,评估指标过于简单,且未考虑权重问题和定量分析。评估指标建议参考专著:Translation Quality Assessment From Principles to Practice 《翻译质量评估:从原理到实践》,作者:Joss Moorkens;Sheila Castilho;Federico Gaspari;Stephen Doherty,可重点参考这篇论文:Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies(翻译质量评估指标:错误类型标准化的案例) Arle Lommel  其中列举了180多种错误指标,分别分为,准确性、流利性、风格、术语等几个大类型。可根据社会学学术文献的情况灵活设计评估指标。权重一般分三种:严重(100),重大(10),小错(1),不算错(0)


另外,针对ChatGPT类型的机翻质量评估,建议考虑prompt提示语的设计。GPT更侧重于段落级/语篇级的流利性文本的生成,逻辑性也是测试的一个重点。ChatGPT hallucination幻想的频次。相对而言,由于目前的神经网络平台几乎都是用基于句子的双语语料训练而成,因此更加侧重于句子级的翻译。漏翻译的频次。


建议使用文本格式文件去评测机器翻译质量。文件格式有时会严重影响到翻译质量。如果待翻译文本不是word文件,机器翻译时,首先需要转换为word文件,而且还要做必要的前处理。一般情况下,PDF文件机器是无法直接翻译的。用户可能在deepl或者我们平台上虽然无法察觉,实际上后台是有分工的。后台先做PDF>word的转换(这取决于第三方软件,而不是机器翻译引擎),再做必要的换行符和表格格式等处理,再翻译文本,最后返回译文。NewTranx翻译平台内置了PDF>word的OCR功能和前处理,这也是其性能表现不错的原因。


第三,论文得出的结论与翻译界专业译者的结论一致。比如,“无论是通用型AI平台还是专业的翻译工具,目前都难以做到完全代替人工翻译,但是翻译工具的方便快捷还是可以为译文准确度要求不那么高的文档提供快捷的解决方案,有助于使用者在短时间内快速对文章内容有一个大致的了解,但如果是专业知识的学习,还是需要直接阅读原文。”机器翻译一般用于筛选信息和快速浏览的需要。


第四,术语库干预。可收集社会科学常用的术语,构建一个术语词典,那么LLMs翻译为“法律硕士”之类的问题就可以完全避免。NewTranx的智译平台提供了术语挂载功能。


第五,建议根据自己的研究需要,取各家之长而使用。这些机器翻译平台各有优势。机器翻译模型取决于训练数据的优良和领域,以及算法的持续迭代和优化,需要根据具体情境和实际情况加以定夺。有些机翻平台主要通过获取公网数据训练模型,NewTranx模型则主要是通过商业数据训练而成。最佳的模型不是一蹴而就的,一定是根据数据不断微调算法而达到最佳使用的目标。


最后,论文缺乏参考文献资料,建议补充上。因为时间关系,我补充以上几点。另外推荐一篇发表在《政治分析》上有关“ChatGPT能否替代人类受访者?”的文章,这篇文章很长,有50多页。原文为:Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337-351.


如果有大咖平时有文献资料需要机器翻译或者有翻译的问题,欢迎与我联系,我将尽力为各位大咖做好辅助工作,让大咖们专心于学术研究上,而不再为翻译伤神。


COMMENTS ON THE PAPER


参考

译文




AI辅助翻译:《人工智能与社会科学研究的变革——细致的偏差管理和数据保真是关键》


Igor Grossmann、Matthew Feinberg 著,崔筱慈、马倩 译*


人工智能(AI),尤其是大型语言模型(LLM)的进步正在对社会科学研究产生重大影响。这些基于转换器的机器学习模型对大量文本数据进行了预训练,越来越能够模拟人类的反应和行为(Bubeck et al.,2023;Grossmann et al.,2023),为大规模、快速地检验关于人类行为的理论和假设提供了机会。这也带来了紧迫的挑战:如何调整甚至重塑社会科学研究实践以利用基础人工智能的力量?如何在确保研究透明和可复制的同时做到这一点?

社会科学依赖一系列的方法,包括问卷调查法、行为测试、半结构化访谈的混合方法分析、基于代理的建模(ABM)、观察研究和实验。它们的共同目标是获得个人、群体、文化及其动态特征的通用表征(Grossmannet al.,2023)。随着先进人工智能系统的出现,社会科学数据收集的格局可能会发生改变。LLMs利用深度学习的优势来捕捉语言中的复杂关系。与以往的人工智能相比,LLMs的语言扫盲能力在处理、生成和与人类进行语言互动方面具有语境感知性和语义准确性(Bubeck et al.,2023),代表了一种重大转变,以往的人工智能方法往往难以处理语言的细微差别,如讽刺、隐喻等情感基调。通过适当的调节(Argyle et al.,2023),LLMs可以更准确地模拟出人类的行为反应。

LLMs可以取代人类参与者进行数据收集。例如,LLMs已经证明其有能力生成有关消费者行为的正式调查反馈(Grnssmann et al.,2023)。尽管对这种应用的可行性众说纷纭,但至少可以通过对这种模拟参与者的研究来生成假设,随后可以在真实人类群体中去检验证实这些假设(Argyle etal.,2023;Park et al.,2023)。这种方法的成功取决于训练数据的算法保真度(Argyle et al.,2023)、模型训练的透明度、快速工程和基准选择。


【完整译文】

AI辅助翻译.pdf


REFERENCE TRANSLATION

【声明】内容源于网络
0
0
新译研究院
新译研究院是新译信息科技(北京)有限公司设立的智库,由中国出版协会副理事长、社科文献出版社原社长谢寿光担任创始院长。研究方向包括与相关部委、行业协会、大学、企业开展智能翻译深度研究,组织行业会议,发布机器翻译年度报告,提供语言服务咨询等。
内容 48
粉丝 0
新译研究院 新译研究院是新译信息科技(北京)有限公司设立的智库,由中国出版协会副理事长、社科文献出版社原社长谢寿光担任创始院长。研究方向包括与相关部委、行业协会、大学、企业开展智能翻译深度研究,组织行业会议,发布机器翻译年度报告,提供语言服务咨询等。
总阅读10
粉丝0
内容48