MIT开发新机器翻译模型,有望翻译世界

在这个处处连接的互联网世界里,人与人之间的沟通和交流变得无比的方便快捷。但现在的问题是,语言的差异仍然像是一道深不可测的鸿沟摆在拥有不同文化背景的人们面前。

近年来,人工智能学者们一直持续改进机器翻译算法——从多年前的规则翻译模型,到统计翻译模型,再到目前最为火热的神经翻译模型,力求早日打破这种语言鸿沟。目前,人类使用近种不同的语言,而根据一支麻省理工团队近日发布的最新成果,他们开发的新机器翻译模型,甚至可以翻译世界上绝大多数语言,甚至包括那些使用人数很少的语言。

目前,来自谷歌、Facebook、微软和亚马逊等公司的机器翻译系统,是监督式的机器翻译,需要大量的对齐语料(指训练数据中两种语言的段落、句子甚至单词能够一一对应的语料)来训练模型,从成百上千万的文档中寻找匹配模式,例如已经被人类翻译成各种语言的法律和政治文档或新闻文章。当给定一种语言的单词时,机器就可以从这些文档里找到另一种语言中对应匹配的单词或短语。

对一些常用语言来说,互联网的语料较为丰富,因此谷歌、微软等公司的机器翻译模型在某些常用语言之间的翻译表现已经超越了人类。而对相对小众的小语种来说,对齐语料很少,数据的积累十分耗时且难以收集。

为了克服对齐语料稀缺的困难,最近几年出现了一些无监督机器翻译相关的研究,比如仅利用单语语料(即拥有分别拥有两种语言的大量语料,但没有互相之间的对齐和翻译数据),在训练中引入对偶学习(DualLearning)、联合训练(JointTraining)、对齐嵌入空间等训练技巧,取得了不错的效果,有些论文的结果甚至可以与对齐语料训练出来的模型结果相近。但这些无监督机器翻译的一大缺点就是训练速度过于缓慢。比如对偶学习,如图1,特殊的对偶结构,使得两个任务可以互相提供反馈信息,而这些反馈信息可以帮助更好地训练深度学习模型。本模型某一步可能翻译出错,反馈给另一模型之后,另一模型可以用自身的语言模型纠正(修改成符合自身语法的语句),然后经再次翻译之后反馈给本模型。这种学习模式需要大量反复的调整和学习,由此带来训练时间的大幅增加。

图丨对偶学习的示意图

麻省理工学院的研究人员开发的这种新颖的“无监督”语言翻译模型,既不像监督式机器翻译任务一样需要对齐语料,同时又克服了无监督机器翻译任务耗时低效的缺点,实现更快捷、更有效的语言翻译,从而使更多的语言翻译可以通过计算机来完成。

本文发表在自然语言处理四大顶级会议之一的EMNLP会议上,两位作者TommiJaakkola和DavidAlvarez-Melis都是来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员。

论文链接:







































白癜风早期能治愈
白癜风专科哪里好



转载请注明:http://www.92nongye.com/xxnr/xxnr/204620956.html