谷歌的新Lingvo框架是机器翻译的重要优势吗?


2019-03-18 14:58:54

谷歌的新Lingvo框架是机器翻译的重要优势吗?翻译。Google AI团队声称,基于Lingvo的这些领域已有“数十篇”研究论文。事实上,他们说这是他们决定开源项目的一个原因:支持研究团体并鼓励可重复的结果。
Lingvo支持多种神经网络架构 - 从递归神经网络到变换器模型 - 并且提供了大量关于不同任务(即NLP,NMT,语音合成)的常见实现的文档。该框架还为想要试用它的任何人使用的配置提供了一个集中的位置,这意味着使文档更容易,结果更容易重现。
那么,这笔交易有多大?
“一个好工具”和“非常欢迎”,但......
TransPerfect人工智能总监Diego Bartolome表示,“社区中任何分享成果的努力都可以让研究人员和开发人员轻松地训练模型,并将结果与??其他最先进的技术进行比较,这是非常受欢迎的。”
令人印象深刻的高质量代码汇编。 - Systran首席执行官Jean Senellart
Systran首席执行官兼最早支持NMT技术的人之一Jean Senellart表示,Lingvo“是一个令人印象深刻的高质量代码汇编”,注意到超过50,000行代码。
Guillaume Klein,Systran的研究工程师和开源OpenNMT项目的架构师, 于2016年由Harvard和Systran创建,评论说它还包括“面向生产的组件,这在这类开源项目中很少见”。
Iconic Translation Machines的高级MT科学家Rohit Gupta表示,Lingvo只是“一个很好的工具。”他指出,由于它是基于TensorFlow构建的,任何已经使用该库的人都可能会发现Lingvo很有用。
这似乎一切都很好,但Lingvo实际上更有利于研究目的,是什么使它比其他框架更好或更差?
Gupta表示TensorFlow当然非常受欢迎,“但是还有其他深度学习库被广泛使用,例如PyTorch(来自Facebook),它运行在Fairseq框架上,而MXNet则被AWS使用。”他说研究人员通常会工作并构建现有的实现,然后用作参考; 意思是“如果L??ingvo能够抓住它,那么考虑到捆绑某些元素的方式可能会有所帮助。”
Senellart指出,Lingvo出版物清单中的大部分论文都来自谷歌研究人员。他将该列表与500多篇论文进行了比较,使用或引用了OpenNMT,其中目前和最受欢迎的实施由Systran和Ubiqus管理,他们于2017年加入该项目。看看Lingvo的Github页面上的问题数量或拉取请求,Senellart表示目前还没有重大的采用。
如果作者获得非常大的采用,他们就不太可能积极支持社区。
“然而,令人印象深刻的是,一些是生产论文或项目,例如GNMT--谷歌翻译引擎 - 这再次证明,对于NMT,没有更多的秘密实施,”他指出。
Senellart列出了Lingvo的一些优点:强大的团队(Google AI团队),它的“生产就绪代码”,它的稳定性,以及它可以处理的任务的灵活性。至于它的缺点,他说“代码可能对研究界来说有点压倒性[并且]通用使得进入任何特定任务变得不那么简单。”
他补充说,“根据团队的性质,如果作者获得非常大的采用,作者将不太可能积极支持该社区。成功的开源项目需要在社区支持上投入大量精力。“
非常以设计为中心(利用TPU,集群等) - 大多数局外人无法访问此类基础架构。 - Systran研究工程师Guillaume Klein
同时,Klein说“在一个存储库中包装许多可重复使用的组件和配方对于研究生产力非常有用。Lingvo“设计非常以谷歌为中心(利用张量处理单元或TPU,集群等) - 大多数局外人无法访问此类基础设施。”他指出,相比之下,OpenNMT对技术提供商来说是不可知的。
巴托洛梅回应了同样的观点,指出“整合新的代码或技术(即使是开源)需要付出努力,公司应该在此之前评估他们的投资回报。”
只是另一匹马?
Lingvo最终只是谷歌竞争中的另一匹马吗?巴托洛梅认为这对于科技公司的课程来说是相同的:“看来开源是一种检查社区是否采用它的方法,而这正是所有科技巨头现在正在做的事情。他们意识到拥有获胜框架很重要,所以我经常将这些公告视为研究人员的营销。“
我经常将这些公告视为研究人员的营销。 - TransPerfect人工智能总监Diego Bartolome
此时,Bartolome表示,Lingvo是否确实为研究人员提供了优势。“我在我的社区中没有看到很多提及,所以它确实起步较慢,与[例如] BERT(双向编码器表示)不同。这是谷歌尝试在TensorFlow之上添加更多框架以使其更有价值的一种方式,“他说。
Iconic和Gupta同事的首席执行官兼联合创始人约翰·汀斯利表示,谷歌希望他们的平台成为标准是很自然的。“这种开放式采购是大型科技公司的一种趋势,并且有很多关于动机的讨论,”Tinsley补充道,“可以说,如果人们在他们的平台上进行创新,那么它就有更广泛的目标。保持技术的最前沿,并吸引更多用户使用他们的产品。“
这是Google尝试在TensorFlow之上添加更多框架以使其更有价值的一种方式。
Gupta表示,一些因素“可能会在短期内阻止采用”,例如Lingvo没有采用基于BERT和XLM(Cross Lingual Language Model)等最先进方法的一些实现。
对于Systran的Senellart来说,关键点在于Lingvo是否能够在采用方面达到临界质量。“我不相信它会成为事实上的标准,因为其他框架,如PyTorch,像TensorFlow一样受欢迎,更容易进入,”他说。此外,他还指出了另外两个原因,即谷歌不会从Lingvo成为行业标准中受益匪浅。
“作为一个以生产为导向的框架,我认为谷歌不会大规模地向第三方贡献者开放[Lingvo]; 此外,至于今天的所有深度学习代码,代码本身并不是非常重要 - 所有好的想法都在论文中描述,并根据需要重新实施,“Senellart说。
这种开放式采购是大型科技公司的趋势,关于动机的讨论很多。 - 标题翻译机公司首席执行官兼联合创始人John Tinsley
Klein补充说,作为TensorFlow生态系统的一部分,已经存在类似的框架:Tensor2Tensor。他说Lingvo是“在项目或团队中标准化培训实践的一种很好的方法”,但这本身对于使其成为行业标准没有多大帮助。他还指出,Lingvo的一个新挑战是将其代码库迁移到TensorFlow 2.0。
“不要指望Lingvo会产生很大的影响”
Lingvo对行业有何影响?
据古普塔说,“这很难说。一般来说,研究人员将建立在他们已经习惯的任何东西之上。他们也不会受到特定平台的限制或限制的约束。因此Lingvo这样的高级图书馆缺乏灵活性可能会减缓人们的兴趣。“
对于Tinsley来说,至少Lingvo确实提供了更容易复制实验的优势。“当研究人员使用不同的工具时,包含设定参数的实施始终是一个挑战,”他说。
[研究人员]宁愿不受特定平台的限制或限制的约束。 - Rohit Gupta,标志性翻译机器高级MT科学家
廷斯利总结道,“我们不确定它是否会产生巨大的变革影响,但它可能非常有用。它还有待观察。我们期待着把它弄脏!“
Klein表示,研究人员寻找三种不同的东西:一个小而易于转换的代码库,一个易于使用和配置的工具包,或一个现成的,最先进的模型 - 而Lingvo属于后者。
Senellart补充说,Lingvo中没有任何独特的功能可以直接鼓励研究人员从他们已经投资的框架转向。因此,除非出现一个非常好的理由 - 例如TPU变得越来越容易访问 - “现有的研究人员或给定框架的用户不太可能转向另一个。”
Klein指出,“如果这个项目在2017年初发布,影响会更大。但是,发布以前发表的论文的代码总是受到社区的欢迎,并且肯定有一些东西值得学习。
Bartolome只是说,“我不认为Lingvo会对这个行业产生重大影响,至少在短期内不会如此。”