【文档说明】神经机器翻译前沿进展课件.pptx，共(36)页，2.640 MB，由小橙橙上传

转载请保留链接：https://www.ichengzhen.cn/view-244235.html

以下为本文档部分文字说明：

神经机器翻译前沿进展机器翻译•目标：利用计算机实现自然语言的自动翻译2布什与沙龙举行了会谈BushheldatalkwithSharon发展历史•趋势：让机器更“自主”地学习如何翻译3规则机器翻译统计机器翻译神经

机器翻译198019902013数据驱动机器翻译1990数据驱动的机器翻译•核心问题：如何为翻译过程建立概率模型？4布什与沙龙举行了会谈BushheldatalkwithSharon统计机器翻译•隐变量对

数线性模型：在隐式语言结构上设计特征5布什与沙龙举行了会谈BushheldatalkwithSharon(OchandNey,2002)基于短语的统计机器翻译•短语翻译模型：以隐结构短语为基本翻译单元6布什与沙龙举行了会谈布什与沙龙举行了会谈Bushwith

SharonheldatalkBushwithSharonheldatalkBushheldatalkwithSharon(Koehnetal.,2003)统计机器翻译的优缺点•优点–隐结构可解释性高–利

用局部特征和动态规划处理指数级结构空间•缺点–线性模型难以处理高维空间中线性不可分的情况–需要人类专家设计隐式结构及相应的翻译过程–需要人类专家设计特征–离散表示带来严重的数据稀疏问题–难以处理长距离依赖7难点：长距离调序8Bus

hPresidentheldatalkwithIsraeliPrimeMinisterSharonattheWhiteHouse如何用上述词语拼成合理的译文？统计机器翻译示例9深度学习带来新思路10YannLeCunYoshuaB

engioGeoffreyHinton(LeCunetal,2015)机器翻译方法对比11英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT2015年结果来自蒙特利尔大学。来源：RicoSennrich报告和斯坦福ACL2016

Tutorial。神经机器翻译•利用神经网络实现自然语言的映射12布什与沙龙举行了会谈BushheldatalkwithSharon(Sutskeveretal,2014)编码器-解码器框架•利用递归神经网络实现源语言的编码和目标语言的解码13布什与沙龙举行了会谈</s>Bushhel

datalkwithSharon</s>(Sutskeveretal.,2014)递归神经网络的优缺点•优点–适合处理变长线性序列–理论上能够利用无限长的历史信息•缺点–“梯度消失”或“梯度爆炸”14(Pascanuetal.,2013)长短时记忆•通过门阀技术缓解“梯度消失

”和“梯度爆炸”15(HochreiterandSchmidhuber,1997)神经网络学到了什么？16(Sutskeveretal.,2014)编码器-解码器架构的优缺点•优点：利用长短时记忆处理长距离依赖•缺点：任意长度的句子都编码为固定维度的向量17(

Sutskeveretal.,2014)基于注意力的神经机器翻译•利用注意力机制动态计算源语言端相关上下文18(Bahdanauetal.,2015)布什与沙龙举行了会谈</s>BushheldatalkwithSharon</s>

注意力•思想：集中关注影响当前词的上下文19(Chengetal.,2016a)神经机器翻译中的注意力•源语言词语目标语言词的关联强度20(Bahdanauetal.,2015;Chengetal.,2016b)注意力机制提升长句翻译效果21(Bahdanauetal.,2015

)RNNenc:固定源语言上下文，RNNsearch:动态源语言上下文注意力机制的其他应用•注意力机制已成为深度学习的主流技术22(Xuetal.,2015)“看图说话”：为图片自动生成文本描述近期研究进展•神经机器翻译在近两年取得飞速发展–受

限词汇量(Luongetal.,2015a;Jeanetal.,2015)–细粒度意义单元(Chungetal.,2016;Sennrichetal.,2016a)–先验约束(Tuetal.,2016;Cohnetal.,2016)–记忆机制(Wangetal.,2016;Tan

getal.,2016)–训练准则(Shenetal.,2016;Ranzatoetal.,2016)–单语数据利用(Chengetal.,2016c;Sennrichetal.,2016b)–多语言(Dongetal.,2015;ZophandKnight,2016)–多模态(Duong

etal.,2016;Hitschleretal.,2016)23进展1：受限词汇量•受计算复杂度限制，仅能使用有限的词汇量24(Luongetal.,2015a;Jeanetal.,2015;Lietal.,2016)在后处理阶段单独翻译未登录词进展2：细粒度意义单元•以细粒度意

义单元取代词，降低词汇量25(LuongandManning,2016;Chungetal.,2016;Sennrichetal.,2016a)字母与词语的混合模型，词语模型解决常用词翻译，字母模型解决生僻词翻译进展3：先验约束•利用先验知识约束

神经机器翻译26(Tuetal.,2016;Cohnetal.,2016;Chengetal.,2016b;Shietal.,2016)很多机场都被迫关闭了Manyairportswereclosedtoc

loseManyairportswereforcedtoclosedown输入不考虑覆盖度考虑覆盖度先验：不应重复翻译，也不应漏翻进展4：记忆机制•利用记忆机制提高神经机器翻译27(Wangetal.,2016;Tang

etal.,2016)将“外存”引入神经机器翻译进展5：训练准则•提出更好的准则，提高与评价的相关性28(Shenetal.,2016;Rezantoetal.,训练数据训练目标优化最小风险训练：针对评价指标训练神经网络进展6：单语数据利用•利用海量的单语语料库提高神

经机器翻译29(Chengetal.,2016c;Sennrichetal.,利用自动编码器实现半监督学习进展7：多语言•利用向量空间贯通多种自然语言30(Dongetal.,2015;ZophandKnight,2016;Firateta

l.,多种语言共享源语言编码器进展8：多模态•利用向量空间贯通文本、语音和图像31(Duongetal.,2016;Hitschleretal.,不经过语音识别，直接将源语言语音翻译成目标语言文本神经机器

翻译教程和开源工具•教程–NeuralMachineTranslation,ACL2016Tutorials–IntroductiontoNMTwithGPUs,KyunghyunCho•开源工具–GroundH

og：加拿大蒙特利尔大学–Blocks：加拿大蒙特利尔大学–TensorFlow：Google–EUREKA-MangoNMT：中国科学院自动化研究所32统计机器翻译Vs神经机器翻译33统计机器翻译神

经机器翻译表示离散连续模型线性非线性训练MERTMLE/MRT可解释性高低训练复杂度低高处理全局调序句法门阀、注意力内存需求高低神经机器翻译面临的挑战34•如何设计表达能力更强的模型？•如何提高语言学方面的可解释性？•如何降低训练复杂度？•如

何与先验知识相结合？•如何实现多模态翻译？总结•神经机器翻译：通过神经网络直接实现自然语言的相互映射。•神经机器翻译近年来取得迅速发展，有望取代统计机器翻译成为新的主流技术。•神经机器翻译在架构、可解释性、训练算法等方面仍面临挑战，需要进一步深入探索。35谢谢！36