原文:Attention Is All You Need 作者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin 发表于:NeurIPS 2017 # 摘要 目前主流的序列转换模型(sequence transduction model)都基于包含编码器与解码器的复杂循环神经网络(RNN)或卷积神经网络(CNN),其中表现最好的模型还通过注意力机制(attention mechanism)在编码器与解码器之间建立连接。我们提出了一种全新的、完全基于注意力机制的网络架构——Transformer,它完全摒弃了循环与卷积。在两个机器翻译任务上的实验表明,该模型在质量上表现优异,同时具有更高的并行性,训练所需时间也大幅减少。我们的模型在 WMT 2014 英德翻译任务上达到了 28.4 的 BLEU 分值,优于包括集成模型在内的现有最佳结果,比之前的最佳模型高出 2 BLEU 分值以上。在 WMT 20…