Attention Is All I Lack

2017 年，Google 发表了一篇后来改变人工智能发展方向的论文——《Attention Is All You Need》。这篇论文提出了 Transformer 架构，它摒弃了传统神经网络中的循环结构，而通过 Self-Attention 机制，让模型能够根据上下文判断不同信息的重要程度。而我在最近好像越来越心浮气躁，文学性的书几乎看不进去了，对影视作品也无兴味，稍微可以看一些材料，总之我的注意力越发涣散，联想到这篇论文后，因以记之。