Transformer是目前NLP領(lǐng)域最強(qiáng)悍的特征提取器。

因?yàn)橄忍斓男蛄薪Y(jié)構(gòu)，所以在Transformer之前，RNN是NLP里的主角。但是也因?yàn)檫@種序列結(jié)構(gòu)的依賴性，使得RNN受制于并行計(jì)算能力。Transformer是疊加的"Self Attention"構(gòu)成的深度網(wǎng)絡(luò)，因此其并行計(jì)算能力是與生俱來的。由于這種先天性的優(yōu)勢，近年在NLP領(lǐng)域Transformer不斷搶戲RNN，相信

?