五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

比較簡單的Transformer與RNN的比較

2023-06-13 17:45 作者:夜風(fēng)街流浪人  | 我要投稿

就簡單寫一寫

(1)并行性。RNN可并行性差,tf可并行性好。目前很多對于RNN的改進(jìn)都是要考慮并行性的

(2)計算復(fù)雜度。RNN的計算復(fù)雜度低,tf的計算復(fù)雜度高,所以tf要做大其實(shí)面臨著麻煩

(3)輸入序列長度。RNN理論上是可以無限序列長度的,這也是tf無法實(shí)現(xiàn)的,tf每層再大也終歸事有限的

(4)順序關(guān)系處理。RNN善于處理順序關(guān)系,而tf往往需要額外的位置編碼(tf丟失了序列)

(5)長期依賴。RNN面臨著嚴(yán)峻的長期依賴問題,即使是LSTM也存在問題,而tf處理長期依賴很擅長

(6)適用范圍不同。RNN很難處理視覺的一些問題但是tf可以,RNN適合語音等tf也不一定適合

(7)梯度問題。RNN會面臨梯度消失、梯度爆炸等問題,但是tf處理這些問題更簡單,往往模型能做很深很大

(8)魯棒性、泛化性。據(jù)說tf更好

RNN在處理順序性強(qiáng)、較短的序列任務(wù)上表現(xiàn)較好,而Transformer在處理長序列和大規(guī)模數(shù)據(jù)時更具優(yōu)勢


比較簡單的Transformer與RNN的比較的評論 (共 條)

分享到微博請遵守國家法律
墨玉县| 会昌县| 永新县| 樟树市| 梅州市| 新乡县| 天镇县| 尼木县| 林周县| 襄樊市| 安塞县| 大渡口区| 泌阳县| 松阳县| 永修县| 申扎县| 梓潼县| 澄城县| 新巴尔虎右旗| 重庆市| 阿鲁科尔沁旗| 成武县| 色达县| 江北区| 通化市| 玉门市| 巴林左旗| 抚顺县| 满洲里市| 哈密市| 南溪县| 贺州市| 姜堰市| 荆州市| 清流县| 尚义县| 收藏| 平陆县| 五台县| 盖州市| 张家界市|