作業(yè)2：https://cs231n.github.io/assignments2016/assignment2/

靈感：趕緊讓這個(gè)過程中建模一個(gè)公式讓同時(shí)活躍更多的神經(jīng)元更多的連結(jié)到下一層的同一個(gè)神經(jīng)元吧！

靈感：最后一層神經(jīng)元具有平移不變性嗎？如果有，用什么結(jié)構(gòu)的更新方式能塑造它？（同時(shí)激活？）還是說梯度下降本來就會(huì)讓這個(gè)平移不變性的塑造達(dá)到max平移不變性？

卷積 layer 的4個(gè)參數(shù)：filter個(gè)數(shù)，卷積核尺寸，步長(zhǎng)，padding

參數(shù)共享：避免過擬合（比如一個(gè)filter對(duì)一張圖都只提取豎直邊緣）

局部連接：避免w參數(shù)太龐大，以便拓寬網(wǎng)絡(luò)深度

靈感：

反向傳播網(wǎng)絡(luò)中間要用多少層，怎么架構(gòu)，都是手工盲估，而沒有‘抽象’‘連接’?？砍橄?，連接抽象即架構(gòu)，這才是正常人大腦。盲估，而不利用抽象連接架構(gòu)，而是用盲估架構(gòu)+反向傳播來決定準(zhǔn)確率，這樣，失卻了抽象，也許抽象超出了這些layer和激活函數(shù)所能表達(dá)，也許沒有（這些層有能力容納建模完整的抽象--sota的模型在分類手寫數(shù)字和imgnet上超過人類抽象，分不清的那1%都是人眼抽象也不好歸類的模糊區(qū)間）。

盲估：無法保證中間label的正確性，可能能形成的中間label容納了train（從而容納?test、部分現(xiàn)實(shí)），但一部分正確現(xiàn)實(shí)（生成的攻擊圖片，人眼看起來還是熊貓但是網(wǎng)絡(luò)認(rèn)不出來）沒被容納，一部分錯(cuò)誤現(xiàn)實(shí)被容納（可能是train中沒能泛化包含的特征）。

抽象連接：需要最終label（高層抽象）以外的中間label?抽象對(duì)象。需要實(shí)際的抽象關(guān)系。

2012 Alex Net

2013 ZF Net

2014 VGG Net

????????Google Net

2015 Res Net

其中 lr = 0.1，而AlexNet的 lr =0.01，因?yàn)橛蠦N，BN通常允許你 lr 大一點(diǎn)

沒用dropout，因?yàn)锽N的論文說用了BN就沒那么需要dropout了。andewj沒有第一手經(jīng)驗(yàn)，但是2015這個(gè)ResNet case 他們就是沒用dropout。

總結(jié)

VGG跑的有多快，推理的時(shí)候（還是訓(xùn)練的時(shí)候？記不清）：大概10~幾百毫秒

AlexNet在手機(jī)上實(shí)時(shí)跑（預(yù)測(cè)），大概10Hz（100ms）

（都是基于2016的gpu和手機(jī)）