在回去的路上，夏薇涼全程姨母笑地看著蘇飛,。

　　“大神，你還蠻厲害的嘛,。”

　　“你是指什么方面,？”

　　“之前就聽(tīng)說(shuō)您和姜大?；P(guān)系不清不楚的，在圖書(shū)館又和那個(gè)英文系的小學(xué)妹鄰座,，今天又勾搭上一個(gè)新妹子,。”

　　“……事情可能和你想象的完全不是一個(gè)樣子,?！?p>　　毒舌女王姜傾雪，笑里藏刀林依曼,，現(xiàn)在又來(lái)個(gè)摸不清路數(shù)的顧亦如,，如果不是要完成任務(wù)獲取學(xué)力，蘇飛是真的不想和這些妹子極限拉扯,。

　　“所以,，大神你更喜歡誰(shuí)啊,？”

　　問(wèn)得好,。

　　“她們都是我的翅膀?！?p>　　……

　　吃飽喝足后，下午自然是要去圖書(shū)館的,。

　　蘇飛先回了趟寢室,，把他那小破筆記本提了過(guò)去。

　　讓他有些意外的是，林依曼居然一直把他占著座,。

　　“謝謝,。”蘇飛輕聲道,。

　　“學(xué)長(zhǎng),，你太客氣了啦……”林依曼咦了一聲，輕輕嗅了嗅,，道：“學(xué)長(zhǎng),，你是去吃烤魚(yú)了嗎？”

　　這也能聞得出來(lái)么,？

　　蘇飛自己輕輕聞了聞,，還真有股麻辣鮮香。

　　林依曼又認(rèn)真地聞了聞,，道：“還是和女生一起吃的,？”

　　臥槽，真的假的,，這也能聞出來(lái),？

　　林依曼看著一臉不可置信的蘇飛，莞爾一笑,，道：“其實(shí)我是猜的啦,，學(xué)長(zhǎng)這種直男，平常都三點(diǎn)一線的,，突然要去吃大餐,，肯定是和女生有約吧?！?p>　　她微笑道：“想不到猜對(duì)咯,。”

　　‘叮,！林依曼好感度-1,，目前好感度43?！?p>　　這女人也太狡猾吧,。

　　蘇飛打開(kāi)筆記本，他此刻只想遁入學(xué)習(xí)的世界,。

　　在通讀完《認(rèn)知神經(jīng)科學(xué)》后,，蘇飛有了一個(gè)新的論文想法，他思考了一會(huì)兒,，在word文檔上打下了一個(gè)題目,。

　　【基于注意力機(jī)制的全新模型結(jié)構(gòu)】,。

　　隨后，他開(kāi)始對(duì)這個(gè)想法進(jìn)行一個(gè)大致的闡述,，他想用注意力機(jī)制構(gòu)建一個(gè)新的模型單元,。

　　模型單元是最基礎(chǔ)的模型結(jié)構(gòu)，任何復(fù)雜的模型結(jié)構(gòu)其實(shí)都是由模型單元堆疊而成,，近年深度學(xué)習(xí)大火,，每年新的模型結(jié)構(gòu)層出不窮，但是模型單元用來(lái)用去還是那么幾個(gè),。如現(xiàn)在最常用的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）甚至是1994年的產(chǎn)物,，而如今比較普遍使用的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）也是實(shí)際很多年前的論文成果。

　　為什么這么久都沒(méi)有新的模型單元誕生,，究其原因,，一個(gè)是技術(shù)上太難突破了，第二個(gè)原因就是劣幣驅(qū)逐良幣,。

　　即便是在學(xué)術(shù)領(lǐng)域,，劣幣驅(qū)逐良幣也是一個(gè)很常見(jiàn)的事情，簡(jiǎn)單來(lái)說(shuō)就是,，大家都發(fā)現(xiàn)構(gòu)造一個(gè)模型單元太難了,，但是用現(xiàn)有的模型單元去堆疊出一個(gè)新的模型結(jié)構(gòu)就簡(jiǎn)單很多，那既然如此,，為何要死磕前者呢,。

　　例如一個(gè)商城只有蘋(píng)果、香蕉,、桃子三種水果,，現(xiàn)在要販賣水果拼盤(pán)，最具有經(jīng)濟(jì)效益,，也就是販賣的最好的拼盤(pán)是3蘋(píng)果2香蕉1桃子,，這種組合就是一個(gè)模型結(jié)構(gòu)，然后過(guò)了一年,，有位大佬發(fā)現(xiàn),，1蘋(píng)果1香蕉1桃子能產(chǎn)出更高的經(jīng)濟(jì)效益，于是,，這個(gè)模型大受歡迎,，這位大佬便榮登頂會(huì)。

　　當(dāng)然,，這只是一個(gè)很簡(jiǎn)單的例子,，真正的模型構(gòu)造必定比販賣水果拼盤(pán)要難很多，需要大量數(shù)學(xué)理論來(lái)佐證,，但本質(zhì)上其實(shí)與水果拼盤(pán)沒(méi)什么不同,。

　　蘇飛此前的ELMo模型所做的工作本質(zhì)上也是水果拼盤(pán),，只不過(guò)他的拼盤(pán)領(lǐng)先了一個(gè)時(shí)代，能超越目前最好的模型10個(gè)性能百分點(diǎn),，大大提高了準(zhǔn)確率還減少了算力消耗。

　　但是,，如今整個(gè)學(xué)術(shù)界漸漸的,，都開(kāi)始拼水果拼盤(pán)，所有人都在現(xiàn)有的蘋(píng)果,、香蕉,、桃子里選擇，開(kāi)始自由組合,，對(duì)不同的任務(wù)和實(shí)驗(yàn)拼出解決這個(gè)問(wèn)題的最優(yōu)模型,。

　　而很少有人會(huì)去往這個(gè)拼盤(pán)里創(chuàng)造一個(gè)新的水果，畢竟吃力不討好,。

　　但既然選擇了做學(xué)術(shù)界的清流,，蘇飛就想要成為創(chuàng)造新水果的人，他想要往這個(gè)水果拼盤(pán)里引入菠蘿,，至于為什么稱之為菠蘿,，嗯……因?yàn)樗類?ài)吃菠蘿。

　　而他與大多數(shù)人寫(xiě)論文的方式相反,，對(duì)蘇飛來(lái)說(shuō),，再難的技術(shù)問(wèn)題都不是問(wèn)題，他懷疑只要有足夠的靈感激發(fā)卡,，他甚至可以突破號(hào)稱永遠(yuǎn)的三十年的“核聚變”技術(shù),。

　　于他而言，最重要的就是idea或者說(shuō)一個(gè)正確的思路,。

　　注意力機(jī)制毫無(wú)疑問(wèn)就是一個(gè)很好的idea,。近年無(wú)論圖領(lǐng)域還是自然語(yǔ)言處理領(lǐng)域，對(duì)注意力機(jī)制這塊動(dòng)刀子的人可不少,，但至今為止,，注意力機(jī)制更像是在其他的模型單元上起到一個(gè)基礎(chǔ)運(yùn)算，或者說(shuō)錦上添花的作用,。

　　蘇飛不認(rèn)為注意力機(jī)制的作用僅限于此,，不止蘇飛不這么認(rèn)為，世界上幾乎所有相關(guān)領(lǐng)域?qū)W者都不認(rèn)為注意力機(jī)制僅限于此,，然而令人遺憾的是,，還沒(méi)有人能真正發(fā)揮注意力機(jī)制的作用。

　　蘇飛在學(xué)習(xí)《認(rèn)知神經(jīng)科學(xué)》后,，認(rèn)為這是一個(gè)很好的機(jī)會(huì),。

　　于是,，他把近年的注意力機(jī)制相關(guān)的論文全部羅列了出來(lái)。

　　【基于注意力機(jī)制的端到端機(jī)器翻譯算法】,。

　　【基于注意力機(jī)制的新自適應(yīng)權(quán)重算法】,。

　　【以注意力權(quán)重再分配改善注意力機(jī)制】。

　　【目標(biāo)檢測(cè)上的注意力機(jī)制新型應(yīng)用】,。

　　…

　　…

　　蘇飛就這么看了整整一個(gè)下午的注意力機(jī)制文獻(xiàn),，然而，他只想說(shuō),，還是小看了深度學(xué)習(xí)領(lǐng)域人們灌水的能力,。

　　他在過(guò)目不忘和知識(shí)快解的加持下，一下午看了上百篇,，其中百分之九十五都沒(méi)有任何價(jià)值,，其中有好幾篇說(shuō)是學(xué)術(shù)垃圾都算抬舉他們了。最過(guò)分的一些論文是通篇講解這個(gè)模型結(jié)構(gòu)多牛逼多牛逼,，最后一看,，連個(gè)代碼庫(kù)都不上傳。

　　這種做法無(wú)疑是此地?zé)o銀三百兩,，就是明著告訴別人,，我不敢傳代碼給你復(fù)現(xiàn)，怎么滴,！

　　即便是華科院一區(qū)和CCF-A類的部分頂刊頂會(huì)論文,，灌水者也是不少。

　　對(duì)于這種情況,，蘇飛也是無(wú)可奈何,，學(xué)者也是人，也是有所謂的關(guān)系戶和各種潛規(guī)則的,，即便是頂會(huì)頂刊也沒(méi)法保證每一篇都有相應(yīng)的含金量,，一些阿貓阿狗也還真的能上。

　　看了一個(gè)下午的蘇飛只得到了七八篇比較有價(jià)值的論文,。

　　“算了,，急不得，慢慢來(lái)吧,?！?p>　　蘇飛深吸了一口氣，他現(xiàn)在只想好好洗洗眼,，某些論文實(shí)在辣他眼睛,。