第五章,不被時(shí)代所局限
趙楠泡好茶,給每人分了一杯,,“都別恭維了,,來來來,喝茶,?!?p> “正好口渴了?!标惾坏懒寺曋x,,一口干了功夫茶。趙楠見他這牛嚼牡丹的樣子,,卻一點(diǎn)也不心痛自己的大紅袍,,笑瞇瞇的又給他續(xù)上,還小心囑咐,,“慢點(diǎn),,別燙到了?!?p> 正宗的武夷山紅茶,,色澤潤紅,清,、香,、甘、活,,陳然喝到精華的第二,、三泡,也慢了下來,。
此時(shí)也有談話的氣氛,,李開來就評(píng)價(jià)了陳然的那篇論文,“用混合系數(shù)結(jié)構(gòu)化地?cái)U(kuò)大卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模,,簡單高效,,不僅超越了原來的精度,調(diào)參也降到原來的9.2%,?!?p> 訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò),,調(diào)參是最重要的工作,沒有捷徑可走,,唯一的區(qū)別是,,新手盲目嘗試,高手靠經(jīng)驗(yàn),,陳然則是有未來的成熟理論指導(dǎo),,思路清晰,手段精準(zhǔn),。
“我記得你之前還有一篇論文,,好像是《AdaBound神經(jīng)網(wǎng)絡(luò)優(yōu)化算法》?”趙楠見陳然點(diǎn)頭,,就問道:“那個(gè)也可以節(jié)省大量調(diào)參時(shí)間,,兩者有什么區(qū)別?”
“哈哈,,本質(zhì)上的不同,。”李開來拍手大笑,。
陳然沒有笑,,認(rèn)真解釋了一句,“AdaBound是結(jié)合隨機(jī)梯度下降和自適應(yīng)矩估計(jì),,訓(xùn)練前期比較快速,,后期又有很好的收斂性,對(duì)超參數(shù)不敏感,?!?p> “混合系數(shù)縮放CNN的卷積核大小、個(gè)數(shù),,卷積層數(shù)等各個(gè)維度,,主要是為了提升模型性能?!崩铋_來抿了一口茶,,再進(jìn)行補(bǔ)充,“一個(gè)是整體架構(gòu),,另一個(gè)是算法優(yōu)化,。”
“哦,,這樣啊,。”趙楠尷尬了片刻,又爽朗一笑,,自嘲道:“管理崗位待久了,,學(xué)問荒廢了不少……”
“我注意到,你論文中的卷積運(yùn)算也不太一樣,?!崩铋_來想了想,打了個(gè)比方,,“像是壓縮圖片一樣,對(duì)卷積進(jìn)行了壓縮,?”
在計(jì)算機(jī)中,,圖像由像素點(diǎn)組成,用卷積核(最少3*3)比較圖像鄰近像素相似性,,提取局部特征,,比如邊緣信息、顏色深淺……在運(yùn)算時(shí),,傳統(tǒng)卷積是不加以區(qū)分的,。
“圖像中存在大量低頻信息,其實(shí)不用過多關(guān)注,?!标惾慌e了個(gè)例子,“比如大熊貓,,它身上毛色相近,、背景色變緩慢的部分。壓縮這些近似區(qū)域,,可以減少算力消耗,。”
神經(jīng)網(wǎng)絡(luò)的功能和規(guī)模成正比,,隱藏層或者神經(jīng)元數(shù)量增加,,運(yùn)算量也會(huì)線性暴增。隨著AI走向成熟,,算力要求也越來越高,,是整個(gè)領(lǐng)域都要頭疼的大事。
“這樣一來,,參數(shù)少了十倍,,速度又至少是其他CNN的兩倍,準(zhǔn)確性還有提高,?!崩铋_來感慨,很是服氣,“早上我看到Hinton發(fā)推宣傳你的論文,,影響力很大啊,。”
“混合系數(shù)縮放的效果很依賴基線網(wǎng)絡(luò)CrNet-a1,?!标惾蛔孕诺囊恍Γ谠O(shè)計(jì)CrNet-a1架構(gòu)時(shí),,很注意簡單,、干凈,以及遷移學(xué)習(xí)能力,,為的就是廣泛傳播,。
“我看到你對(duì)神經(jīng)網(wǎng)絡(luò)的使用,極有開創(chuàng)性,?!弊苑Q學(xué)問不行的院長趙楠,卻有獨(dú)到精深的見解,,“跟你之前的論文,,《P對(duì)NP問題》有關(guān)聯(lián)的吧?”
呃……
談到這個(gè),,陳然就摸了摸鼻子,,有點(diǎn)尷尬。
P對(duì)NP問題一直困擾著數(shù)學(xué)界,,位列七大千禧難題之首,,同時(shí)也是計(jì)算機(jī)科學(xué)領(lǐng)域的圣杯,關(guān)系到計(jì)算機(jī)完成一項(xiàng)任務(wù)的速度到底有多快,。
三年前,,陳然無意證明了它,還順手投到了《數(shù)學(xué)年刊》……
說實(shí)話,,陳然當(dāng)時(shí)只是覺得P對(duì)NP難了點(diǎn),,居然卡了自己一個(gè)星期,有點(diǎn)意思,,值得發(fā)一篇paper,。
但他完全低估了千禧難題的受重視程度,不僅克雷數(shù)學(xué)研究所懸賞一百萬美金,,號(hào)稱數(shù)學(xué)界諾貝爾的菲爾茲獎(jiǎng)也是虛位以待,,很快轟動(dòng)整個(gè)學(xué)術(shù)圈,成為大家關(guān)注的焦點(diǎn),。
由于證明用到了多個(gè)數(shù)學(xué)領(lǐng)域的原理,,需要各個(gè)領(lǐng)域的頂尖專家進(jìn)行同行評(píng)審,,出于學(xué)術(shù)的嚴(yán)謹(jǐn)性,暫時(shí)還沒有結(jié)論……
但顯而易見,,輔腦就沒有錯(cuò)誤的知識(shí),!
問題是15歲,破解千禧難題……
這也太驚世駭俗了,!
每每想起來,,陳然都有些不堪回首,沒經(jīng)驗(yàn)啊,,年少輕狂,!
面對(duì)趙楠殷切的目光,陳然很不好意思,,“神經(jīng)網(wǎng)絡(luò)本質(zhì)是數(shù)學(xué)建模,,存在大量并行計(jì)算,P對(duì)NP的解決有助于調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),,進(jìn)一步優(yōu)化性能?!?p> 新一代神經(jīng)網(wǎng)絡(luò),?
李開來和趙楠相視一眼,悚然動(dòng)容,。
神經(jīng)網(wǎng)絡(luò)從來不是完美的,,從無法解決異或問題、到龐大復(fù)雜的計(jì)算量,,再到梯度消失和梯度爆炸,,速度慢,效果差,,兩度進(jìn)入寒冬,。
70年代以后的很長一段時(shí)間,學(xué)術(shù)期刊看到“神經(jīng)網(wǎng)絡(luò)”四個(gè)字,,就直接當(dāng)成垃圾拒稿,,逼得神經(jīng)網(wǎng)絡(luò)之父Hinton將名字改成“深度學(xué)習(xí)”,才得以突圍,。
簡單的理解,,深度學(xué)習(xí)(其實(shí)還是神經(jīng)網(wǎng)絡(luò))之于AI,等同于地基和大廈,,它的進(jìn)一步完善,,將直接推動(dòng)AI在各個(gè)應(yīng)用領(lǐng)域的推廣,意義堪比核彈,!
趙楠知道陳然不會(huì)撒謊,,他吞了吞口水,問道:“什么時(shí)候整理出來發(fā)表?”
這可是明晃晃的學(xué)術(shù)榮譽(yù)啊,,也是江大的政績,。
輔腦當(dāng)然有成熟的強(qiáng)智能神經(jīng)網(wǎng)絡(luò),但是整理發(fā)表,,還是系統(tǒng)的,?
陳然就呵呵了,“緩兩年吧,?!?p> 開什么玩笑,小時(shí)候不懂事,,貿(mào)然解決P對(duì)NP,,已經(jīng)夠陳然后悔的了。
這可是強(qiáng)智能的核心規(guī)則,!
要知道,,人工智能是全球范圍內(nèi)的科研競賽,所有人奮力爭先,,理論再領(lǐng)先,,最終還要靠強(qiáng)大的算力來落實(shí)。
然而在芯片領(lǐng)域,,華國與西方的差距不是一般的大……
實(shí)際上,,強(qiáng)智能神經(jīng)網(wǎng)絡(luò)已經(jīng)被陳然實(shí)現(xiàn),發(fā)論文只是煙霧彈,,稍微展露一點(diǎn)皮毛,,通告、迷惑一下對(duì)手,。
公開就是資敵,,放棄AI的壟斷利潤,跟二傻子有什么區(qū)別,?
趙楠醒悟過來,,就遺憾的不再追問。
話題又回到深度學(xué)習(xí),,陳然選擇能說的部分,,剛開始三人還有來有往,但隨著問題逐漸深入,,李開來也慢慢感到吃力,,和趙楠一樣,坐在那里插不上嘴……
陳然對(duì)神經(jīng)網(wǎng)絡(luò)的模型,、調(diào)參,、訓(xùn)練,、低可解釋性……目前很多根本性難題,都有獨(dú)到和開創(chuàng)性的解決思路,,這讓趙楠和李開來大開眼界的同時(shí),,也是心神巨震!
把陳然送走后,,李開來大發(fā)感慨,,“太厲害了,見面更勝聞名,!他在神經(jīng)網(wǎng)絡(luò)肯定有極大的突破,,后生可畏,后生可畏??!”
“你不看看他是什么人?學(xué)術(shù)宗師,、首富之子,,起點(diǎn)太高了!”趙楠嘆息又羨慕,,“自從陳然進(jìn)入人工智能領(lǐng)域,,兩位教授不僅大把撒錢,還給他拉攏半個(gè)華國的人脈,!”
“人和人不能比,也沒法兒比,!”李開來搖頭苦笑,,繼而嘆服,“這個(gè)陳然,,以后絕對(duì)是人工智能的領(lǐng)軍人,,搞不好要開創(chuàng)一個(gè)時(shí)代!”
“哈哈,!還用你說,?”趙楠得意無比,笑得像只偷了雞的狐貍,,“當(dāng)初陳然上大學(xué),,燕大、五道口……多少高校爭得面紅耳赤,,差點(diǎn)打起來,!哈哈,最終還不是江大力壓群雄,?,!”
一般人搶著上名校,,是給自己鍍金,但有些人不同,,他們能給名校鍍金,。
什么千軍萬馬過獨(dú)木橋?
不存在的,。
陳然是名校寧可撕破臉,,也要全力去搶的學(xué)生。
顏山寺
參考論文:Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution,; EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks,。