2019 年,最值得回顧的十大 AI 學(xué)術(shù)觀點
如果說去年是 AI 技術(shù)爭相試水落地的一年,那今年則更多地是回歸 AI 技術(shù)本身進行反思和探索的一年。
這一年,「深度學(xué)習(xí)是否將迎來寒冬」、「AI 該如何實現(xiàn)可解釋性」等議題頻頻成為 AI 社區(qū)的「座上賓」。
這一年,AI 界開始呼吁從深度學(xué)習(xí)以外的方法上找新的突破口,例如說結(jié)合推理等傳統(tǒng) AI 方法、基礎(chǔ)數(shù)學(xué)以及類腦等其他跨學(xué)科的方法。
這一年,「多模態(tài)」成為 AI 界的一個熱門研究方向,做 CV 的研究者開始關(guān)注 NLP,而做 NLP 的研究者開始在研究中引入 CV,多個研究領(lǐng)域走向融合已然勢不可擋。
今天是 2019 年的最后一天,AI 科技評論挑選了今年 AI 學(xué)術(shù)界最值得回顧的十大語錄,以期大家能夠從中獲得些許的啟發(fā),為明天即將到來的又一年的新征程做好準(zhǔn)備!
1 推理、抽象推導(dǎo)這些人類最后才學(xué)會做的事情,也將會是神經(jīng)網(wǎng)絡(luò)最難學(xué)會的事情。
——Geoffery Hinton,《和 Geoffery Hinton 面對面聊聊》
如果把人類和神經(jīng)網(wǎng)絡(luò)相比,那么神經(jīng)網(wǎng)絡(luò)發(fā)展至今,在視覺信號處理、語音信號處理這些人類的感知任務(wù)上確實取得了很大進展,但運動控制方面的表現(xiàn)就沒那么好,現(xiàn)在的最先進的神經(jīng)網(wǎng)絡(luò)才剛剛能追趕上傳統(tǒng)的控制方法,更別提和人類相比了,人類的運動控制能力非常高,也非常輕松,很顯然我們的大腦就是為運動控制設(shè)計的。
神經(jīng)網(wǎng)絡(luò)最終有一天是能夠趕超人類的,不過現(xiàn)在只取得了很小的勝利而已。并且,推理、抽象推導(dǎo)這些人類最后才學(xué)會做的事情,也將會是神經(jīng)網(wǎng)絡(luò)最難學(xué)會的事情。
2 作為一個科學(xué)家,對我來說真正重要的是還需要探索哪些新方向才能解決問題。誰對誰錯、誰站了誰的隊這種事情我并不關(guān)心。
——Yoshua Bengio,《深度學(xué)習(xí)瓶頸到來時,Yoshua Bengio 有什么新打算》
很多面向大眾的信息渠道都不理解學(xué)術(shù)人員做科研的方式,不管是針對 AI 領(lǐng)域還是其他學(xué)科,而實際上,他們研究和理解當(dāng)前的理論和方法的不足之處,是為了能探索智力工具之外的更大的空間。
直到今天,AI 系統(tǒng)能達到的智慧程度都沒法和一個 2 歲的小孩相提并論。不過,我們的算法在感知任務(wù)里可能能達到一些更低級的動物的水平,并且現(xiàn)在也有越來越多的工具可以幫助一個系統(tǒng)探索它所在的環(huán)境,所以這些系統(tǒng)的智力水平也在慢慢地逐步提升。
Bengio 認(rèn)為,未來可以嘗試在過去這些年設(shè)計的深度學(xué)習(xí)工具的基礎(chǔ)上實現(xiàn)推理、規(guī)劃、想象力、歸因這些功能,以此實現(xiàn) AI 系統(tǒng)高層次的認(rèn)知。
3 大家不能指望人工智能一出來就「畢其功于一役」。它永遠在路上,這就是人工智能的魅力所在。
——張鈸,《張鈸院士:人工智能的魅力就是它永遠在路上》
人工智能的第一代模型,可解釋、魯棒性很強,然而也有很大局限性,即很難準(zhǔn)確表達人類的知識經(jīng)驗,這也是產(chǎn)生的后來人工智能冬天的根本原因。
到了第二代人工智能,一個最重要的成果就是深度學(xué)習(xí)。然而深度學(xué)習(xí)并非 AI 的通用機,需要滿足具有豐富的數(shù)據(jù)或知識,完全信息,確定性信息,靜態(tài),單領(lǐng)域和單任務(wù)這五個條件,距離真正的人工智能還有很遠的距離。
因此下一步就要邁向第三代人工智能,針對第一、二代人工智能的兩個主要的局限性,建立可解釋、魯棒的人工智能理論,發(fā)展安全、可信、可用的人工智能技術(shù),促進人工智能的創(chuàng)新應(yīng)用。
4 曾經(jīng)我們認(rèn)為深度學(xué)習(xí)是一個「小黑屋」,里面只有深度神經(jīng)網(wǎng)絡(luò)。現(xiàn)在我們打開門,發(fā)現(xiàn)了里面有深度森林,也許未來還能發(fā)現(xiàn)更多別的東西。
——周志華,《周志華 IJCAI2019 演講:「深」為什么重要,以及還有什么深的網(wǎng)絡(luò)》
雖然在今天深度神經(jīng)網(wǎng)絡(luò)已經(jīng)這么的流行、這么的成功,但是其實我們可以看到在很多的任務(wù)上,性能最好的不見得完全是深度神經(jīng)網(wǎng)絡(luò),并且已經(jīng)有數(shù)學(xué)證明,一個模型不可能在所有任務(wù)中都得到最好的表現(xiàn)。所以我們有必要探索神經(jīng)網(wǎng)絡(luò)之外的深度模型。
深度森林便是其中的一個方向。雖然目前我們還不知道深度森林可以發(fā)展到什么程度,因為我們還構(gòu)建不出非常深的模型,但即便未來我們構(gòu)建出很深的模型了、而且發(fā)現(xiàn)它的表現(xiàn)沒有我們預(yù)想的那么好,我們的研究也仍然是有價值的。
因為深度森林的構(gòu)建過程為這幾個猜測提供了證據(jù):當(dāng)你用一個模型就可以做到逐層信號處理、特征變換、足夠的模型復(fù)雜度的時候,你就可以享受到深度模型的好處。這也就是深度森林比之前的各種森林都有更好的表現(xiàn)的原因。它也帶給我們新的啟示:我們是否有可能設(shè)計出同時兼顧到這幾點的新的模型?
5 從本質(zhì)上來看,人工智能、知識工程以及數(shù)學(xué)在解決問題時所使用的基本方法論其實是具有統(tǒng)一性的。
——徐宗本,《徐宗本院士:數(shù)學(xué)與 AI 的關(guān)系是「融通共進」》
在欣喜人工智能變成可用技術(shù)的同時,我們必須冷靜地看到,目前我們還處于一個「用多少人工換來多少智能」的人工智能階段,距離人工智能的真正產(chǎn)業(yè)化,真正能把人工智能技術(shù)用得明白、也用得好,仍然還有很長一段路要走。
對于人工智能未來的發(fā)展方向,徐宗本表示,我們不妨以實現(xiàn)共產(chǎn)主義來做類比:人工智能的共產(chǎn)主義目標(biāo)是自主智能,而在實現(xiàn)共產(chǎn)主義之前我們必須先走過社會主義初級階段——機器學(xué)習(xí)自動化便是社會主義初級階段目標(biāo)。所以說,人工智能的發(fā)展軌跡應(yīng)該是從人工走向自動化,再邁向自主智能。
要想真正實現(xiàn)機器的自動化,必須首先解決五個數(shù)學(xué)領(lǐng)域的基礎(chǔ)問題:大數(shù)據(jù)的統(tǒng)計學(xué)基礎(chǔ)、大數(shù)據(jù)計算基礎(chǔ)算法、深度學(xué)習(xí)的數(shù)學(xué)原理、非常規(guī)約束下的輸運問題以及學(xué)習(xí)方法論的建模與函數(shù)空間上的學(xué)習(xí)理論。
6 未來,深度學(xué)習(xí)和語言學(xué)研究應(yīng)該互相幫助,多模態(tài)信息處理也大有可為。
——周明,《周明:自然語言處理的未來之路 》
基于深度學(xué)習(xí)的 NLP 技術(shù)已經(jīng)走過了詞嵌入、句子嵌入、帶有注意力的編解碼器模型、Transformer(完全使用注意力)的這四個技術(shù)節(jié)點,預(yù)訓(xùn)練模型+針對具體任務(wù)的精細(xì)調(diào)節(jié)也已經(jīng)成為了當(dāng)前 NLP 實踐的新范式。
這種新范式也給我們帶來了一個新的啟發(fā):我們可以針對大規(guī)模的語料,提前訓(xùn)練好一個模型,這個模型既代表了語言的結(jié)構(gòu)信息,也有可能代表了所在領(lǐng)域甚至常識的信息,只不過我們看不懂。加上我們未來的預(yù)定的任務(wù),這個任務(wù)只有很小的訓(xùn)練樣本,把通過大訓(xùn)練樣本得到的預(yù)訓(xùn)練模型,做到小訓(xùn)練樣本上,效果就得到了非常好的提升。
不過,未來的 NLP 不會只是基于規(guī)則的模型,同樣不會只是基于 DNN 的模型;它應(yīng)當(dāng)是可解釋的、有知識的、有道德的、有經(jīng)濟效益的、終生學(xué)習(xí)的模型。未來,深度學(xué)習(xí)和語言學(xué)研究應(yīng)該互相幫助,多模態(tài)信息處理也大有可為。
7 什么是真正的智能?我想目前還沒有定論,而且我們對我們自己的智能還沒有足夠的了解。
——張正友,《騰訊 AI Lab & Robotics X 主任張正友博士:計算機視覺的三生三世》
實際上,現(xiàn)在的人工智能都還只是機器學(xué)習(xí):從大量的標(biāo)注數(shù)據(jù)去學(xué)習(xí)一個映射。
那什么是真正的智能?正如瑞士認(rèn)知科學(xué)家 Jean Piaget 說的,智能是當(dāng)你不知道如何做的時候你用的東西。也就是說,當(dāng)你無法用你學(xué)到的東西或天賦去面對時,你動用的東西就是智能。
如何去實現(xiàn)有智能的系統(tǒng)呢?張正友表示:可能有很多條路,但他認(rèn)為一條很重要的路是需要把載體考慮進去,做有載體的智能,也就是機器人。
基于此,他還提出了 A2G 理論:A 是 AI,即機器人必須能看能聽能說能思考,B 是 Body 本體,C 是 Control 控制,ABC 組成了機器人的基礎(chǔ)能力;D 是 Developmental Learning,發(fā)育學(xué)習(xí),E 是 EQ,情感理解、擬人化,F(xiàn) 是 Flexible Manipulation,靈活操控;最后要達到 G,G 是 Guardian Angel,守護天使。
8 現(xiàn)階段 AI 研究的「以任務(wù)表現(xiàn)為中心」的研究思路其實才是我們走向通用人工智能的瓶頸。
——Keras 庫作者 François Chollet,《測量「智慧」的正確姿勢可能是?》
研究人員以及普通大眾對 AI 技術(shù)的認(rèn)知里的所有錯誤的部分,基本上都可以把原因歸結(jié)為過度的擬人化。但 AI 很狡猾,人類設(shè)計 AI 、訓(xùn)練 AI 想讓它模仿哪一兩個人類技能,它就會完完全全地只模仿這一兩個技能,而完全學(xué)不到其它的(即便看起來很相關(guān))的技能。
在這個過程里,AI 還會嘗試走所有有可能的捷徑、發(fā)掘各種能帶來提升的小竅門甚至環(huán)境中的 bug,而不會主動遵循人類本來規(guī)劃的「正道」,最終得到的系統(tǒng)也就和人類的思維沒有任何共通之處。
可以說,現(xiàn)階段 AI 研究的「以任務(wù)表現(xiàn)為中心」的研究思路其實才是我們走向通用人工智能的瓶頸,而實際上 AI 研究應(yīng)該應(yīng)該走另一條路線,即 Hernandez-Orallo 路線:「AI 是這樣一門科學(xué)和工程學(xué),它造出的機器能完成從來沒有見過、從來沒有提前準(zhǔn)備過的任務(wù)」。
不僅如此,要了解一個系統(tǒng)的智慧水平,應(yīng)當(dāng)測量它在一系列不同任務(wù)中表現(xiàn)出的獲得新能力的效率;這和先驗、經(jīng)驗、泛化難度都相關(guān)。
9 我不認(rèn)為我們需要等到一個完全發(fā)展好,再去發(fā)展另一個或去發(fā)展它們的結(jié)合,因為你會發(fā)現(xiàn)你永遠不可能達到一個頂峰。
——CVPR 2019 最佳學(xué)生論文一作王鑫,《多模態(tài)和多語言視覺研究走到哪里了?專訪王威廉組王鑫》
視覺和語言結(jié)研究其實很早就出現(xiàn)了,在深度學(xué)習(xí)時代之前就有人在研究,只不過在深度學(xué)習(xí)出現(xiàn)之后,大概 2014、15 年,大家才開始往這個研究方向著力。
因為我們是生活在一個多模態(tài)的世界,作為人類我們不是只用眼去看,還需要通過語言進行交流表達,甚至去記錄一些東西;而且語言本身也是基于我們所看到的才發(fā)展起來。
所以歸根結(jié)底,把兩件事分開研究是一種選擇,但最終我們要做的科研是肯定是要把 CV 和 NLP、甚至其他的模態(tài)都結(jié)合在一起的。而且我不認(rèn)為我們需要等到一個完全發(fā)展好,再去發(fā)展另一個或去發(fā)展它們的結(jié)合,因為你會發(fā)現(xiàn)你永遠不可能達到一個頂峰。
10 技術(shù)有好的一面也有壞的一面,就像火,可以保暖、可以烹飪食物,也可以燒死別人。
——Jürgen Schmidhuber,《「LSTM 之父」Jürgen Schmidhuber 訪談:暢想人類和 AI 共處的世界》
幾十年以前,當(dāng)工業(yè)機器人剛剛出現(xiàn)的時候,就有人說機器人會把所有人類的工作都代替了。然而結(jié)果,這些有很多機器人的國家在并沒有提高失業(yè)率的情況下反而獲得了更多的資本,因為出現(xiàn)了很多當(dāng)時的人們預(yù)計不到的新職業(yè)。
現(xiàn)在也是如此,隨著 AI 在中國以及全球得到更多的使用,工作的數(shù)量只會增加,而不會減少,失業(yè)率也會大致保持不變——因為新的工作會出現(xiàn)。
技術(shù)有好的一面也有壞的一面,就像火,可以保暖、可以烹飪食物,也可以燒死別人;甚至有一點和 AI 一樣,如果人類不做什么干預(yù)的話就會廣泛傳播開來。不過,人們發(fā)現(xiàn)火帶來的好處要比麻煩多多了,所以人們一直在提升改進使用火的技術(shù)。
這樣人類才一直走到了今天。
來源 | 雷鋒網(wǎng)
作者 | 叢末