自2017年以來，研究人員一直使用AI神經網絡來幫助設計更好更快的AI神經網絡。

迄今為止，這種應用在很大程度上是一種學術追求，主要是因為這種方法需要數萬個GPU hours。然而，下個月，麻省理工學院(MIT)的研究團隊將展示所謂的“神經架構搜索”算法，該算法可以將AI優化AI的過程加快240倍或者更多。
優化后的AI速度更快，精準度更高。而這個新算法的出現將助力優化后的AI廣泛應用于圖像識別算法和其他相關應用。

MIT電子工程和計算機科學的助教Song Han表示：“我們團隊在模型大小、推理延遲、準確性和模型容量等多個方面做出了權衡。”他還補充說：“這些因素組成了一個巨大的設計空間。以前，人們都在設計基于人類啟發的神經網絡。而新算法試圖將這種勞動密集型的、基于人類啟發的方式轉變為一個基于學習的、基于AI的設計方式。就像AI可以學習下棋一樣，AI也可以學習設計一個神經網絡。”

就像在圍棋和國際象棋中獲勝的AI程序教給大師們新策略一樣，AI優化AI這一新的探索為設計AI神經網絡提供了全新的方法。此類神經網絡被稱為卷積神經網絡(CNN)，MIT團隊研究的新算法促進了這種神經網絡的發展。CNN通常作為圖像識別程序的神經網絡。除此之外，它在自然語言處理和藥物發現等領域也有所應用。

MIT的Han指出，一旦他們團隊的算法建立起最優的CNN，得到系統分類圖像的速度很可能是其他神經架構搜索構建的AI的1.8倍。

Han說，團隊能夠以如此驚人的速度精確定位最優的CNN設計，有三個重要的想法：

第一、他們減少了運行神經架構搜索的GPU內存負載。一般來說，標準的神經結構搜索可以同時檢查網絡中神經層之間所有可能的連接。然而，Han的團隊每次只在GPU的內存中保存一條路徑。這個技巧可以在僅使用十分之一內存空間的情況下，對參數空間進行完整的搜索，從而使他們的搜索覆蓋更多的網絡配置，而不會耗盡芯片上的空間。

第二、從已丟棄的神經網絡搜索中刪除整個路徑，這明顯加快了神經網絡搜索的速度。

第三、讓神經網絡搜索意識到AI系統可能正在運行的硬件的延遲時間——無論是CPU還是GPU加速的移動平臺系統。

Han說，令人驚訝的是，關于一些圖像識別神經網絡的傳統觀點是錯誤的。在某種意義上，AI網絡設計師在設計主要運行在GPU系統上的網絡時，他們的想法仍然停留在CPU時代。

CNN在其圖像識別算法中使用過濾器，這些算法是由3×3、5×5或7×7像素組成的正方形網格。一般來說，7x7的過濾器很少見，因為人們認為，運行更多的3x3過濾器比運行單個7x7過濾器更快。

然而，Han說，經過AI優化的AI使用了相當數量的7x7過濾器。他還表示，這是當今大多數AI計算中GPU占主導地位的原因。“目前，我們已經發現GPU上運行7x7更簡單，因為GPU有很大的并行度，”Han補充道，“而且調用一個大型內核比調用幾個小型內核更有效。”

在談到他的團隊的算法時，Han說：“它為人類工程師未來設計神經網絡提供了良好的反饋。”然而，這并不意味著AI能夠構建更強大的版本。

來源：雷鋒網
作者：Mark Anderson