在深度神經(jīng)網(wǎng)絡大行其道的現(xiàn)在，雖然大家總說要改善深度學習的可解釋性、任務專一性等問題，但是大多數(shù)研究論文在這些方面的努力仍然只像是隔靴搔癢。而且，越是新的、具有良好表現(xiàn)的模型，我們在為模型表現(xiàn)感到開心的同時，對模型數(shù)學原理、對學習到的表征的理解也越來越進入到了放棄治療的心態(tài)；畢竟，深度學習具有超出經(jīng)典 AI 的學習能力，正是因為能夠學習到新的、人類目前還無法理解的表征。
近期 DeepMind 的一篇論文《An Explicitly Relational Neural Network Architecture》（一種顯式的關系性神經(jīng)網(wǎng)絡架構，arxiv.org/abs/1905.10307）似乎在這面高墻上打開了一個口子。他們想辦法把深度學習和符號化的表征連接起來，而且著重在意表征的多任務通用和重復使用能力，而且取得了有趣的初步成果。雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 科技評論把這篇論文的內容簡單介紹如下。
重新思考我們需要什么樣的表征
當人類遇到?jīng)]有見過的新問題時，他們能回憶過往的經(jīng)驗，從那些乍一看沒什么關系，但在更抽象、更結構化的層次上有不少相似度的事情中獲得靈感。對于終生學習、持續(xù)學習來說，這種能力是非常重要的，而且也給人類帶來了很高的數(shù)據(jù)效率、遷移學習的能力、泛化到不同數(shù)據(jù)分布的能力等等，這些也都是當前的機器學習無法比擬的。我們似乎可以認定，決定了所有這些能力的最根本因素都是同一個，那就是決策系統(tǒng)學習構建多種任務通用的、可重復使用的表征的能力。
一個多種任務通用、可重復使用的表征可以提高系統(tǒng)的數(shù)據(jù)效率，因為系統(tǒng)即便是遇到了新的任務也知道如何構建與它相關的表征，而不需要從零開始。理論上來說，一個能高效利用多種任務通用、可重復使用的表征的系統(tǒng)，實際上也就和能學習如何建立這樣的表征的系統(tǒng)差不多。更進一步地，如果讓系統(tǒng)學習解決需要使用到這樣的表征的新任務，我們也可以期待這個系統(tǒng)能夠學會更好地建立這樣的表征。所以，假設一個系統(tǒng)從零開始學習不同的任務，那么除了它學習到的最初的表征之外，之后的所有的學習都像是遷移學習，學習的過程也將是一如既往地不斷積累的、連續(xù)的、終生持續(xù)的。
在這篇論文中，DeepMind 提出的構建一個這樣的系統(tǒng)的方法其實源于經(jīng)典的符號化 AI 的啟發(fā)。構建在一階謂詞計算的數(shù)學基礎上的經(jīng)典符號化 AI 系統(tǒng)，它們的典型工作方式是把類似邏輯的推理規(guī)則作用在類似語言的命題表征上，這樣的表征自身由對象和關系組成。由于這樣的表征有聲明式的特性和復合式的結構，這樣的表征天然地具有泛化性、可以重復使用。不過，與當代的深度學習系統(tǒng)不同，經(jīng)典 AI 系統(tǒng)中的表征一般不是從數(shù)據(jù)學習的，而是由研究人員們手工構建的。目前這個方向研究的熱點是想辦法結合兩種不同做法的優(yōu)點，構建一個端到端學習的可微分神經(jīng)網(wǎng)絡，然后神經(jīng)網(wǎng)絡中也可以帶有命題式的、關系性的先驗，就像卷積網(wǎng)絡帶有空間和局部性先驗一樣。
這篇論文中介紹的網(wǎng)絡架構基于非局部性網(wǎng)絡架構的近期研究成果，這種網(wǎng)絡架構可以學會發(fā)現(xiàn)并運用關系信息，典型的比如 relation nets 以及基于多頭注意力的網(wǎng)絡。不過，這些網(wǎng)絡生成的表征都沒有什么顯式的結構，也就是說，找不到什么從表征中的一部分到符號化介質中的常用元素（命題、關系、對象）的映射。如果反過來探究這些元素在這樣的表征中是如何分布的，可以說它們分散地遍布在整個嵌入向量中，從而難以解釋，也難以利用它的命題性并在下游任務中運用。
PrediNet 簡介
DeepMind 帶來了新網(wǎng)絡架構 PrediNet，它學習到的表征中的不同部分可以直接對應命題、關系和對象。
把命題作為知識的基礎部件的想法由來已久。一則元素聲明可以用來指出一組對象之間存在某種關系；聲明之間可以用邏輯操作連接（和、或、否等等），也可以參與到推理過程中。PrediNet 的任務就是學習把圖像之類的高維數(shù)據(jù)轉換為命題形式的表征，而且這個表征可以用于下游任務。
PrediNet 模塊可以看做是由三個階段組成的流水線：注意力 attention，約束 binding 和評價 evaluation。注意力階段會選擇出成對的感興趣的對象，約束階段會借助選出的成對對象把一組三元謂詞中的前兩個實例化，最后評價階段會計算三元謂詞中的最后一個的（標量）值，判定得到的聲明是否為真。（更具體的介紹見論文原文）
PrediNet 網(wǎng)絡架構
實驗測試
目前還沒法直接把 PrediNet 用于大規(guī)模復雜數(shù)據(jù)；而且為了對提出的架構有足夠扎實的科學理解，以及便于和其它方法進行細致的比較，用小數(shù)據(jù)、小計算量做實驗也是比較合適的。實驗測試的目標有兩個，1，驗證 PrediNet 是否能學習到希望的多任務通用、可重復使用的表征；2，如果前一個目標為真，研究它成立的原因。
作者們設計了一組“猜測關系”游戲，是相對簡單的分類任務。它的玩法是，首先要學習表征一組繪制在 3x3 網(wǎng)格中的圖形，然后對于一張含有多個圖形的大圖，判斷給出的一條關于大圖中的圖形間的關系的聲明是否為真。雖然 PrediNet 本身學習到的命題都只是很對兩兩成對的對象的，這個猜測關系游戲需要的是學習可能會牽扯到多個對象的復合關系。
游戲介紹：(a)訓練集中包含的樣本對象 (b)五種不同的可能行/列排列模式 (c)單個任務預測的示例 (d)多任務預測示例
多種形狀和關系的排列組合使得這個任務的變化有相當多種，是比較理想的測試表征及邏輯能力的設定。
作者們對比的幾種模型都帶有一個卷積輸入層、中央模塊、以及一個用于輸出的多層感知機；中央模塊是區(qū)別所在，PrediNet 或者其他的基準模型。
數(shù)據(jù)效率
用十萬組樣本訓練以后，5 種模型的對比如下。PrediNet 是唯一一個在所有任務上都取得超過 90% 準確率的模型；在某些任務中相比基準模型甚至有 20% 的提升。
表征學習能力
作者們設計了四個階段的模型學習，通過在不同階段測試模型，可以探究模型的表征學習能力。從空白模型開始，首先學習一個任務（即無預訓練的單任務學習）；其次學習多種不同任務（在第一個任務的基礎上，即有預訓練的多任務學習）；接著凍結 CNN 層和中央模塊，僅更新多層感知機；最后凍結 CNN 層，更新中央模型和多層感知機。這四個階段中不同模型的表現(xiàn)如下圖。
首先，橫坐標是訓練樣本數(shù)量，縱坐標是準確率，即模型表現(xiàn)隨訓練樣本增加的變化，那么所有曲線都是越貼近左上角越好，這里已經(jīng)能看出 PrediNet 的優(yōu)勢。其次，作者們認為尤其值得注意的是第三個階段的表現(xiàn)，凍結 CNN 層和中央模塊，僅更新多層感知機，圖中綠線。凍結現(xiàn)有的表征不變，向新的任務適應（遷移），PrediNet 的學習速度是最快的，也是唯一一個在訓練結束后得到了 90% 準確率的模型。這就說明了 PrediNet 學習到的表征確實更加多任務通用。
模型可視化
為了更好地理解 PrediNet 的計算行為，作者們制作了一些可視化，如圖。
訓練后的 PrediNet 的注意力頭的熱力圖。上方：在判斷是否形同的任務中訓練；下方：在判斷是否出現(xiàn)的任務中訓練
主成份分析（PCA）
結合多種實驗和分析，作者們認為 PrediNet 確實有一定的關系解耦能力，這也正是研究開始時希望得到的能學習到良好的表征的模型所需的。
結論
作者們展示了一個理論上可以學習到抽象邏輯的模型，而且它還和端到端學習兼容；網(wǎng)絡可以自行從原始數(shù)據(jù)中學習到對象和它們的關系，從而繞過了傳統(tǒng) AI 中手工特征帶來的種種問題。作者們的實驗表明網(wǎng)絡可以學習到顯式命題的、關系性的表征，從而在數(shù)據(jù)效率、泛化性、可遷移性方面都有大幅改進。不過這僅僅是非常初步的研究，完全開發(fā)這個思路的潛力，并把它應用在更復雜的數(shù)據(jù)、更復雜的實際任務中還需要很多后續(xù)研究。
另一方面，這篇論文的重點在于獲得這樣的表征而非應用它。不過由于這種模型架構帶有的良好先驗，PrediNet 模塊生成的表征和謂詞計算是自然地相容的，這就為后續(xù)的各種符號邏輯運算做了良好的鋪墊。這個基礎上的改進可以考慮增加循環(huán)連接，這可能會讓模型具有迭代和序列計算能力；也可以考慮把它用于強化學習，可以對目前的深度強化學習的各方面問題都帶來改進。
論文原文
https://arxiv.org/abs/1905.
