資訊

谷歌超人類AI ALBERT在自然語言閱讀理解測試中獲佳績

• 2019-09-30 09:30:40

據(jù)外媒報(bào)道，在當(dāng)?shù)貢r(shí)間周三在OpenReview.net上發(fā)表的一篇論文中，谷歌AI和芝加哥豐田科技機(jī)構(gòu)(Toyota technology Institute of Chicago)宣布，他們的新AI ALBERT在幾項(xiàng)自然語言閱讀理解測試中都獲得了第一名，其在SQuAD 2.0、GLUE、RACE成績方面都拿到了第一的位置。
在GLUE中，ALBERT拿到了89.4的分?jǐn)?shù)，在SQUAD中拿到了92.2、在RACE中拿到89.4。

SQUAD 2.0人類平均表現(xiàn)分則為89.452。

據(jù)悉，SQuAD2.0結(jié)合了SQuAD1.1的10萬個(gè)問題和5萬多個(gè)新的、無法回答的問題。為了在SQuAD2.0做到更好，系統(tǒng)不僅必須在可能的情況下回答問題，而且還必須確定段落中什么時(shí)候不支持回答并避免回答。

ALBERT使用參數(shù)降低技術(shù)來減少內(nèi)存消耗并提高BERT的訓(xùn)練速度。
論文寫道：“我們提出的方法使得模型的規(guī)模比原來的BERT要好得多。我們還使用了一種自我監(jiān)督的缺失，這種缺失側(cè)重于對(duì)句子間連貫進(jìn)行建模，并表明其始終有助于下游任務(wù)的多句輸入。”

據(jù)了解，這種技術(shù)在互聯(lián)網(wǎng)上閱讀大量文本并提供連貫答案方面有著顯著的應(yīng)用，這可以為搜索引擎來帶來一個(gè)明顯的好處。

來源 | cnBeta.COM