資訊

微軟刷新CoQA對話問答挑戰賽紀錄，模型性能達到人類同等水平

• 2019-05-15 14:37:37

來自微軟亞洲研究院（MSRA）自然語言處理（NLP）小組和微軟 Redmond 語言對話研究小組的一組研究人員目前在斯坦福大學組織的對話問答（COQA）挑戰中處于領先位置。在這一挑戰中，衡量機器的方法是其理解文本段落和回答會話中出現的一系列相互關聯的問題的能力大小。微軟目前是唯一一個在其模型性能上達到人類同等水平的團隊。

CoQA 是一個大型的會話問答數據集，由來自不同領域的一組文章上的會話問題組成。MSRA NLP 團隊使用斯坦福問答數據集（SQuAD）在單輪問答上達到了人類同等水平，這是一個新的里程碑。與 SQuAD 相比，CoQA 中的問題更具對話性，為了確保答案看起來自然，它可以是自由格式的文本。

CoQA 中的問題非常簡短，可以模仿人類的對話。此外，第一個問題之后的每個問題都是基于前面的問題的，這使得機器更難解析簡短的問題。例如，假設你問一個系統，「誰是微軟的創始人？」，當你繼續問第二個問題「他什么時候出生的？」時，你需要理解你仍然在談論和之前相同的話題。


為了更好地測試現有模型的泛化能力，CoQA 從收集了七個不同領域的數據：兒童故事、文學、初高中英語考試、新聞、維基百科、Reddit 和科學。前五個用于訓練、開發和測試集，后兩個僅用于測試集。CoQA 使用 F1 度量來評估性能。F1 度量衡量的是預測內容和真實答案答案之間的平均重疊詞。域內 F1 根據訓練集所在域的測試數據進行評分；域外 F1 根據不同域的測試數據進行評分?？偟?F1 度量值是整個測試集的最終得分。

微軟研究人員所采用的方法使用了一種特殊的策略，即利用從幾個相關任務中獲得的信息來改進目標機器閱讀理解（MRC）任務。在多階段、多任務、微調方法中，研究人員首先在多任務設置下從相關任務中學習 MRC 相關背景信息，然后對目標任務的模型進行微調。語言建模在這兩個階段都作為輔助任務使用，以幫助減少會話問答模型的過度擬合。實驗證明了該方法的有效性，其在 CoQA 挑戰中的強大性能也證明了這一點。


根據 CoQA 排行榜，微軟研究人員于 2019 年 3 月 29 日提交的系統得分達到 89.9/88.0/89.4，分別作為其領域內、領域外和整體 F1 分數。而在面對同一組會話問題和答案，人的表現得分為 89.4/87.4/88.8。

這一成就標志著搜索引擎（如 Bing）和智能助手（如 Cortana）在與人互動和以更自然的方式提供信息方面取得了重大進展，就像人們相互交流一樣。然而，一般的機器閱讀理解和問答仍然是自然語言處理中未解決的問題。為了進一步擴大機器理解和生成自然語言的能力邊界，團隊將繼續致力于生成更強大的預訓練模型。

via:https://www.microsoft.com/en-us/research/blog/machine-reading-systems-are-becoming-more-conversational/

來源 | 雷鋒網
作者 | 王雪佩