谷歌又出量子計算新成果，這次用上了深度強(qiáng)化學(xué)習(xí)！
日前，谷歌在 Nature 合作期刊《npj Quantum Information》上發(fā)表了一篇論文，提出結(jié)合深度強(qiáng)化學(xué)習(xí)的方法來實(shí)現(xiàn)通用量子控制，從而能夠極大地提高量子計算機(jī)的計算能力。谷歌也在官方博客上發(fā)表文章介紹了這項工作。
- 論文下載地址：https://www.nature.com/articles/s41534-019-0141-3.pdf
實(shí)現(xiàn)近期量子計算機(jī)的主要挑戰(zhàn)之一與其最基本的組成有關(guān)：量子比特。量子位可以與任何攜帶與自身能量相近的東西交互，包括雜散光子（如不需要的電磁場）、聲子（量子設(shè)備的機(jī)械性振蕩）或量子虧損（制造期間所形成的芯片基板中的不規(guī)則性），其中，量子虧損會不可預(yù)測地改變量子比特本身的狀態(tài)。
而使問題進(jìn)一步復(fù)雜化的是，用于控制量子比特的工具帶來了許多挑戰(zhàn)。研究者通過經(jīng)典的控制方式來操作和讀取量子比特：模擬信號以電磁場的形式耦合到其中嵌入了量子比特的物理基底，例如超導(dǎo)電路。這些控制電子設(shè)備中的缺陷（會造成白噪聲）、來自外部輻射源的干擾以及數(shù)模轉(zhuǎn)換器的波動會引入更多的隨機(jī)誤差，從而降低量子線路的性能。這些現(xiàn)實(shí)問題都會影響計算的保真度，因此限制了近期量子設(shè)備的應(yīng)用。
為了提高量子計算機(jī)的計算能力，并為實(shí)現(xiàn)大規(guī)模量子計算鋪路，就必須首先建立能夠準(zhǔn)確描述這些實(shí)驗(yàn)性問題的物理模型。
谷歌在 Nature 合作期刊《npj Quantum Information》上發(fā)表的《通過深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)通用量子控制》（Universal Quantum Control through Deep Reinforcement Learning）論文中，提出了一種使用深度強(qiáng)化學(xué)習(xí)生成的新的量子控制框架，其中可以通過單個控制成本函數(shù)來概括量子可控制優(yōu)化中的各類實(shí)際問題。與標(biāo)準(zhǔn)隨機(jī)梯度下降的解決方案相比，該框架可將量子邏輯門的平均誤差最多降低兩個數(shù)量級，并且大幅降低了來自最優(yōu)門生成的副本的門時間。這一結(jié)果為使用近期量子設(shè)備來開展量子仿真、量子化學(xué)和量子霸權(quán)測試開啟了更加廣闊的應(yīng)用空間。
這種新的量子控制范式，其創(chuàng)新之處在于對量子控制函數(shù)的改進(jìn)以及提出的基于深度強(qiáng)化學(xué)習(xí)的高效優(yōu)化方法。
為了創(chuàng)建一個全面的成本函數(shù)，首先需要為實(shí)際的量子控制過程創(chuàng)建一個物理模型，基于該模型，我們能夠可靠地預(yù)測誤差量。對量子計算的準(zhǔn)確性最不利的誤差之一就是泄漏：在計算過程中損失的量子信息量。這種信息泄漏通常發(fā)生在量子比特的量子態(tài)被激發(fā)為較高能態(tài)或通過自發(fā)輻射衰退成較低能態(tài)時。泄漏誤差不僅會損失有用的量子信息，而且還會降低「量子性」，并最終使量子計算機(jī)的性能降低得與經(jīng)典計算機(jī)差不多。
在量子計算過程中準(zhǔn)確地評估泄漏信息的常見做法是，一開始就模擬整個計算。然而，這并不利于達(dá)成構(gòu)建大規(guī)模量子計算機(jī)的目的，因?yàn)榱孔佑嬎銠C(jī)的優(yōu)勢就在于它們能夠執(zhí)行經(jīng)典系統(tǒng)所無法執(zhí)行的計算。谷歌研究人員通過使用改進(jìn)后的物理模型，能夠讓通用的成本函數(shù)對逐漸增加的泄漏誤差、控制邊界條件的違背情況、總的門時間和門保真度進(jìn)行聯(lián)合優(yōu)化。
創(chuàng)建了新的量子控制成本函數(shù)后，下一步就是應(yīng)用高效的優(yōu)化工具將該函數(shù)最小化。經(jīng)證實(shí)，現(xiàn)有的優(yōu)化方法無法找到對于控制波動同樣具有魯棒性的令人滿意的高保真度解決方案。相反地，谷歌研究人員則采用同步策略的深度強(qiáng)化學(xué)習(xí)（RL）方法，即置信域強(qiáng)化學(xué)習(xí)（Trusted-Region RL），因?yàn)樵摲椒ㄔ谒谢鶞?zhǔn)問題中均表現(xiàn)出良好的性能，對樣本噪聲具有固有的魯棒性，并且能夠優(yōu)化有著數(shù)億個控制參數(shù)的數(shù)百種高難度的控制問題。
這種同步策略強(qiáng)化學(xué)習(xí)與先前研究的異步策略強(qiáng)化學(xué)習(xí)方法之間的顯著差異在于，其對控制策略的表示獨(dú)立于控制成本。另一方面，例如 Q 學(xué)習(xí)等異步策略強(qiáng)化學(xué)習(xí)使用單個神經(jīng)網(wǎng)絡(luò)（NN）來表示控制軌跡和相關(guān)的獎勵，其中控制軌跡指定要耦合到不同時間步長的量子比特的控制信號，而相關(guān)的獎勵則評估量子控制當(dāng)前步長的好壞。
同步策略強(qiáng)化學(xué)習(xí)引人關(guān)注的一項能力在于：能夠在控制軌跡中利用非本地特征。當(dāng)控制領(lǐng)域是高維且包含大量組合的非全局解決方案時，這種能力就變得至關(guān)重要，而對于量子系統(tǒng)而言，這種情況經(jīng)常發(fā)生。
研究人員將控制軌跡編碼為一個完全連接的三層神經(jīng)網(wǎng)絡(luò)，即策略 NN，同時將控制成本函數(shù)編碼為第二個神經(jīng)網(wǎng)絡(luò)（值 NN），后者可以對折扣未來獎勵（Discounted Future Reward）進(jìn)行編碼。強(qiáng)化學(xué)習(xí)智能體在模擬現(xiàn)實(shí)中的噪音控制驅(qū)動的隨機(jī)環(huán)境下訓(xùn)練這兩個神經(jīng)網(wǎng)絡(luò)，獲得了魯棒的控制解決方案。此外，他們還為一組連續(xù)參數(shù)化的兩位量子門提供了控制解決方案，這對于量子化學(xué)應(yīng)用而言很重要，不過，使用傳統(tǒng)的通用量子門集實(shí)現(xiàn)這一操作，成本也很高。
谷歌研究人員使用這一新框架進(jìn)行的數(shù)值模擬結(jié)果表明，與通用量子門集的傳統(tǒng)方法相比，該方法將量子門誤差減少了 100 倍，與此同時，還為一系列連續(xù)參數(shù)化的模擬量子門將門時間減少了平均一個數(shù)量級。
這項工作凸顯了使用創(chuàng)新性機(jī)器學(xué)習(xí)技術(shù)和能夠利用通用量子控制方案的靈活性和附加計算能力的近期量子算法的重要性。進(jìn)一步，該領(lǐng)域的研究者還需要做更多的實(shí)驗(yàn)來將機(jī)器學(xué)習(xí)技術(shù)（就比如說我們在這項工作中開發(fā)的技術(shù)）整合到實(shí)際的量子計算過程中，從而利用機(jī)器學(xué)習(xí)來充分提高量子計算機(jī)的計算能力。
來源 | 雷鋒網(wǎng)
