即將過去的 2021 年，又是跌宕起伏的一年。疫情仍沒有結束的苗頭，缺芯造成的供應鏈中斷此起彼伏，與此同時，數字化、智能化轉型已是大勢所趨。全球企業和機構在不斷學會適應“新常態”，并從中捕捉新的商業機會。

2021 年, 人工智能領域依然熱潮洶涌。AphaFold2 成功預測 98%蛋白質結構，預訓練大模型迎來大爆發，自動駕駛邁入商業化試點探索新階段，元宇宙概念東風勁吹，首個關于 AI 倫理的全球協議通過，商湯科技即將摘得“AI 第一股”... 前沿技術突破令人欣喜，落地應用“潤物細無聲”般深入各行業，業界也開始正視人工智能的問題和挑戰。

在歲末年初之際，InfoQ 采訪了眾多行業專家，回顧了 2021 年人工智能大模型、深度學習框架、 NLP、智能語音、自動駕駛、知識圖譜等各項 AI 技術的發展情況，并展望了未來一年可能的技術趨勢。

2021 年度 AI 技術突破

人工智能預測蛋白質結構

12 月 15 日，Nature 發布了《2021 年十大科學新聞》；12 月 17 日，Science 緊隨其后，公布了《2021 年度十大科學突破》。Nature 和 Science 都將「人工智能預測蛋白質結構」評為本年度最重要的發現，Science 更是將其列為“2021 年十大科學突破進展”之首。

長期以來，蛋白質結構的預測一直是生物學領域的研究熱點和難點。傳統的蛋白質結構探測方法主要有三種：X 射線晶體學、核磁共振和冷凍電鏡。但這些方法成本較高，研究周期漫長，且進展有限。

人工智能為這一困擾生物學界數十年的難題按下了快進鍵。

今年 7 月，蛋白結構兩大 AI 預測算法 —— DeepMind 的 AphaFold2 和華盛頓大學等機構研發的 RoseTTAFold 相繼開源。

AphaFold2“解鎖”98%人類蛋白質組

7 月 16 日，DeepMind 在 Nature 發表論文，宣布已利用 Alpha Fold2 預測了 35 萬種蛋白質結構，涵蓋了 98.5%的人類蛋白質組，及其他 20 種生物幾乎完整的蛋白質組。研究團隊還公布了 AlphaFold2 的開源代碼和技術細節。

RoseTTAFold 可十分鐘內計算出蛋白質結構

同日，華盛頓大學蛋白設計研究所 David Baker 教授課題組及其他合作機構在 Science 上發表論文 ，公布了其開源蛋白質預測工具 RoseTTAFold 的研究結果。研究團隊探索了結合相關思想的網絡架構，并通過三軌網絡獲得了最佳性能。三軌網絡產生的結構預測精度接近 CASP14 中的 DeepMind 團隊的 AlphaFold2，且速度更快、所需計算機處理能力更低。僅用一臺游戲計算機，在短短十分鐘內就能可靠地計算出蛋白質結構。

其他研究進展

8 月，中國研究人員使用 Alpha Fold2 繪制了近 200 種與 DNA 結合的蛋白質結構圖。11 月，德國和美國的研究人員利用 Alpha Fold2 和冷凍電鏡繪制了核孔復合物的結構圖。12 月 22 日，深勢科技推出了蛋白結構預測工具 Uni-Fold，在國內首次復現谷歌 Alphafold2 全規模訓練并開源訓練、推理代碼。

AI 技術 2021 年發展總結與展望

人工智能邁向“煉大模型”階段

今年是超大規模預訓練模型的爆發之年。

去年，GPT-3 橫空出世，這個具有 1750 億參數規模的預訓練模型所表現出來的零樣本與小樣本學習能力刷新了人們的認知，也引爆了 2021 年 AI 大模型研究的熱潮。

谷歌、微軟、英偉達、智源人工智能研究院、阿里、百度、浪潮等國內外科技巨頭和機構紛紛展開大模型研究和探索。

超大規模預訓練模型的“軍備競賽”

2021 年 1 月，Google 推出的 Switch Transformer 模型以高達 1.6 萬億的參數量打破了 GPT-3 作為最大 AI 模型的統治地位，成為史上首個萬億級語言模型。

國內研究機構也不甘示弱。今年 6 月，北京智源人工智能研究院發布了超大規模智能模型“悟道 2.0”，達到 1.75 萬億參數，超過 Switch Transformer 成為全球最大的預訓練模型。

值得一提的是，今年國產化大模型研發工作進展飛速，華為、浪潮、阿里、百度等都發布了自研的大模型。

浪潮人工智能研究院首席研究員吳韶華向 InfoQ 表示，現在業界提高模型參數量有兩種技術路線，產生兩種不同的模型結構，一種是單體模型，一種是混合模型。如浪潮的源大模型，華為的盤古大模型、百度的文心大模型、英偉達聯合微軟發布的自然語言生成模型 MT-NLG 等走的都是單體模型路線；而智源的悟道模型、阿里 M6 等走的是混合模型路線。

預訓練模型技術新進展

OPPO 小布智能中心、 NLP 算法工程師曾冠榮認為，預訓練模型在今年取得的重要技術進展有：

• 知識表示和學習機理進一步創新突破 隨著對預訓練模型的深入理解，預訓練模型的知識學習和表征的機理逐步明確，人們得以更加順利地往模型里注入需要其學習的知識，在這些知識的加持下，對復雜任務的應對能力得到了大幅提升。

• 對比學習、自監督和知識增強

以對比學習為中心，多種增強方法為工具的方式能進一步提升預訓練模型的語義理解和表征能力，增強方法的深入讓模型自監督成為可能，讓對比學習對樣本，尤其是正樣本的依賴降低，數據依賴的降低勢必讓模型對少樣本甚至無樣本任務的適應性提升，模型能更好地完成這類型的任務，這將讓預訓練模型落地的成本再降低一個層次。

降低 AI 規模化落地的門檻

預訓練大模型降低了 AI 應用的門檻，解決了 AI 應用的兩個難題：數據和行業知識。它既不需要大量的標注數據，又保障了基礎底座。

在預訓練模型的業務定制優化和應用方面，曾冠榮認為，從第一個預訓練語言模型 BERT 發布至今，已在多個熱門任務下得到應用，逐步從一種“潮流”變成前沿技術的“基本操作”，如預訓練模型已成為機器翻譯領域的基礎關鍵性技術。此外，預訓練模型也成為大系統中的一部分，發揮著其語義理解的優勢。

無論是業界還是科研，對預訓練模型的使用方式逐漸靈活，能從預訓練模型中拆解出適合任務的部分并組裝到自己的實際任務模型中。

時至今日，對預訓練大模型的性能優化仍未終止，在學界，仍有大量的研究在預訓練模型的落地能力上努力，壓縮、剪枝、蒸餾的工作仍起到重要作用。不止于算法本身，編譯、引擎、硬件等方面的優化也在大步邁進。

小結和展望

吳韶華認為，整體而言，現在大規模預訓練模型的研究，包括模型結構的演進和落地仍處在探索階段，各家的持續探索正在不斷擴大對大規模預訓練模型的認知邊界。

“大規模預訓練模型是人工智能的最新技術高地，是對海量數據、高性能計算和學習理論原始創新的全方位考驗”，清華大學教授、智源大模型技術委員會成員劉知遠在接受 InfoQ 采訪時展望了明年大模型的發展趨勢。

劉知遠表示，他明年將重點關注兩個層面的問題：

一是人工智能技術正呈現“大一統”趨勢，如預訓練模型在 Prompt Tuning 等技術的支持下可用于很多不同的任務，再如 Transformer 模型框架正在從自然語言處理擴展到計算機視覺模態，接下來我們也許會看到更多的從框架、模型和任務等方面推進人工智能技術趨向統一的工作;另一個問題是，隨著預訓練模型規模增大，如何更好更高效地實現任務適配和推理計算，將是讓大模型飛入千家萬戶的重要技術。

國產深度學習框架不再是“技術的跟隨者”

過去十年涌現了大量的 AI 算法和應用，這背后都離不開開源深度學習框架提供的支持。

開源深度學習框架是 AI 算法研發和 AI 應用落地的“腳手架”，幫助 AI 研究員和開發者大幅降低算法研發門檻，提升研發效率。

IDC 的調研顯示，中國人工智能領域 90%以上的產品都使用了開源的框架、庫或者其他工具包。

新進展，新趨勢

深度學習框架的發展核心是跟隨著深度學習領域的發展而前進的。

開源深度學習框架曠視天元 MegEngine 研發負責人許欣然在接受 InfoQ 采訪時，分享了過去這一年他所觀察到的深度學習的新進展：

（1）以 ViT、Swin 為代表的 Transformer 類模型開始向 NLP 以外的領域進軍，在更多場景中展現威力，讓“大”模型的趨勢愈演愈烈。

相應的，深度學習框架也在訓練大模型方面進展頗多（如 DeepSpeed+ZeRO），多種混合并行方案層出不窮。無論是深度學習框架還是硬件廠商，都在思考 Transformer 是否是會長期固定的計算 pattern。

（2）A100 這類顯卡的誕生，催生了一股從動態圖回到靜態圖的趨勢。本身對動態圖更友好的框架也紛紛嘗試通過編譯的方式提升效率，比如 PyTorch 的 LazyTensor、Jax 的 XLA。 很多國產框架也在嘗試通過動靜結合的方式提升效率，比如曠視天元 MegEngine 推出的 Tensor Interpreter、MindSpore 的 Python 代碼轉靜態圖的方案等。

此外，MLIR 和 TVM 這兩個深度學習編譯器領域的燈塔都在快速增長，如何靠機器做好編譯也正成為各個深度學習框架研發的主要方向。同時隨著深度學習方法的持續發展，也誕生了更多的新興框架，如圖神經網絡領域的 DGL。

技術自立之路

近兩年，國產深度學習框架陸續開源且發展迅速，逐漸在開源框架市場占有一席之地。

在技術研發方面，國產框架不再是技術的“跟隨者”的角色，研發出了很多領先的創新點，比如 MegEngine 的 DTR 技術、OneFlow 的 SBP 并行方案和 MindSpore 的 AKG 等等。此外，在功能、代碼質量和文檔等方面都達到了很高的水準。

在開源生態建設方面，各家也都持續投入，通過開源社區扶植、產學研合作等方式，助力國產開源生態的發展和人才培養。

業界現有的主流深度學習框架多來自國外大廠，目前，國內企業自研的深度學習框架還沒有哪一款進階成為國際主流的學習框架。

許欣然坦言，國產深度學習框架在生態建設上還有很長的路要走，既需要持續投入、不斷完善生態建設，也需要找到差異化的技術競爭點，充分結合我國國情和國產硬件，發揮好自身的技術優勢和更好的生態洞察力。

研發難點

現階段，在深度學習框架方面，業界普遍面臨的研發難點主要體現在以下三個方面：

（1）在訓練側，NPU 開始入場，不少廠商已經做出自己的訓練芯片，如何高效對接訓練 NPU 仍待解決；

（2）學術研究發展迅速，框架技術需要持續跟進，這為框架研發帶來了一定挑戰。接下來一段時間會持續一段大 Transformer 的趨勢，那么，下一個趨勢是什么？

（3）算力提升速度更多地開始依賴 DSA 硬件，只是單純的手寫 kernel 已難以支撐，框架需要更多的編譯技術、domain knowledge 才能不斷提升訓練效率。 隨著 NPU、GPU 等芯片的快速迭代，包括 MLIR、XLA、TVM 在內的編譯技術將受到更多關注。

將更好地支持大模型訓練

隨著大模型的持續火熱，預期深度學習框架將在并行策略、重計算等能力上不斷提升，以更好地支持大模型的訓練。

同時，目前訓練大模型仍需消耗大量資源，如何依靠深度學習框架的力量節省計算資源，甚至在更小規模上完成任務，將是一個值得探索的技術方向。

智能語音這一年：技術突破不斷，工業落地加速

語?領域的?規模預訓練模型層出不窮

字節跳動 AILAB 語?技術總監?澤君向 InfoQ 表示，2021 年度，智能語音技術的演進呈現出三個層面的趨勢：

（1）基礎建模技術在打破領域邊界加速融合，如 Transformer 系列模型在?然語?、視覺和語?領域都展現出?致性的優勢，頗有“?統江湖”的意思。

（2) 超?規模?監督學習技術（self-supervised learning）在上述多個領域展現出很強的通?學習能?，即在海量?標簽數據上訓練?規模通?預訓練模型，然后?少量有標簽數據做精細調整就能取得?常好的效果。

過去?年里，基于這種兩段訓練模式的超?模型不斷刷新各項學術算法競賽紀錄，在?業界也成為?種模型訓練和調優范式。

最近?年，Facebook、亞?遜、?歌和微軟等公司的研究學者陸續提出語?領域的?規模預訓練模型， 如 Wav2vec、 HuBERT、 DecoAR、 BigSSL、WavLM 等。

（3）除基礎技術外，在不同應?場合場景下，多個領域模態的技術也在快速相互融合，形成視覺、語?和語義結合的多模態綜合系統，如虛擬數字?。

工業界落地加速

整體來說，智能語?技術在?業界的落地不斷加速，來?業務和技術兩個?向的合?共同作?牽引和驅動應?落地。

從應?場景的牽引看，???如短中?視頻業務，在全球仍保持著較?的增?速度，視頻內容創作者和內容消費者活躍度很?；另???，疫情令居家辦公和遠程協作的需求增?，智能語?技術能在視頻會議中提供通信增強和語?識別等關鍵能?，為參會者提供更佳的會議體驗；以智能汽?和虛擬現實 VR/AR 為代表的新場景不斷出現，需要更?便、更低延遲、更沉浸式的語?交互體驗。

從核?技術的驅動看，基礎模型改進和?監督技術不斷提升著模型性能上限，同時多模態技術融合使得技術?案的能?越來越強，可?持更復雜的場景并帶來更好的體驗。

商業化難點主要在于商業模式選擇

馬澤君認為，現階段，智能語音商業化的難點主要是商業模式探索和路線選擇的問題，具體包括如何更好地滿?需求，控制成本以及保證交付質量。

???，AI 商業模式探索需要始終圍繞需求展開，提升模型效果和在真實場景中解決用戶或客戶的問題不能等同。解決實際問題需要 AI 研發?員深?業務場景，理解需求和條件限制，找到合理的產品技術?案，并不斷思考和抽象功能和技術，沉淀通?的技術解決?案，探索驗證可規模化的標準產品，降低定制周期和代價。

另???，AI 技術研發成本?常?，如何通過優化算法低對領域數據依賴，建設?動化平臺降低??消耗和提升研發流程效率對成本控制?常關鍵。

最后還要重視交付質量和售后服務。只有同時做好上述三個環節，才能完成從需求到交付到服務的整個鏈路，從而奠定規模商業化的基礎。

端到端和預訓練等技術仍然值得關注

• 端到端序列建模技術

（1）準確率和推理速度更上?層樓的端到端技術值得期待，其中對?機制（alignment

mechanism）是端到端序列建模的關鍵。字節跳動 AILAB 正在探索的連續整合發放 CIF 模型（Continuous Integrate-and-Fire）是一種創新的序列端到端建模對齊機制，具有軟對齊、計算代價低和容易擴展的特性。

（2）在端側設備上的端到端語?識別和合成技術落地值得關注，特別是輕量級、低功耗、?準確度和定制靈活的端到端語?識別和合成技術。

（3）端到端語?識別技術?向的熱詞定制和領域?適應技術?常可能有重?進展。

• ?監督預訓練技術 （1）超?數據規模和模型 size 的語??監督預訓練技術值得關注，語??監督預訓練的 BERT 已經出現(Wav2vec2.0/Hubert)， 語??監督預訓練的 GPT-3 很可能在 2022 年到來。

（2）多模態語??監督預訓練技術也?常吸引?，該技術可能會極?地提升預訓練模型的表征能?，從?帶來?監督預訓練技術更?范圍的落地應?。

（3）無監督預訓練技術在語?合成、?樂分類、?樂識別領域的應?同樣值得關注，借助?監督預訓練的聲學?頻表征，可以有效提升下游任務的性能。

• 語?對抗攻擊與防御技術。 （1）語?領域的對抗攻擊，從攻擊?段上來看，將從當前的?盒攻擊，進?步進化成?盒攻擊；從攻擊內容來看，將從當前流?的 untarget 攻擊進化成 target 攻擊。

群雄逐鹿，誰能贏得自動駕駛之戰？

2021 年，自動駕駛領域格外熱鬧。

造車熱

今年，互聯網大廠、新造車勢力和傳統企業紛紛進場布局自動駕駛，可以說能下場的巨頭們基本上都下場造車了，自動駕駛“戰場”群雄逐鹿，不知未來誰執牛耳？

在資本市場上，自動駕駛也備受追捧。據零壹智庫分析，繼 2016-2018 年熱潮之后，2021 年自動駕駛領域迎來第二次投資熱潮。今年 11 月，Momenta 完成超 10 億美元 C 輪系列融資，創下本年度自動駕駛領域最大規模融資記錄。

商業化前夜

Robotaxi 是自動駕駛最有價值的商業模式，現階段，很多自動駕駛技術公司都在做 Robotaxi 的嘗試。今年，很多自動駕駛車輛從封閉路測場地走向真實道路。百度、小馬智行、文遠知行、等企業已實現面向公眾的示范運營，開始探索商業化。11 月，國內首個自動駕駛出行服務商業化試點在北京正式啟動，百度和小馬智行成為首批獲許開展商業化試點的企業。業內人士認為，這標志著國內自動駕駛領域從測試示范邁入商業化試點探索新階段。

今年，自動駕駛卡車賽道也格外火熱，量產和商業化均提速，頭部玩家走向上市。近日，毫末智行董事長張凱在接受 InfoQ 等媒體采訪時談到了自動駕駛卡車的發展，他表示，相對乘用車輔助自動駕駛運行場景的復雜性，RoboTruck 具有一些優勢，例如長時間運行在較暢通的高速公路上，運行場景相對簡單。現階段，RoboTruck 走得是類似于乘用車般從輔助駕駛到無人駕駛漸進式的發展路線。從發展前景看，Robotruck 具備商業化閉環的可行性，但自動駕駛系統的量產將會是一個坎。

毫末智行 COO 侯軍認為，2021 年是自動駕駛的爆發之年。一方面，得益于技術的持續進步、市場需求、政策加持、資本看好等各方面因素，高級別自動駕駛在落地探索方面，已有了初步的成果；另一方面，智能駕駛商業化落地也在快速滲透，開始走向量產時代。

2022，這些技術將是下半場競爭勝負的關鍵

根據張凱的預判，“2022 年將是自動駕駛行業發展最為關鍵的一年。乘用車輔助駕駛領域的競爭將會正式進入下半場，而下半場競爭的場景將會是城市開放場景。其他場景的自動駕駛也將正式進入商業化元年”。

張凱認為，2022 年，多項自動駕駛技術值得關注。

（1）數據智能將成為自動駕駛量產決勝的關鍵。 數據智能體系是自動駕駛商業化閉環的關鍵所在，搭建高效、低成本的數據智能體系有助于推動自動駕駛系統不斷迭代前行。

（2）Transformer 與 CNN 技術深度融合，將會成為自動駕駛算法整合的粘合劑。Transformer 技術幫助自動駕駛感知系統理解環境語義更深刻，與 CNN 技術深度融合能解決 AI 大模型量產部署的難題，這是自動駕駛行業下半場競爭的關鍵技術。

（3）大算力計算平臺將在 2022 年正式量產落地，Transformer 技術與 ONESTAGE CNN 技術都需要大算力計算平臺做支撐。

（4）隨著自動駕駛系統的量產和規模化，激光雷達與機器視覺組成的 AI 感知技術，將與大算力計算平臺深度融合，這將大幅提升自動駕駛感知、認知模塊的運行效率。

NLP，黃金時代持續？

這幾年，NLP 處于快速發展階段。去年，多位 NLP 專家評判，NLP 迎來了大爆發的黃金時代。那么今年，NLP 的發展情況如何？

基于提示的微調技術迅速流行

作業幫產研中心蔣宏飛博士告訴 InfoQ，今年基于提示的微調 (prompt-based tuning）的技術迅速流行起來，這是一種人類知識和大模型較高效的結合模式。該技術是今年較值得關注的新進展。

“今年 NLP 在基礎模型方面沒有大的突破。預訓練模型方面，今年涌現了很多很大的模型，但整體上同質化也較嚴重，對于工業界實踐效果來講，往往按照‘奧卡姆剃刀’原則，傾向于使用最適當的如 Bert 往往就夠了”蔣宏飛表示。

現階段，NLP 技術在發展過程中還存在不少技術挑戰，其中之一便是很難獲取到大量高質量的標注數據。深度學習依賴大規模標注數據，對于語音識別、圖像處理等感知類任務，標注數據相對容易，但 NLP 往往是認識類任務，人的理解都有主觀性，且任務和領域眾多，導致大規模語料標注的時間成本和人力成本都很大。

與 CV、語音識別相比，NLP 項目在業務中落地往往較慢

NLP 落地項目往往和業務強相關。不像圖像識別、語音識別，通用能力在具體業務也有大量落地場景，業務和算法協作邊界和指標相對好確定。而 NLP 項目在業務中落地往往會比較慢，需要上下游不斷深度磨合對齊。

NLP 解決的是最難的認知智能，而人類語言的歧義性、復雜性、動態性令其挑戰重重。但 NLP 商業化落地必須面對這些本質的難題，所以不太可能有通用性的“一招吃遍天”的技術方案。

“盡管現在的預訓練模型一直在往這個方向努力，但我認為起碼目前這種 Transformer 式的，或者更通用地說，DNN 這種蜂巢智能式的技術范式不太行。所以，大家能看到也有不少研究學者在知識圖譜類的各種其他范式上在做努力”蔣宏飛說。

通用性的模型既然走不通，那垂類單一具體場景任務為什么也不能快速搭建？這個問題又涉及到數據的問題。數據標準的對齊、數據標注一致且高效、數據覆蓋度和均衡度、長尾數據的處理、數據動態漂移等都是 NLP 從業者每天面對的麻煩事。而相關的方法論和基礎工具還很不系統、不齊備，這是未來想達到快速商業化目的前必須打好的基礎。

明年，NLP 將在哪些場景實現規模化落地？

2022 年，NLP 的大規模化應用可能會出現在以下行業出現突破：

• 教育智能化

• 場景化高標準機器輔助翻譯，如專業領域文檔翻譯、會議實時翻譯等。

• 服務運營智能化：培訓、銷售、營銷、服務等場景的智能化。

• 外文學習/寫作智能輔助，參考 Grammarly 和 Duolingo 的快速發展。

• 醫療智能化。文本廣泛存在于電子病歷、臨床試驗報告、醫學產品說明書、醫學文獻中。分析、挖掘和利用這些文本，有大量且能直接使用的場景，可能會有突破式發展。

• 代碼智能分析。代碼 bug 識別、代碼智能優化等。

2022 年，NLP 值得關注的技術點

• 基于提示的微調 (prompt-based tuning)的技術。

• 具有邏輯推理的文本生成技術、具有良好控制性以及一致性的文本生成技術。文本生成要在嚴肅場景用起來就必須滿足這些，否則只能應用在娛樂場景。

• 多模態技術。如 NLP+CV、 NLP + Image、 NLP+ Speech 等。

• 主動學習、數據增強等。NLP 大規模快速落地時的很多痛點需要這些技術來緩解。

• 代碼智能。代碼問題識別、代碼翻譯、自動代碼優化、代碼工作量評估(如 Merico 的方案)。

元宇宙概念大火，計算機視覺是基石技術之一

回首過去的一年，OPPO AI 技術產品化專家（語音語義和計算機視覺以及多模態融合方向）何苗總結了計算機視覺在工業界和學術界的進展。

具身智能，從被動式 AI 轉向主動式人工智能

具身智能（embodied AI），強調智能體（agent）要與真實世界進行交互，并通過多模態的交互 — 不僅僅是讓 AI 學習提取視覺上的高維特征，被“輸入”的認知世界，而是通過“眼耳鼻舌身意”六根來主動獲取物理世界的真實反饋，通過反饋進一步讓智能體學習并使其更“智能”、乃至“進化”。

今年 2 月，李飛飛提出了一套新的計算框架—— DERL（deep evolution reinforcement learning）深度進化強化學習。她提到了生物進化論與智能體進化的關系，并借鑒了進化論的理論應用于假設的智能體的進化學習中。

進入元宇宙，需要智能感知和交互這張門票

今年，元宇宙概念大火，各家紛紛入局。

Facebook 極為推崇元宇宙，為了表示投入元宇宙的決心，今年，Facebook 改名為 meta，并宣布 “all in 元宇宙”。

扎克伯格提出云宇宙需要具備八要素，其中之一是 Presence 開發平臺/套件。Presence 是 meta 為 Oculus VR 頭顯開發者提供的元宇宙基礎開發套件，提供的即為基于計算機視覺和智能語音技術的工具集，分別是 insight sdk、interaction sdk 和 voice sdk。

進入元宇宙需要智能感知與交互技術這張門票，而這張門票里的視覺和語音技術是最重要的基石。

趨勢一：面向內容生成的 AIGC

元宇宙世界需要孿生大量現實世界的物體或是對于現實世界的人物進行重建，而這些海量的重建必然不能按照傳統游戲世界中的方法，由 CG 工程師一個個手工制作，這樣效率遠遠無法滿足實際場景的需求。因此面向內容生成的 AIGC（算法層面）是必要的。相關技術方向包括：圖像超分、domain 遷移、外推、類似 CLIP（對比式語言圖像預訓練模型，可以從自然語言監督中有效學習視覺模型）的隱式神經表示 — 通過文字描述來生成圖像等多模態的（CV+NLP）等相關技術。

趨勢二：SCV 合成

虛擬現實引擎有專門的生成合成數據的組件，這些合成數據不僅美觀，而且有助于訓練更好的算法。

生成/合成的數據不僅是元宇宙的必備要素，也是訓練模型的重要原料。如果有合適的工具來構建數據集，就可省去繁瑣的給數據手工打標的過程，更好地對計算機視覺算法進行開發和訓練。

知名數據分析公司 Gartner 認為在未來 3 年中，合成數據將比真實數據更占優勢。在合成計算機視覺（SCV）中，我們使用虛擬現實引擎訓練計算機視覺模型，并將訓練好的模型部署到現實世界。

制約知識圖譜商業化落地的主要問題在于標準化

重要技術進展

知識圖譜技術在過去這一年取得的重要技術進展有：

知識抽取方面，多模態信息抽取在同時處理文本和視頻方面取得了進展；知識表示方面，自注意力機制的知識表示方法越來越走向實用；知識應用方面，很多行業開始構建行業知識庫，用于各類下游任務。

明略科技資深科學家張杰在接受 InfoQ 采訪時指出，現階段，在知識圖譜方面，業界普遍面臨的研發難點主要體現在兩個方面：算法方面，針對非結構化數據的信息抽取和實體對齊的準確度難以保障直接商用，需人工校驗；工程方面，行業圖譜構建成本高，需要大量的人工標注，另外構建進度也不是一蹴而就，需要業務專家不斷運維。

張杰預測，2022 年，領域預訓練語言模型和 Prompt 在知識圖譜中的應用，有望使得信息抽取環節得到進一步提升。針對技能性知識的抽取技術和多模態抽取技術，商用前景廣闊。

應用落地進展

2021 年，知識圖譜技術的應用落地，在 ToC 場景中仍主要用于搜索、推薦的提升，在 ToB 場景中集中在可視化上。

張杰認為，現階段，制約知識圖譜商業化落地的主要因素在于標準化，行業圖譜的 schema 很難在企業內部大范圍內達成認知的一致性，影響了后續的標注、抽取、應用。

2022 年，知識圖譜技術的大規模化應用可能會在制造業出現突破，制造業的知識密度高、重視標準化，頭部企業重視數字化建設，積累了大量原始數據。

2022 年，值得關注的重要技術趨勢

人工智能工程化

近兩年，人工智能工程化（AI Engineering）格外受關注。在 Gartner 發布的 2021 年和 2022 年重要戰略技術趨勢中，人工智能工程化都被列入其中。人工智能工程化是一種實現人工智能模型操作化的綜合方法。

不久前，Gartner 高級研究總監高挺曾在接受 InfoQ 采訪時表示，AI 工程化本質上是 AI 在企業中大規模、全流程的落地過程，盡管目前大家現在對 AI 期待很高，但實際上 AI 目前的應用仍然是被低估的。因為，很多 AI 項目的價值只能體現在一些“點對點”的一次性的方案中。將 AI 大規模落地的工程化方法（包含 DataOps、ModelOps 和 DevOps）總和起來，便是“AI 的工程化”的一整套體系。

人工智能工程化對企業有很多好處，企業在進行人工智能落地的時候，落地效率、落地廣泛度會更高。

可以預見，人工智能工程化將會是未來 2-3 年需要持續關注的方向，人工智能工程化應該關注三大核心要點：數據運維、模型運維、開發運維。

Gartner 預測，到 2025 年，10%建立人工智能工程化最佳實踐的企業從其人工智能工作中產生的價值將至少比 90%未建立該實踐的企業高出三倍。

生成式 AI 漸成趨勢

生成式人工智能（Generative Artificial Intelligence）也被 Gartner 評為 2022 年重要戰略技術趨勢之一。

該機器學習方法從其數據中學習內容或對象，并運用數據生成全新、完全原創的實際工件。人們可以用 AI 來創造出一些新事物，如內容創作、創建軟件代碼、輔助藥物研發等。

近日，機器學習大牛吳恩達發文回顧了 AI 在 2021 年的四個重要進展，其中之一便是，AI 生成音頻內容呈現出主流化傾向。現在音樂家和電影制作人們，已經習慣于使用 AI 支持型音頻制作工具。

在國內的優酷、愛奇藝等視頻平臺，AI 也已經廣泛用于音、視頻的內容生產和創作中，如 AI 輔助視頻制作、智能字幕生成、智能翻譯、特效生成等。

Gartner 認為，未來一段時間內，AI 會逐漸從一個做判斷的機器變成一個做創造的機器。預計到 2025 年，生成式人工智能將占所有生成數據的 10%，而目前這一比例還不到 1%。

不過該技術還存在一定的爭議，如會被濫用于詐騙、欺詐、政治造謠、偽造身份等，存在道德和法律風險。

元宇宙，狂熱的新風口

2021 年，可能沒什么技術名詞比“元宇宙”熱度更高了。全球很多公司都在講元宇宙的概念，認為元宇宙是指向互聯網的“終極形態”。如今，移動互聯網的紅利已經見頂，不知道互聯網的盡頭是否會是元宇宙？

所謂元宇宙，是一個虛擬時空間的集合， 由一系列的增強現實（AR）， 虛擬現實（VR） 和互聯網（Internet）所組成。元宇宙的實現，仰賴一系列前沿技術作支撐，包括人工智能、VR/VR、5G、云計算、大數據、區塊鏈等基礎設施。

元宇宙中可以重點關注的細分賽道有 VR/AR 、游戲、社交、Metahuman 等。文娛基金易凱資本在其元宇宙報告中也表示，長期看好基于上述形態的底層技術公司。易凱資本預測，在未來十年，元宇宙概念將依舊集中于社交、游戲、內容等娛樂領域，到 2030 年會滲透到提升生產生活效率的領域。

寫在最后

總結人工智能在 2021 年的發展，涌現了不少激動人心的重大突破，人工智能也正在賦能、改變甚至顛覆許多行業。當然也仍有很多難點需要投入更多時間攻克。

近日，李彥宏對 AI 的未來發表評論：“人機共生”時代，中國將迎來 AI 黃金十年。而未來十年，AI 技術應用門檻將顯著降低，為各行各業的智能化轉型提供技術“大底座”。

人工智能發展已漸入深水區，期待明年以及之后的 10 年，人工智能能夠在技術和落地上取得更多進展，為下一個“黃金十年”而努力。

采訪嘉賓介紹（按姓名首字母排序）：

何苗，OPPO AI 技術產品化專家

侯軍，毫末智行 COO

蔣宏飛，作業幫產研中心

劉知遠，清華大學教授、智源大模型技術委員會成員

?澤君，字節跳動 AILAB 語?技術總監

吳韶華，浪潮人工智能研究院首席研究員

許欣然，曠視天元 MegEngine 研發負責人

曾冠榮，OPPO 小布智能中心、 NLP 算法工程師

張杰，明略科技資深科學家

張凱，毫末智行董事長

來源 | InfoQ