
?人腦能夠自組織地協同數百項認知功能,靈活適應復雜多變的環境。如何整合多尺度生物可塑性法則來構建具有生物合理性和計算高效性的神經網絡模型是類腦人工智能和計算神經科學領域共同關注和面臨的重要挑戰。
中國科學院自動化研究所類腦認知智能研究組歷時9年,打造全脈沖神經網絡的類腦認知智能引擎(Brain-inspired Cognitive Intelligence Engine,簡寫為BrainCog,中文名“智脈”),并進行全面開源開放,助力自然智能的計算本質探索和新一代人工智能的發展。
?
目前,智脈已正式開源部署至OpenI啟智社區,歡迎全球的研究人員共同努力、貢獻智慧,打造面向未來的人工智能,探索智能的計算本質。
歡迎大家訪問智脈開源社區主頁鏈接:
https://openi.pcl.ac.cn/BrainCogLab/braincog
?
智脈詳細的使用文檔也可訪問以下鏈接:
http://www.brain-cog.network/docs/
脈沖神經網絡(Spiking Neural Network, SNN)作為第三代神經網絡,從編碼方式、學習法則、信息傳遞和處理機制等多個角度模擬了生物腦,具有更強的生物可解釋性,更加適合建模大腦的各項認知功能。
另一方面,由于脈沖序列的稀疏表征,也使得脈沖神經網絡具有潛在的低能耗特征。現有的脈沖神經網絡平臺有的涉及到精細的生物神經元模型,大規模神經網絡模擬,神經網絡動力學等較為細節的腦認知功能和結構模擬,有的關注于生物突觸可塑性啟發的脈沖神經網絡建模,有的從深度學習領域借鑒經驗來提升深度脈沖神經網絡的性能。
已有框架并沒有能夠更好地整合共性,同時具備面向人工智能的高效學習與決策,以及對腦認知功能建模和腦結構模擬的能力。
而中國科學院自動化研究所類腦認知智能研究組認為,探索智能的計算本質與構建類腦人工智能的科學探索應深度融合,因此構建了類腦認知智能引擎“智脈”。
智脈致力于通過幾十年不懈的努力,探索智能的計算本質,為人工智能學者和創新者提供“智能的脈絡”,為未來AI打造“智慧的經脈”。
類腦認知智能引擎(BrainCog)“智脈”以多尺度生物可塑性原理為基礎,支持全脈沖神經網絡建模,具備腦啟發的人工智能模型以及腦功能和結構模擬能力。智脈為類腦人工智能和計算神經科學的研究者提供了一套完整的、系統化的接口組件。
智脈涵蓋了不同精細程度的神經元模型、多種脈沖編碼方式、豐富的突觸可塑性學習模型,以這些基本組件為基礎,實現了不同腦區及神經環路,并在此基礎上實現了不同類型的認知功能、對多個物種的生物腦進行了不同尺度的模擬。
智脈分別從類腦人工智能計算模型(目前發布約20個算法模型及源代碼)、腦結構和功能模擬(覆蓋鼠腦、猴腦、人腦模擬)方面提供了相當數量的應用案例,這為研發基于脈沖神經網絡的人工智能和計算神經科學研究提供了強有力的基礎設施。
智脈整合不同精細程度的神經元計算模型(IF、LIF、H-H、多房室神經元等)、豐富的類腦學習與可塑性法則(Hebb、STP、STDP、基于代理梯度的反向傳播等)、不同類型的神經網絡連接模式與編碼方式(頻率、時序、群體、量子編碼等);
基于脈沖神經網絡實現感知和學習、決策、運動控制、知識表征和推理、社會認知等五大類面向人工智能應用的智能模型,可以映射到28個關鍵功能性腦區;
類腦學習機制:結合局部和全局可塑性實現了更具生物合理性的類腦可塑性前饋反饋融合模型。基于BrainCog實現的具有生物合理性的時間空間調節算法,理論上與相同結構的人工神經網絡相比,只用約3%的能量就能達到有相當競爭力的分類精度。基于BrainCog構建的ANN-SNN轉換模型充分結合了反向傳播算法與脈沖神經網絡的優勢,使SNN能以其他算法1/10和1/50的仿真時間幾乎無損地完成圖像分類和目標檢測任務。由BrainCog支持的基于STDP算法的無監督脈沖神經網絡模型,借由具有生物可解釋性的優化算法和多種自適應機制,達到基于STDP無監督算法中的目前最好性能,同時實現了在極端少量樣本下相同模型結構下優于ANN 4%-5%的性能;
社會認知脈沖神經網絡模型賦能人形機器人通過鏡像測試自我感知實驗,使智能體幫助其他智能體避免潛在風險,表現出初步類道德行為;
對不同類型哺乳動物腦進行多尺度模擬,構建了包含不同類型點神經元的鼠腦模擬器、猴腦模擬器(12.1億神經元、1.3萬億突觸,1/5猴腦規模)、人腦模擬器(規模達8.6億脈沖神經元,2.5 萬億突觸,1/100人腦規模);
基于智脈BrainCog的創生(BORN)人工智能引擎展示基于情感識別的樂曲創作與演奏能力。
?
智脈(BrainCog)允許研究者通過調用并連接基礎模塊,自由地設計所需要的網絡以及相應的功能,為實現專用、通用的類腦人工智能模型提供基礎支持。在類腦人工智能方面,智脈協同多個腦區形成不同的神經環路,初步實現了五大類認知功能:感知和學習、知識表征和推理、決策、運動控制、社會認知(如心里揣測、認知與情感共情),發布約20個基于脈沖神經網絡的算法模型。這些組件共同形成了與哺乳動物大腦中28個腦區相對應的神經環路。
目前,類腦脈沖神經網絡領域缺乏一個公開、公平的平臺, 在同一環境下評估算法的性能。智脈集成了豐富的高性能、易修改的SNN模型,并對其在多個靜態數據集、神經形態數據集(如DVSGesture, DVSCIFAR10, NCALTECH101, ES-ImageNet等)、以及N-Omniglot神經形態小樣本數據集上進行了基準測試。
用戶可以在同一環境中評估自己的算法,并與其他方法進行比較。可以使用BrainCog提供的組件輕松實現自己的算法, 并與其他最先進的方法進行公平比較。
?
智脈支持多種有監督和無監督的訓練法則,如基于突觸可塑性的STDP,基于代理梯度的反向傳播算法,和基于ANN到SNN的轉換算法。同時在小樣本以及噪聲環境下取得突出的適應性。該引擎還提供了仿照人類進行概念學習的多感覺融合框架。
(1)基于BrainCog完成的前饋連接與反饋連接結合的SNN,通過反饋連接引入全局的誤差信號,提升了基于局部優化法則的脈沖神經網絡在深層網絡結構上的性能與穩定性,達到了與基于反向傳播算法訓練相抗衡的性能。
(2)基于BrainCog實現的具有生物合理性的時間空間調節算法,能夠訓練深層的SNN模型,并在MNIST,CIFAR10,ImageNet等圖像分類任務上,以及DVS-CIFAR10,DVS-Gesture等事件分類任務上, 與其他的SNN相比, 有先進性能的同時,展現出明顯的低能耗。
(3)基于BrainCog構建的ANN-SNN轉換模型充分結合了反向傳播算法與脈沖神經網絡的優勢,使SNN能以更少的能耗和更高的效率在圖像分類、目標檢測和語義分割等任務中完成同ANN相媲美的性能。
(4)使用BrainCog構建的基于STDP算法的無監督脈沖神經網絡模型,借由具有生物可解釋性的優化算法和多種自適應機制,極大提升了網絡性能與效率。實現了在少量樣本下相同模型結構下優于ANN的性能。
智脈提供了多腦區協同的決策脈沖神經網絡、深度強化學習脈沖神經網絡、以及自然啟發的無人機集群自組織決策脈沖神經網絡。
(1)基于BrainCog 實現的具有生物合理性的類腦決策模型在Flappy bird游戲上實現了類人的學習能力,并具備支持無人機在線決策的能力,能夠實現類果蠅的線性和非線性決策以及反轉學習。
(2)基于BrainCog構建的Spiking-DQN模型實現了深度脈沖神經網路和強化學習的結合,在Atari游戲上的得分超過傳統DQN模型。
(3)基于BrainCog實現的獎勵調控類腦脈沖神經網絡可以賦能無人機集群使其實現基于自然啟發的自組織避障。
?
智脈初步實現了利用脈沖神經網絡控制人形機器人運動。受大腦運動控制機制的啟發,智脈構建了包括前運動皮層(PMC),輔助運動區(SMA)、基底神經節和小腦功能的多腦區協同機器人運動脈沖神經網絡模型,并應用于人形機器人彈奏鋼琴。
?
智脈通過融合多神經可塑性和群體編碼機制進行知識表征和推理。利用類腦的音樂記憶和風格創作模型實現了音符序列的知識表征和記憶,可以生成具有不同風格的樂曲。序列生成SNN實現了對符號序列的表征與記憶,并可根據不同的規則對符號序列進行重構。常識表征SNN將常識知識庫編碼進SNN,可據此網絡完成概念化知識生成后續認知任務。因果推理SNN將因果圖編碼為脈沖神經網絡,實現了演繹推理、溯因推理等認知任務。
智脈支持以人形機器人為載體的自我建模、心理揣測、認知與情感共情等高等認知功能,實現了一種具有生物合理性的腦啟發的社會認知脈沖神經網絡模型。該模型使得智能體初步地具備了理解自我和他人的能力,能夠通過多機器人鏡像自我識別測試并且降低了智能體交互過程中的安全風險。前者是社會認知中自我感知的經典實驗,后者則是社會認知中思維揣測實驗的變體。
?
智脈可以支持不同尺度的腦結構與認知功能模擬,從而為在局部和全腦尺度計算驗證科學猜想和科學解釋提供強有力的支持。
BrainCog實現了果蠅線性、非線性決策和PFC工作記憶功能的模擬。
在果蠅線性和非線性決策模擬中,BrainCog驗證了非線性抉擇環路在兩難抉擇下的贏者通吃行為,得到了與果蠅生物學實驗一致的結論,相應算法還應用到了無人機平臺使其獲得類腦決策能力。
用BrainCog實現的PFC網絡,在不改變網絡結構的情況下,使用人類神經元代替嚙齒類動物神經元可以顯著提高圖像輸出的準確性和完整性,這證明了生物腦結構的演化不僅僅體現在神經元和腦區尺度連接結構的演化,還體現在神經元這個基本計算單元的信息處理能力方面的優化。
智脈可以模擬不同規模的生物腦結構,從微環路到皮質柱到全腦結構模擬。從解剖到成像的多尺度連接數據使鼠腦,猴腦和人腦建模更具有生物合理性。
?
人工智能研究者可以基于“智脈(BrainCog)”平臺提供的計算與認知組件實現專用和通用的人工智能模型。
為了進一步說明和驗證BrainCog支持人工智能引擎研發的能力,接下來介紹基于BrainCog框架開發的致力于獲得通用智能的脈沖神經網絡人工智能引擎—創生(BORN),并展示了BORN引擎實現多項認知功能協同的能力。
?
創生(BORN)的高層架構是整合時空可塑性,使人工智能具備感知與學習、決策、運動控制、工作記憶、長時記憶、注意力和意識、情感、知識表征和推理、社會認知等大腦認知功能。空間可塑性結合了微觀、介觀和宏觀尺度的神經可塑性原理。時間可塑性考慮了處于不同時間尺度的學習、發育和演化可塑性。BORN的學習框架包括多任務連續學習、小樣本學習、多模態概念學習、在線學習、終身學習、示教學習、遷移學習等,并致力于在不久的將來實現不同學習模型的深度融合。
為了展示BORN的能力和原理,研究組提供了一個相對復雜的依賴于情感的人形機器人樂曲創作與演奏應用。該應用程序需要人形機器人根據情感識別來進行音樂創作和演奏。該應用要求BORN提供視覺情感識別、序列學習與生成、知識表征與推理、運動控制等認知功能。基于這些功能,BrainCog支持人形機器人實現了視覺(情感)識別、情感依賴的音樂創作模塊和人形機器人樂曲演奏。
?
類腦認知智能研究組(BrainCog Lab)隸屬于中國科學院自動化研究所,研究組成立于2013年,是從事類腦人工智能前沿理論和腦與智能交叉創新的研究團隊。由腦圖譜與類腦智能實驗室副主任曾毅研究員擔任團隊負責人。
類腦認知智能研究組近年來主要圍繞類腦脈沖神經網絡模型與前沿技術探索為主要研究內容,特別是在類腦脈沖神經網絡學習機理與模型、類腦可塑性理論體系、倫理道德的類腦自主學習模型等方面開展研究。
研究組研制的類腦認知智能引擎“智脈(BrainCog)”致力于為新一代人工智能前沿探索打造基于脈沖神經網絡的通用智能引擎,服務于人類與人工智能的和諧共生。
曾毅
中國科學院自動化研究所研究員、類腦認知智能研究組負責人、腦圖譜與類腦智能實驗室副主任、人工智能倫理與治理研究中心主任;中國科學院大學崗位教授、博士生導師;中國人工智能學會心智計算專委會主任;國家新一代人工智能治理專委會委員;聯合國教科文組織人工智能倫理特設專家組專家。研究方向為:類腦人工智能、人工智能倫理、治理與可持續發展。其中類腦人工智能研究專注于類腦認知智能基礎理論以及類腦脈沖神經網絡機理與模型研究,與此相關代表性成果發表在Cell出版社旗下期刊Patterns、iScience,Nature出版社旗下期刊Scientific Data, Scientific Reports, 與Science出版社旗下期刊Science Advances, IEEE Transactions以及國際會議IJCAI、AAAI等。
趙東城
中國科學院自動化研究所類腦認知智能研究組助理研究員。研究方向為類腦脈沖神經網絡、類腦深度神經網絡。目前已在Scientific Data,Patterns,Neural Networks,Information Sciences,AAAI,IJCAI等發表論文多篇。
趙菲菲
中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦決策、發育及演化脈沖神經網絡。目前已在Patterns、IEEE Transactions on Cognitive and Developmental Systems、Neural Computation、Scientific Reports、Cognitive Computation、Frontiers in Neuroscience等發表論文多篇。
申國斌
中國科學院自動化研究所類腦認知智能研究組2021級博士研究生。主要研究方向為類腦脈沖神經網絡可塑性建模。目前已在Patterns,ACM ToMM等發表論文多篇。
董一廷
中國科學院自動化研究所類腦認知智能研究組2020級博士生。研究方向為類腦脈沖神經網絡優化方法。目前已在Scientific Data發表論文。
魯恩萌
中國科學院自動化研究所類腦認知智能研究組研究工程師。主要研究方向為類腦具身認知智能、類腦倫理道德決策等。目前已在AAAI、AI and Ethics、Cognitive Computation、Frontiers in Neurorobotics/Neuroscience/Computational Neuroscience等發表論文多篇。
張倩
中國科學院自動化研究所類腦認知智能研究組副研究員,主要研究方向為記憶、意識的神經計算模擬。目前已經在Scientific Reports,Frontiers in System Neuroscience,Information Sciences等期刊上發表多篇論文。
孫胤乾
中國科學院自動化研究所類腦認知智能研究組2018級博士生。研究方向為類腦感知決策脈沖神經網絡。目前已在iScience,Frontiers in Neuroscience上發表多篇論文。
梁倩
中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦脈沖神經網絡,類腦音樂學習,類腦音樂創作。目前已在Frontiers等期刊上發表論文。
趙宇軒
中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦認知計算建模、高等認知功能模擬。目前已在iScience、Cognitive Computation 、Frontiers in Neuroscience、Frontiers in Neurorobotics等發表論文多篇。
趙卓雅
中國科學院自動化研究所類腦認知智能研究組2019級博士研究生。研究方向為類腦心理揣測模型。目前已在Patterns、Frontiers in Neuroscience發表過論文。
王寓巍
中國科學院自動化研究所類腦認知智能研究組工程師。研究方向為類人概念學習計算模型、類腦脈沖神經網絡。目前已在Cognitive Computation, Frontiers in Computational Neuroscience, Frontiers in Systems Neuroscience, IEEE SMC等發表論文多篇。
李楊
中國科學院自動化研究所類腦認知智能研究組2019級博士生。研究方向為類腦脈沖神經網絡優化方法。目前已在Scientific Data,Neural Networks,Information Sciences,Frontiers in Computational Neuroscience,IJCAI等發表論文多篇。
杜騁騁
中國科學院自動化研究所類腦認知智能研究組2021級碩士研究生,研究方向為類腦認知計算,基于生物結論的大規模網絡建模實現高級認知功能并為人工智能的發展提供啟示。
孔慶群
中國科學院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦視覺,連續學習等。目前已在 Neural Networks,Frontiers in Computational Neuroscience 等發表論文多篇。
阮子喆
中國科學院自動化研究所類腦認知智能研究組研究工程師。研究方向為類腦認知智能相關平臺構建。
馮慧
中國科學院自動化研究所類腦認知智能研究組2018級碩博生。研究方向為基于脈沖神經網絡的類腦情感共情以及利他行為計算模型。目前已在Frontiers in Computational Neuroscience、Frontiers in Neurorobotics上發表論文多篇。
何翔
中國科學院自動化研究所類腦認知智能研究組2021級碩士生。研究方向為類腦脈沖神經網絡模型與優化方法。
王紀航
中國科學院自動化研究所類腦認知智能研究組2021級碩士研究生。主要研究方向為脈沖神經網絡中的隱私攻擊與隱私保護。
李金東
中國科學院自動化研究所類腦認知智能研究組2022級碩士研究生。主要研究方向為脈沖神經網絡硬件加速與神經擬態硬件等。
類腦認知智能引擎“智脈(BrainCog)”是支撐研發基于脈沖神經網絡的人工智能引擎和腦模擬平臺的基礎設施。無論是通用人工智能還是全腦神經計算模擬都是長遠的愿景并需要持之以恒的科學探索,更重要的是需要學術和產業界持續不斷地共同推進。
我們期待與學術界、產業界共同推進揭示智能本質的研究,實現對人類和生態有益的通用人工智能。期待群智的貢獻,共同構建人與人工智能和諧共生的未來。
開源主頁:
https://github.com/BrainCog-X/Brain-Cog
https://openi.pcl.ac.cn/BrainCogLab/braincog
BrainCog使用文檔
http://www.brain-cog.network/docs/
官方網站
http://www.braincog.ai/
Bilibili
https://space.bilibili.com/506818367
YouTube
https://www.youtube.com/@brain-inspiredcognitiveint1490/featured
公眾號
智能的本質與未來(團隊會定期在公眾號分享最新進展)
微信號
BrainCog(添加微信號,會由小助手拉您進入BrainCog研發者群)
Yang Li, Yiting Dong, Dongcheng Zhao, Yi Zeng. N-Omniglot: a Large-scale Neuromorphic Dataset for Spatio-temporal Sparse Few-shot Learning. Scientific Data, 9(746), Nature Publishing Group, 2022.
Feifei Zhao, Yi Zeng, Bing Han, Hongjian Fang, Zhuoya Zhao. Nature-inspired Self-organizing Collision Avoidance for Drone Swarm Based on Reward-modulated Spiking Neural Network, Patterns, Cell Press, 2022.
Dongcheng Zhao, Yi Zeng, Yang Li, Jihang Wang, Qian Zhang. Spiking CapsNet: A spiking neural network with a biologically plausible routing rule between capsules. Information Sciences, 2022.
Dongcheng Zhao, Yi Zeng, Yang Li. BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons, Neural Networks, Volume 154, 68-77, 2022.
Guobin Shen, Dongcheng Zhao, Yi Zeng. Backpropagation with Biologically Plausible Spatiotemporal Adjustment for Training Deep Spiking Neural Networks. Patterns, Cell Press, 2022.
Zhuoya Zhao, Enmeng Lu, Feifei Zhao, Yi Zeng, and Yuxuan Zhao. A Brain-Inspired Theory of Mind Spiking Neural Network for Reducing Safety Risks of Other Agents. Frontiers in Neuroscience, 2022.
Yang Li, Yi Zeng. Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes. Proceedings of the 31st International Joint Conferences on Artificial Intelligence (IJCAI-22), 2022.
Yuwei Wang, Yi Zeng. Multisensory Concept Learning Framework Based on Spiking Neural Networks. Frontiers in Systems Neuroscience, 16:845177, 2022.
Yuwei Wang, Yi Zeng. Statistical Analysis of Multisensory and Text-Derived Representations on Concept Learning. Frontiers in Computational Neuroscience, 16:861265, 2022.
Yinqian Sun, Yi Zeng, Tielin Zhang. Quantum Superposition Inspired Spiking Neural Network. iScience, 24(8), 102880, Cell Press, 2021.
Yuxuan Zhao, Yi Zeng, Guang Qiao. Brain-Inspired Classical Conditioning Model. iScience, 24(1), 101980, Cell Press, 2021.
Qian Liang, Yi Zeng. Stylistic Composition of Melodies based on a Brain-inspired Spiking Neural Network. Frontiers in Systems Neuroscience, 15:639484, 2021.
Hongjian Fang, Yi Zeng, Feifei Zhao. Brain Inspired Sequences Production by Spiking Neural Networks With Reward-Modulated STDP. Frontiers in Computational Neuroscience, 15:612041, 2021.
Feifei Zhao, Yi Zeng, Aike Guo, Haifeng Su, Bo Xu. A Neural Algorithm for Drosophila Linear and Nonlinear Decision-making. Scientific Reports, 10: 18660, Nature Publishing Group, 2020.
Yi Zeng, Yuxuan Zhao, Tielin Zhang, Dongcheng Zhao, Feifei Zhao, and Enmeng Lu. A Brain-Inspired Model of Theory of Mind. Frontiers in Neurorobotics, 2020.
Qian Zhang, Yi Zeng, Taoyi Yang. Computational Investigation of Contributions from Different Subtypes of Interneurons in Prefrontal Cortex for Information Maintenance. Scientific Reports, 10: 4671, Nature Publishing Group, 2020.