SpikeCV 貢獻者： 北京大學(xué)，脈沖視覺公司 許可證：Apache License 2.0
近年來，脈沖相機在超高速場景重構(gòu)、超高速目標檢測跟蹤等方面已經(jīng)得到廣泛應(yīng)用。SpikeCV是基于脈沖神經(jīng)網(wǎng)絡(luò)的計算機視覺開源平臺，和脈沖相機一起構(gòu)成超高速視覺系統(tǒng)。
我們不僅提供錘子，還制造釘子，捕光制電，讓我們打開前所未見的視覺新世界。”現(xiàn)有的開源框架主要提供圖像處理或者算法工具，而SpikeCV不僅提供脈沖處理工具及脈沖視覺算法，還提供脈沖相機硬件算法接口及規(guī)范化的脈沖數(shù)據(jù)集。若把工具比喻成錘子，那么數(shù)據(jù)就是釘子。SpikeCV不僅提供錘子，也提供釘子。利用錘子和釘子，用戶可使用脈沖相機實現(xiàn)任意連續(xù)視覺任務(wù)。
圖. SpikeCV框架。主要包含數(shù)據(jù)集、設(shè)備接口和模塊庫三大部分
與現(xiàn)有開源框架主要提供圖像處理或者算法工具不同，SpikeCV提供了脈沖處理工具、脈沖視覺算法、脈沖相機硬件接口以及規(guī)范化的脈沖數(shù)據(jù)集。SpikeCV主要采用的編程語言為Python，與硬件交互的底層語言采用C++編寫。用戶可以使用脈沖相機實現(xiàn)任意連續(xù)視覺任務(wù)，并且方便地使用當(dāng)前主流的數(shù)據(jù)分析和深度學(xué)習(xí)工具庫，例如NumPy、Scipy和Pytorch等。
SpikeCV不僅提供了工具，也提供了數(shù)據(jù)。規(guī)范化的數(shù)據(jù)集中包括脈沖相機拍攝的真實場景和模擬的脈沖流，及對應(yīng)的視頻、光流、深度、物體類別等標簽信息。除了配套的數(shù)據(jù)集，還提供離線及實時數(shù)據(jù)接口，可供用戶自定義場景采集數(shù)據(jù)集或測試算法在線性能。模塊庫中提供了脈沖數(shù)據(jù)加載接口、各類脈沖算法庫接口及配套的開發(fā)工具庫。