
下面兩張圖中,同樣是添加涂裝的汽車,人工智能模型卻會將右圖識別成老鼠,難道是貼紙材料暗藏玄機?
[1] Wang J, Liu A, Yin Z, et al. Dual attention suppression attack: Generate adversarial camouflage in physical world[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8565-8574.
對人眼來說,這兩張圖都是普通的添加涂裝的車輛。但事實上,左邊這張圖中車上如涂鴉般的紋理,是人為精心設計出的對抗紋理,這種紋理導致一個普通的人工智能模型將道路上的車輛誤識別為其他物體。
像這種直接在物體上增加不影響人類識別的紋理,使AI模型接受并做出錯誤的判斷的攻擊手段,就是物理世界中對深度神經網絡最常用的對抗攻擊方法之一。
這種看上去像涂鴉的對抗攻擊方法雖然成本低廉,但危害可不小。目前,AI模型已經開始應用于自動駕駛領域,如果因為對抗攻擊,自動駕駛汽車誤將紅燈識別為綠燈,將路障識別為可通行標志,甚至無法檢測到前方的行人與汽車,后果將不堪設想。
構建安全、魯棒的AI模型,促使其能夠應對物理世界場景下的對抗攻擊,在人工智能領域日趨重要。
然而,當前很多AI模型是在封閉數據集下進行訓練,無法適應開放世界場景,多樣性的噪聲與對抗補丁數據將會給模型案例及魯棒性帶來極大挑戰。
為了加速物理世界自動駕駛場景下的魯棒模型研究,推動新的以數據為中心的算法開發,北京航空航天大學聯合商湯科技、合肥綜合性國家科學中心數據空間研究院,舉辦面向物理開放場景的車輛目標檢測安全挑戰賽——Vehicle Detection in the Physical-World。本次大賽由OpenI啟智社區提供算力資源支撐選手們完成比賽。
北航劉祥龍教授團隊多年來深耕人工智能安全領域,不斷探索可信賴人工智能前沿技術,在對抗攻防、模型評測和可解釋理論方面成果豐碩,在國內外均有一定影響力。
本次大賽依托CVPR 2023的workshop“The 3rd Workshop of Adversarial Machine Learning on Computer Vision: Art of Robustness”展開,希望鼓勵研究者開發面向物理世界的魯棒檢測算法,以自動駕駛作為典型應用場景,在復雜的真實世界場景及多樣化的對抗攻擊算法等因素下,探究魯棒模型的生產方式,促進魯棒檢測模型的發展。
此外,比賽獲獎隊伍還將受邀在workshop中做分享,講解自己的技術方案。大賽已經正式啟動,查看文末網址,即刻報名參與。
這次的魯棒車輛檢測比賽分為兩個階段。
Phase 1:初級對抗環境車輛檢測
初賽階段,比賽會分別釋放訓練集和測試集,參賽者可以使用該階段釋放的訓練集以及其他任何訓練集訓練魯棒目標檢測模型。訓練集為正常的檢測數據,測試集包含正常檢測數據和攻擊樣本。
第一賽道的攻擊樣本包括5個基礎場景、4種取樣角度以及3種天氣下,通過對抗攻擊產生的對抗樣本。選手需要得到足夠魯棒的檢測模型,能夠對干凈樣本和對抗樣本中的車輛進行正確檢測。初賽階段選手需要將給定測試集的預測結果提交。
Phase 2:高級對抗環境車輛檢測
復賽階段,參賽者同樣可以使用該階段釋放的訓練集與其他任意訓練集訓練魯棒模型。但與初賽不同的是,參賽者需要提交訓練好的原始模型,平臺將對提交的模型進行評測。數據集的構成上,初賽共包含100+種細分場景,復賽則包含400+類,對于所訓練模型的泛化檢測能力有著更高的要求。
▎比賽時間
3月28日-5月31日
▎比賽獎勵
本次比賽總獎池7萬人民幣。
其中,比賽取前10名,前六名獎金分別為20000、15000、10000、9000、6000、4000元,第七至十名獎金均為1500元;
具體比賽規則及介紹,請前往官網。歡迎對AI模型安全感興趣的朋友,踴躍報名參加~
▎比賽報名官網
aisafety.sensetime.com
Workshop地址:
北航劉祥龍教授團隊介紹:
xlliu-beihang.github.io
Openi啟智社區:
https://openi.pcl.ac.cn/
掃描下方二維碼,加入CVPR 2023競賽交流群~