零售行業是我國非常重要的行業之一，隨著手機支付和購物用戶數量的不斷提高，以及數字化技術的不斷發展，零售行業的企業尤其是線下體驗店對數字化轉型的意愿不斷加強，未來我國智慧零售行業有望持續快速發展。
那么，零售行業有哪些痛點？人工智能在零售行業又能有哪些技術突破和創新呢？
今天，OpenI要為大家介紹社區最新入駐且正進入社區孵化管道的零售行業開源項目【袋鼯麻麻ColugoMum】，該項目由一群優秀的本科生組成的ColugoMum團隊，基于國產深度學習開源框架飛槳PaddlePadddle開發，針對中小型線下零售體驗店提供了一系列解決方案。
項目開源地址：
目前在零售行業的實際運營過程中，會產生巨大的人力成本，例如導購、保潔、結算等，而其中，尤其需要花費大量的人力成本和時間成本在識別商品并對其進行價格結算的過程中，并且在此過程中，顧客也因此而需要排隊等待。這樣一來零售行業人力成本較大、工作效率極低，二來也使得顧客的購物體驗下降。
隨著計算機視覺技術的發展，以及無人化、自動化超市運營理念的提出，利用圖像識別技術及目標檢測技術實現產品的自動識別及自動化結算的需求呼之欲出，即自動結賬系統（Automatic checkout, ACO）。
基于計算機視覺的自動結賬系統能有效降低零售行業的運營成本，提高顧客結賬效率，從而進一步提升用戶在購物過程中的體驗感與幸福感。
AI結算的核心是圖像識別。圖像識別的準確率決定了AI結算落地的可行性。目前，AI結算面臨著如下幾個痛點問題：
商品包裝相似：同類別商品口味不同且價格也不同，不同類別商品外包裝相似，都對圖像識別精度具有較高的要求；
干擾因素眾多：同類別商品在識別時容易因角度問題發生變形、折疊、遮擋等干擾，對識別結果造成影響；
品類更新極快：零售商品通常以小時級別速度更新迭代，每增加新產品時若僅靠單一模型均需重新訓練模型，模型訓練成本及時間成本極大；
系統性能要求高：需要同時解決檢測和識別兩個任務，選模型和優化時要權衡精度與速度兩方面。
袋鼯麻麻ColugoMum致力于為中小型線下零售體驗店提供基于視覺的零售結算方案。
基于上述痛點問題，ColugoMum團隊采用飛槳PaddleClas[1]團隊提出的PP-ShiTu[2]圖像識別系統。
基于PP-ShiTu實現的商品識別方案為零售場景中商品多類別、小樣本、高相似和更新頻繁問題提供了新的思路，不僅能對多類別商品進行精準識別，也可以滿足對預測效率的極致追求。
尤為實用的功能在于：實際上線使用的時候，遇到新的需要識別的商品類別，無需重新訓練模型，只需要在檢索庫中增加該類別圖像特征，就能夠實現對新商品的識別！
PP-ShiTu是一個實用的輕量級通用圖像識別系統，主要由主體檢測、特征學習和向量檢索三個模塊組成。該系統從骨干網絡選擇和調整、損失函數的選擇、數據增強、學習率變換策略、正則化參數選擇、預訓練模型使用以及模型裁剪量化8個方面，采用多種策略，對各個模塊的模型進行優化，并經過10w+類別數據進行訓練，最終得到在CPU上預測時間僅需0.2s的多場景通用圖像識別系統。
簡單來說，PP-ShiTu的使用分為三步：
通過主體檢測模型，對圖片中的物體一一識別；
對每個候選區域進行特征提取；
將特征提取后的向量在檢索庫中進行檢索，完成匹配，返回識別結果。
考慮到實際零售場景對于精度和預測速度的極致追求，ColugoMum團隊在主體檢測部分選取了PicoDet模型作為主體檢測算法，選取了輕量級PPLCNet_x2_5_ssld模型用作特征提取，最后使用向量搜索模塊Faiss中的HNSW32作為檢索算法，實現速度與精度的極致平衡。
基于此，ColugoMum團隊基于RP2K數據集已經實現了最高96.91%的預測精度。
RP2K數據集[3]：收錄了50萬+張零售商品貨架圖片，商品種類超過2,000種，是目前零售類數據集中產品種類數量最多的數據集。不同于一般聚焦新產品的數據集，RP2K收錄了超過50萬張零售商品貨架圖片，商品種類超過2000種，該數據集是目前零售類數據集中產品種類數量TOP1，同時所有圖片均來自于真實場景下的人工采集，針對每種商品，品覽提供了十分詳細的標注。
此外，ColugoMum也收集整理了業內SKU級別的商品圖像數據集，并期待和開發者們一道， 開源出能夠在業內有影響力、符合實際場景應用需求的數據集。
數據集地址：
并且，ColugoMum團隊開源了基于RP2K數據集的高精度訓練模型和預測模型。開發者可以在提供的訓練模型上基于自己的數據進行微調，也可以使用提供的預測模型直接進行預測體驗。同時，ColugoMum也開啟了基于RP2K的打榜活動，歡迎開發者們參與。
地址：
部署方面使用飛槳服務化部署框架Paddle Serving[4]進行部署，滿足用戶批量預測、數據安全性高、延遲低的需求，在CPU上僅需0.2秒即可實現預測效果，真正做到預測速度與精度的極致平衡。
為了方便開發者們更好地理解PP-ShiTu、更好地利用其在圖像識別領域的優勢，ColugoMum團隊開源了基于圖像識別的智慧零售商品識別教程，開發者可以在此基礎上使用PP-ShiTu快速對接業務。
教程地址：
基于上述核心技術，目前ColugoMum團隊利用PP-ShiTu技術，開源了云邊一體、符合實際場景應用需求的商品識別Smart_container。其能夠精準地定位顧客購買的商品，并進行智能化、自動化的價格結算。
項目地址：
當顧客將自己選購的商品放置在制定區域內時，Smart_container能夠精準地定位識別每一個商品，并且能夠返回完整的購物清單及顧客應付的實際商品總價格。而當系統有新商品增加時，只需更新檢索庫即可，無需重新訓練模型。
Smart_container覆蓋硬件結算臺、小程序管理平臺、大數據可視化平臺，實現了多端統一，智慧管理。
顏鑫
華東理工大學自動化專業大三在讀，研究方向為多機器人的協同控制與決策，主要興趣點為計算機視覺、強化學習、推理部署。飛槳開發者技術專家、Datawhale成員、華為云享專家、國家級大學生創新創業項目第一主持人，曾獲第十三屆“挑戰杯”大學生創業計劃競賽上海市銅獎、華東理工大學第十屆“奮進杯”大學生創業計劃競賽金獎、PPSIG優秀開源項目獎等。
顏鑫的開發心得
很榮幸能夠有這樣的機會，我們能在啟智社區分享團隊針對“AI+實體零售”的一些想法和一些成果。
在項目的實際開發過程中，團隊曾面臨著非常多的困難，比如缺乏一個穩定的協同開發環境導致開發效率極低、模型訓練需要大量的計算資源導致我們一度陷入困境。
好在啟智社區為我們提供了鵬城實驗室的鵬城云腦1計算資源，這不僅大大減少了我們在硬件方面的投入成本，更是完美解決了我們在開發環境不完善和計算資源不充足等方面的瓶頸，才使ColugoMum項目的開發周期得以極大縮短。
此外，由于當前國際形式的強烈不穩定性，ColugoMum在框架選擇上選取了國產深度學習開源框架飛槳PaddlePaddle，在開發過程中也受到了來自飛槳PaddleClas團隊的大力支持，也期待國產深度學習開源框架能越來越好。
后面ColugoMum團隊會不斷打破產品和技術邊界，依托啟智社區，開源出更多更好的、能真正賦能實體零售的開源項目，真正推動我國實體零售向智能化、數字化轉型，也期待眾多開發者能加入我們。
沈晨
華東理工大學信息工程專業大三在讀，曾獲得CRAIC中國機器人及人工智能大賽上海市二等獎、上海市大學生計算機應用能力設計大賽上海市二等獎，華東理工大學第十屆“奮進杯”大學生創業計劃競賽金獎，參與多個大型優秀開源項目，擁有軟件著作權兩篇，曾在IEEE國際會議發表論文一篇，另有一項實用新型專利正在受理。曾任信息學院團委組織部副部長，獲得校優秀獎學金和優秀學生先進稱號。
沈晨的開發心得
很高興能得到在啟智社區分享我們團隊項目的機會，這能讓更多人看到我們團隊的努力成果，是ColugoMum項目的一次機遇，同時本人也很榮幸能參與ColugoMum項目的開發工作。
在項目開發過程中，我得到了很多學習和成長的機會，不管是在項目初期的程序開發階段還是在目前的交流成長階段，同團隊成員一起精心打磨項目的過程雖然辛苦，但卻是對自己的挑戰與要求，并且與團隊成員一起努力和成長本身就是一件快樂的事情，這讓我受益匪淺。
與此同時，啟智社區和飛槳PaddleClas團隊也給予了我們團隊莫大的支持和幫助，這讓我們能夠花更少的時間去尋求資源，轉而精心打磨項目。
未來，我也將和團隊成員一起，推動ColugoMum項目走向更廣闊的沃土，為推動實體零售的智能化、數字化做出自己的努力。
杜旭東
華東理工大學信息工程專業大三在讀，熟練掌握C/C++/Python/Jave/Matlab/verilog等多種編程語言，上海市大學生計算機應用能力設計大賽上海市二等獎，參與多個大型優秀開源項目，擁有軟件著作權兩篇，一項實用新型專利正在受理。曾任信息學院社團管理部副部長，獲得校優秀獎學金。
此外，團隊也向曾參與項目研發的同學表示感謝：黃小悅、王鑫、趙祎安、周天奕、申佳川等。
面對當前國際形式的強烈不穩定因素，ColugoMum團隊認為國產的深度學習框架以及本土的托管平臺在當前形式下更加穩妥。因此，在項目推進過程中，除了選用國產深度學習開源框架飛槳PaddlePadddle之外，團隊也受到了來自OpenI啟智社區的強力支持。基于啟智社區中AI協作平臺的協同開發能力、豐富的計算資源以及強有力的資源對接能力等，團隊能夠更快更高效地開展實驗、推進項目，大大縮短開發周期，推動AI在實體零售行業的真正落地應用。
最后，OpenI啟智社區歡迎更多開發者共同參與零售商品識別數據集、商品識別打榜以及Smart Container的開源共建活動，推動我國實體零售向數字化、智能化方向轉型發展，真正實現ColugoMum“降本增效、賦能零售”的使命。
同時，社區也歡迎更多優秀的項目入駐OpenI進行開源開放，社區將提供平臺資源和激勵機制幫助項目孵化發展和開發者培育，共同促進AI開源開放生態體系建設。
參考文獻
1.https://github.com/PaddlePaddle/PaddleClas
2. S. Wei et al., "PP-ShiTu: A Practical Lightweight Image Recognition System," arXiv preprint arXiv:2111.00775, 2021.
3. J. Peng, C. Xiao, and Y. Li, "RP2K: A large-scale retail product dataset for fine-grained image classification," arXiv preprint arXiv:2006.12634, 2020.
4.https://github.com/PaddlePaddle/Serving