項目簡介

pRPC是一個面向機器學習工作負載的高性能網絡通信框架，通過內存零拷貝設計實現更快的網絡通信、以及更高的數據移動吞吐，針對機器學習工作負載中梯度計算、參數同步等環節的突發流量，在保障線程安全的情況下，提供消息級負載均衡，支持結合100G+RDMA遠程直接內存訪問技術，實現序列化與反序列化中的高效處理，突破TCP的性能瓶頸，最大化分布式計算性能，解決機器學習分布式訓練中的網絡瓶頸。

不同類型的AI算法在訓練過程中面臨不同的網絡性能瓶頸，消息吞吐量制約處理大規模離散特征的算法（如LR等）的訓練性能，網絡延遲制約處理稠密特征的算法（如深度學習算法或者樹模型等）。

• 無鎖排隊與批量消息處理的線程安全技術，減少線程跳轉與緩存同步

• 支持RDMA，繞過TCP，解決slow start的問題；RDMA實現網卡對內存的訪問，直接發揮硬件的最大價值

• 應用層內存共享技術，減少數據在內存、網卡間、客戶端與服務端間的冗余拷貝

pRPC架構

pRPC 面向AI模型訓練中大規模的數據和參數移動負載特性進行優化，相比百度bRPC、Google gRPC等通用網絡通信框架，實現高達10倍的網絡通信性能提升。