隨著邊緣計算技術和工業互聯網應用的快速發展,邊緣智能設備需要支持的功能不斷增加,并且,不同類型的功能依賴不同的硬件實現性能加速,比如:網絡傳輸需要獨立CPU的高級網卡支持或與新的安全協議快速對接,視頻監控需要GPU資源來進行視頻分析加速。此外,隨著功能需求的不斷增加,原有邊緣智能設備方案也要升級不同的硬件,而對于在現場已經部署完成的邊緣智能設備,單獨升級其中的某部分硬件模塊,從可行性和成本上均面臨很大挑戰。
上述問題的有效解決需要一種全新的方案。
近日,江行智能與香港理工大學計算學系王丹教授團隊共同研發的智能網卡項目TAPU-NIC: A Smart Network Interface Card based on a novel Transmission-Analytics Processing Unit for EdgeBox(為邊緣計算設計的基于傳輸分析集成處理的智能網卡)取得重要成果:全球首款可按需、靈活提供CPU和GPU資源的邊緣智能網卡問世。該項目由香港特別行政區政府創新科技署創新科技基金支持,相關成果申請專利一項,發表高水平論文三篇。該款智能網卡的原型系統將應用于江行智能EdgeBox系列產品。
該項目的核心成果是一種新穎的傳輸分析處理單元(TAPU),它可以在單個FPGA芯片上同時啟用CPU模式和GPU模式,并對不同模式使用的資源進行動態調節。TAPU提供的這種關鍵特性可以在不調整邊緣智能設備已有硬件的前提下,為資源優化問題提供最佳的解決方案。依賴該特性,項目組進一步研發了智能網卡模塊TAPU-NIC。
圖1:TAPU-NIC模塊架構
該模塊包含機器視覺類算法模型和系統網絡應用,可根據邊緣側實際業務需求,自適應動態調整GPU和CPU資源分配,優化邊緣智能設備性能,靈活支持場景應用。原型系統由江行智能EdgeBox,TAPU-NIC,以及商用攝像頭組成,并在香港理工大學進行現場測試。圖2展示了系統演示畫面,我們可以清晰的看到,系統可以按需設置視頻分析參數和網絡應用參數,動態提供CPU資源和GPU資源。實驗結果顯示,TAPU可以提高24%視頻應用分析的準確度,以及減少22%的響應時間。
圖2:系統演示畫面
江行智能聯合創始人兼CTO樊小毅博士表示:非常榮幸能與香港理工大學王丹教授團隊合作研發項目,很感謝香港創新科技署對項目的大力支持。作為一家高科技創業公司,我們一直非常重視產學研的緊密合作,江行智能希望通過開放性的合作推動行業前沿問題的研究,加速一系列研發成果的有效轉化,從而推動技術進步。目前,我們已經同清華大學、香港理工大學、中國科學技術大學、華北電力大學等眾多高校建立了合作關系,相信這個名單會不斷擴大下去,更多AI+邊緣計算的科研成果會落地工業場景。