隨著邊緣計(jì)算技術(shù)和工業(yè)互聯(lián)網(wǎng)應(yīng)用的快速發(fā)展,邊緣智能設(shè)備需要支持的功能不斷增加,并且,不同類型的功能依賴不同的硬件實(shí)現(xiàn)性能加速,比如:網(wǎng)絡(luò)傳輸需要獨(dú)立CPU的高級網(wǎng)卡支持或與新的安全協(xié)議快速對接,視頻監(jiān)控需要GPU資源來進(jìn)行視頻分析加速。此外,隨著功能需求的不斷增加,原有邊緣智能設(shè)備方案也要升級不同的硬件,而對于在現(xiàn)場已經(jīng)部署完成的邊緣智能設(shè)備,單獨(dú)升級其中的某部分硬件模塊,從可行性和成本上均面臨很大挑戰(zhàn)。
上述問題的有效解決需要一種全新的方案。
近日,江行智能與香港理工大學(xué)計(jì)算學(xué)系王丹教授團(tuán)隊(duì)共同研發(fā)的智能網(wǎng)卡項(xiàng)目TAPU-NIC: A Smart Network Interface Card based on a novel Transmission-Analytics Processing Unit for EdgeBox(為邊緣計(jì)算設(shè)計(jì)的基于傳輸分析集成處理的智能網(wǎng)卡)取得重要成果:全球首款可按需、靈活提供CPU和GPU資源的邊緣智能網(wǎng)卡問世。該項(xiàng)目由香港特別行政區(qū)政府創(chuàng)新科技署創(chuàng)新科技基金支持,相關(guān)成果申請專利一項(xiàng),發(fā)表高水平論文三篇。該款智能網(wǎng)卡的原型系統(tǒng)將應(yīng)用于江行智能EdgeBox系列產(chǎn)品。
該項(xiàng)目的核心成果是一種新穎的傳輸分析處理單元(TAPU),它可以在單個(gè)FPGA芯片上同時(shí)啟用CPU模式和GPU模式,并對不同模式使用的資源進(jìn)行動(dòng)態(tài)調(diào)節(jié)。TAPU提供的這種關(guān)鍵特性可以在不調(diào)整邊緣智能設(shè)備已有硬件的前提下,為資源優(yōu)化問題提供最佳的解決方案。依賴該特性,項(xiàng)目組進(jìn)一步研發(fā)了智能網(wǎng)卡模塊TAPU-NIC。
圖1:TAPU-NIC模塊架構(gòu)
該模塊包含機(jī)器視覺類算法模型和系統(tǒng)網(wǎng)絡(luò)應(yīng)用,可根據(jù)邊緣側(cè)實(shí)際業(yè)務(wù)需求,自適應(yīng)動(dòng)態(tài)調(diào)整GPU和CPU資源分配,優(yōu)化邊緣智能設(shè)備性能,靈活支持場景應(yīng)用。原型系統(tǒng)由江行智能EdgeBox,TAPU-NIC,以及商用攝像頭組成,并在香港理工大學(xué)進(jìn)行現(xiàn)場測試。圖2展示了系統(tǒng)演示畫面,我們可以清晰的看到,系統(tǒng)可以按需設(shè)置視頻分析參數(shù)和網(wǎng)絡(luò)應(yīng)用參數(shù),動(dòng)態(tài)提供CPU資源和GPU資源。實(shí)驗(yàn)結(jié)果顯示,TAPU可以提高24%視頻應(yīng)用分析的準(zhǔn)確度,以及減少22%的響應(yīng)時(shí)間。
圖2:系統(tǒng)演示畫面
江行智能聯(lián)合創(chuàng)始人兼CTO樊小毅博士表示:非常榮幸能與香港理工大學(xué)王丹教授團(tuán)隊(duì)合作研發(fā)項(xiàng)目,很感謝香港創(chuàng)新科技署對項(xiàng)目的大力支持。作為一家高科技創(chuàng)業(yè)公司,我們一直非常重視產(chǎn)學(xué)研的緊密合作,江行智能希望通過開放性的合作推動(dòng)行業(yè)前沿問題的研究,加速一系列研發(fā)成果的有效轉(zhuǎn)化,從而推動(dòng)技術(shù)進(jìn)步。目前,我們已經(jīng)同清華大學(xué)、香港理工大學(xué)、中國科學(xué)技術(shù)大學(xué)、華北電力大學(xué)等眾多高校建立了合作關(guān)系,相信這個(gè)名單會(huì)不斷擴(kuò)大下去,更多AI+邊緣計(jì)算的科研成果會(huì)落地工業(yè)場景。