邊緣計算領域又傳來喜訊!
以色列-特拉維夫,近日,邊緣人工智能處理器的領先芯片制造商Hailo宣布C輪融資再獲1.2億美元投資。與此同時,Hailo還推出創新型Hailo-10高性能生成式人工智能(GenAI)加速器。這款加速器的問世,將開創一個新時代:用戶無需注冊任何基于云端的生成式人工智能服務,便能在本地輕松擁有并運行生成式人工智能應用,享受更為高效便捷的人工智能體驗。
本輪新融資由現有及新投資者共同領投,其中包括Zisapel家族、Gil Agmon、Delek Motors、Alfred Akirov、DCLBA、Vasuki、OurCrowd、Talcar、Comasco以及Poalim Equity等眾多機構與個人。至此,Hailo的總融資額超過了3.4億美元。
Hailo由Orr Danon和Avi Baum于2017年共同創立,專注于為邊緣設備設計運行AI工作負載的芯片。該公司表示,其在全球擁有超過300家客戶,涵蓋個人計算、汽車、安全和零售等多個領域。
Hailo首席執行官兼聯合創始人Orr Danon表示:“新一輪融資的順利完成,不僅為我們提供了重要發展機遇,更為公司的長期穩健發展奠定了堅實基礎。隨著Hailo-10 生成式人工智能加速器的問世,我們成功將傳統與生成式人工智能技術引入邊緣設備,這將大大拓展這項前沿技術的普及范圍和應用場景。”他還進一步強調:“Hailo-10的設計理念是將生成式人工智能融入用戶的日常生活中,擺脫云網絡的束縛。這將保證靈活性和即時性,讓用戶充分利用聊天機器人、智能副駕駛等新興內容生成工具,顯著提升工作效率,豐富生活體驗。”
Hailo-10:邊緣生成式人工智能
全新的Hailo-10 生成式人工智能加速器支持一系列廣泛的應用,進一步鞏固了Hailo在性能成本比和性能功耗比方面的領先地位。借助與Hailo-8 人工智能加速器和Hailo-15 人工智能視覺處理器相同的綜合軟件套件,Hailo-10能夠輕松實現人工智能功能在多個邊緣設備和平臺上的無縫集成,為用戶帶來更加流暢、高效的智能體驗。
在邊緣設備上啟用生成式人工智能可確保用戶隨時訪問生成式人工智能服務,無需擔心網絡連接限制。同時,它還能有效消除網絡延遲問題。此外,生成式人工智能在邊緣設備上的運行還能更好地保護用戶隱私,因為個人信息在處理過程中始終保持匿名狀態。最后,減少對云數據中心龐大處理能力的依賴,也有助于提高整體的可持續性。
Danon先生進一步闡述道:“隨著邊緣生成式人工智能技術的不斷發展,我們的重點已經轉向在極低功耗范圍內處理大型大語言模型(LLM),基本上可以控制在5瓦以下。”
在當下熱門的生成式人工智能平臺中,Hailo-10展現出了令人矚目的性能。它能夠在功耗低于5W的情況下,以每秒生成10 個token(TPS)的速度流暢運行Llama2-7B模型。同時,在處理Stable Diffusion 2.1模型(該模型可根據文本提示生成圖像)時,Hailo-10同樣在超低功耗范圍內實現了每張圖像評級低于5秒的出色表現。
Hailo-10的性能高達每秒40萬億次(TOPS),這為邊緣人工智能加速器樹立了新的性能標桿。根據最新公布的基準測試數據,Hailo-10在性能上超越了集成神經處理單元(NPU)解決方案,同時在功耗方面表現更為出色。與Intel的Core Ultra NPU相比,Hailo-10在保持功耗減半的同時,實現了至少2倍的性能提升。
Hailo-10 生成式人工智能加速器的初步應用將瞄準個人計算機和汽車信息娛樂系統,以取代那些性能不足的上一代CPU。這些老舊CPU無法支持現在已成為標配的聊天機器人、智能副駕駛、個人助理以及語音操作系統。Hailo計劃從2024年第二季度開始,向市場提供Hailo-10生成式人工智能加速器的樣品。