全球工業物聯網品牌廠商研華科技成功整合英偉達(NVIDIA) 生成式AI模型于MIC-733-AO邊緣AI推理盒子,并在英偉達GTC 2024 GPU科技展研華攤位上進行展示(No. 232),該產品預示:未來生成式AI將大幅減少開發者訓練模型的時間,在工業應用上也能以更快速更方便的得到AI推理的結果。
研華MIC-733-AO+英偉達生成式AI模型=邊緣生成式AI系統
研華MIC-733-AO邊緣AI系統基于英偉達Jetson AGX Orin?平臺,搭載英偉達Jetson AI實驗室的生成式人工智能模型,現在成功高效率運行大型語言模型(LLMs)、視覺語言模型(VLM)、視覺變換器(ViT)以及圖像生成和對話生成Llamaspeak,這要歸功于英偉達Jetson AGX Orin?平臺的獨特優勢,包括加速計算、重要的AI軟件和預先訓練的模型,有助于創建、自定義和部署適用于各種應用和地點的生成式AI模型。
利用英偉達Jetson AI實驗室的生成式AI模型,AI開發者可以運用檢索增強生成(RAG)技術,將LLMs和VLMs連接到公司的知識庫。這種方法消除了傳統AI模型訓練的需求,允許透過與系統的簡單對話交互來產生AI推論,明顯縮短了開發時間。研華MIC-733-AO擁有高AI運算效能和多個影像輸入接口,例如IP攝影機、USB/gigE工業相機、GMSL攝影機、激光雷達等,讓開發者可以輕松串接影像訊息結合AI運算,而工業級小體積設計更適合放在邊緣端應用,即使在英偉達Jetson AGX Orin運行滿載時,出色的散熱設計也能防止系統過熱確保正常運行。
邊緣生成式AI系統反應更實時,應用更多元
生成式AI通過從不同的輸入和輸出(例如文本和圖像)創建新內容,正在改變人與計算機的互動方式。從云端到邊緣端,邊緣端生成式AI更適合需要快速反應和低延遲環境的良好解決方案。在邊緣端生成式AI相對于云端生成式AI的解決方案具有以下幾點優勢:
· 實時反應:根據攝影機和傳感器等數據來源的邊緣計算系統能夠立即回應,無需等待與云端上傳數據造成的延遲。
· 數據安全:數據儲存在邊緣系統中,大幅降低云端數據傳輸相關的安全風險。
· 穩定的網絡連接:即使沒有無線網絡,邊緣系統也能夠操作并將數據存儲在本地端,直到網絡恢復,而云端生成式AI在沒有網絡時將無法運作。
· 低傳輸成本:邊緣端AI因不需要隨時傳輸數據給云端,僅需低量傳輸,比云端AI隨時上傳數據更具成本效益。
邊緣生成式AI代表了人工智能時代的未來。研華MIC-733-AO邊緣生成式AI系統,整合英偉達Jetson AI實驗室的生成式AI模型,為AI開發者提供了一個簡單的解決方案。
如果您對研華MIC-733-AO邊緣生成式AI系統感興趣,可聯系研華當地業務,或者前往官網www.advantech.com.cn了解產品詳細,2024年5月,研華將在深圳、上海、武漢、北京舉辦AI Solution Day全國巡演,屆時將展示Jeston AI全家族產品,歡迎感興趣的伙伴積極報名。