為了加速美國國防部采用人工智能技術的進程,美國聯合人工智能中心(JAIC)正在創建一個聯合通用基礎(JCF)平臺。為此,JAIC/國防信息系統局(DISA)/國防信息技術合同組織(DITCO)于2020年4月13日發布了信息請求(RFI),要求開發AI測評軟件、創建AI測評流程和最佳實踐,由供應商提供AI測評服務。
JAIC由美國國防部首席信息官(CIO)主管,該中心旨在加速整個國防部采用人工智能(AI)技術的進程。各軍兵種對AI技術的需求不斷增長,以求增強作戰人員執行重復和/或危險任務的能力。AI有潛力為作戰人員提供及時和關鍵的支持,提高作戰節奏,從而在戰場上提供優勢。JAIC已經建立了幾個關鍵的任務倡議(MI)(如圖1所示),其中,AI可以增強跨軍種作戰。
為了促進AI技術的采用,JAIC正在創建一個聯合通用基礎(JCF)平臺。如圖2所示,JCF將發現、開發和測試AI問題的解決方案,并作為任務倡議開發的AI技術的主要平臺。
為了確保每個任務倡議都能生產出安全有效的產品,JAIC設有一個測評(T&E)辦公室,專門負責在JCF上提供測試服務。利用算法測試、系統測試和操作測試,該辦公室負責評估所有JAIC產品,并獨立提供AI性能的分析。
JAIC是國防部的AI卓越中心。JAIC測評團隊負責開發國防部范圍內的AI測評流程、工具和標準。為了實現這一目標,該團隊將在JCF上開發和托管AI測試設備,以供更廣泛的國防部機構使用。此外,該團隊還需要成為AI測評主題專家的集中聯絡點。
2020年4月13日,JAIC測評辦公室發布信息請求,包括開發AI測評軟件、創建AI測評流程和最佳實踐,由供應商提供AI測評服務。該團隊的主要需求如下:
測試技術及工具
JAIC 測評辦公室尋求為各種AI應用獲取測試技術和工具。按照預期,AI測評聚焦于開發測評能力支持國防部的全頻譜新興AI技術,包括機器學習、深度學習、神經網絡。其重點包括:
(1)使用語音自動轉化為文本的對話界面應用程序。
(2)為國防部應用和系統提供語音產品和服務。
(3)圖像分析,測試基于深度學習的視覺搜索和圖像分類器。
(4)支持自然語言處理(NLP)的產品和服務。
(5)通過機器增強人類的能力,包括人機界面和衡量作戰人員認知和身體負荷的改進方法,具體包括增強現實(AR)和虛擬現實(VR)測試服務。
(6)自主系統。
測評服務
JAIC測評團隊正在尋求政府、學術界和工業界組織的服務,以協助任務倡議或其他國防部工作人員進行技術測評,具體需求如下:
(1)數據集開發/管理:每個任務倡議或國防部AI項目都有獨特的數據,針對這些數據,必須以一定的方式進行獲取和管理,以便能夠被現代AI軟件系統使用。這些工作包括但不限于數據質量評估、圖像注釋和數據覆蓋分析。
(2)測試工具開發:創建自動的、封裝的、支持云的測試工具,以幫助將數據自動導入到封裝的AI模型中,并匯總結果。
(3)模型輸出分析:需要專業分析知識/軟件來評估由任務倡議開發的AI模型結果質量。這方面的工作包括開發封裝的、基于云的分析軟件,以及創建特定場景、與操作相關的性能指標。
(4)測試計劃、文檔和報告:測試專家為AI算法創建測試生命周期(算法測試、系統測試和操作測試)所需的文檔。包括但不限于,創建測評主計劃(TEMPS)、測試計劃,創建測試報告,記錄結果,以及管理測試計劃。
(5)測試服務:對AI產品進行測評的服務和專業知識,包括但不限于,在算法測試、系統測試、開發測試和操作測試等所有測評領域對AI算法和/或AI使能系統進行測試。
來源:《戰略前沿技術》