硅谷巨頭如谷歌、蘋果和臉譜都在通過訓(xùn)練模擬人腦的神經(jīng)網(wǎng)絡(luò)模型來發(fā)展人工智能技術(shù)。據(jù)美國電氣和電子工程師協(xié)會(huì)《光譜》網(wǎng)站報(bào)道,美國田納西州的數(shù)字推理公司近日宣布,已建成一個(gè)包含1600億參數(shù)的神經(jīng)網(wǎng)絡(luò)模型——比之前的至少大10倍。
這一神經(jīng)網(wǎng)絡(luò)模型輕而易舉地刷新了之前的紀(jì)錄:谷歌和美國勞倫斯?利弗莫爾國家實(shí)驗(yàn)室的神經(jīng)網(wǎng)絡(luò)模型分別包含112億參數(shù)和150億參數(shù)。此外,數(shù)字推理公司的神經(jīng)網(wǎng)絡(luò)模型在應(yīng)對(duì)含有2萬個(gè)詞語類比的行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)集時(shí),也表現(xiàn)出更好的精確性:86%的正確率,遠(yuǎn)高于谷歌神經(jīng)網(wǎng)絡(luò)模型創(chuàng)下的76%正確率的紀(jì)錄。
數(shù)字推理公司首席技術(shù)官馬修?拉塞爾在新聞發(fā)布會(huì)上表示:“我們對(duì)這一神經(jīng)網(wǎng)絡(luò)模型創(chuàng)造的成績和對(duì)人工智能深度學(xué)習(xí)所做的貢獻(xiàn)感到非常驕傲。”
近幾年,由于機(jī)器學(xué)習(xí)技術(shù)取得眾多突破性進(jìn)展,人工智能領(lǐng)域正在經(jīng)歷一輪“復(fù)興”。其中備受重視的機(jī)器學(xué)習(xí)策略是增強(qiáng)學(xué)習(xí)。運(yùn)用這種策略,電腦程序通過反復(fù)試錯(cuò)可以得知什么樣的行為可以獲得獎(jiǎng)勵(lì),但是電腦程序在處理接近現(xiàn)實(shí)世界難度的數(shù)據(jù)時(shí)往往力不從心。為了對(duì)其進(jìn)行升級(jí),研發(fā)人員將增強(qiáng)學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合起來,這就是所謂的深度學(xué)習(xí)策略。
深度學(xué)習(xí)涉及對(duì)機(jī)器人構(gòu)建五層或更多層的人工神經(jīng)網(wǎng)絡(luò),這里的深度指的是神經(jīng)網(wǎng)絡(luò)的層數(shù)而不是知識(shí)的深度。在神經(jīng)網(wǎng)絡(luò)模型中,所有人工神經(jīng)元都會(huì)接入數(shù)據(jù)庫并共同解決問題,例如閱讀書寫筆跡或辨認(rèn)講話內(nèi)容。神經(jīng)網(wǎng)絡(luò)模型可以通過改變神經(jīng)元之間的連接方式來調(diào)整它們之間的互動(dòng)并繼續(xù)解決下一個(gè)問題。通過訓(xùn)練,神經(jīng)網(wǎng)絡(luò)模型可以學(xué)會(huì)哪種模式是處理問題的最佳途徑。臉譜人工智能研究實(shí)驗(yàn)室負(fù)責(zé)人雅恩?樂昆曾把深度學(xué)習(xí)描述為“讓機(jī)器人學(xué)習(xí)表達(dá)世界”。
數(shù)字推理公司為了讓其神經(jīng)網(wǎng)絡(luò)模型在處理詞語類比數(shù)據(jù)集時(shí)達(dá)到一定的精確性,使用了三臺(tái)多核電腦對(duì)其進(jìn)行訓(xùn)練。該公司計(jì)劃在近期使用更大的數(shù)據(jù)集和詞匯量對(duì)其神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試。
摘自 中國科技網(wǎng)