美國(guó)加州舊金山谷歌人工智能（AI）研究人員Ali Rahimi去年12月對(duì)其所在研究領(lǐng)域進(jìn)行了一次猛烈的抨擊，并獲得了40秒的掌聲。在一次AI會(huì)議上，Rahimi指責(zé)機(jī)器學(xué)習(xí)算法，即計(jì)算機(jī)通過(guò)反復(fù)試驗(yàn)和糾錯(cuò)來(lái)學(xué)習(xí)已經(jīng)成為某種形式的“煉金術(shù)”。他說(shuō)，研究人員并不知道為什么有些算法會(huì)起作用而另一些不會(huì)，他們?cè)谶x擇一個(gè)AI架構(gòu)而非另一個(gè)時(shí)也沒(méi)有嚴(yán)格的標(biāo)準(zhǔn)。在近日于加拿大溫哥華舉行的關(guān)于學(xué)習(xí)表現(xiàn)的國(guó)際會(huì)議上發(fā)表的一篇論文中，Rahimi和合作者列舉了他們所看到的“煉金術(shù)問(wèn)題”，并為提高AI的嚴(yán)格性開(kāi)了“藥方”。
“這個(gè)領(lǐng)域有一種痛苦。”Rahimi說(shuō)，“我們很多人覺(jué)得自己在使用一種完全不同的技術(shù)。”
這個(gè)問(wèn)題與AI的再現(xiàn)性問(wèn)題截然不同，由于實(shí)驗(yàn)和出版實(shí)踐的不一致，研究人員無(wú)法復(fù)制彼此的結(jié)果。它也不同于機(jī)器學(xué)習(xí)中的“黑箱”或“可解釋性”問(wèn)題：解釋某一特定AI如何得出結(jié)論的難題。正如Rahimi所言，“我試圖把機(jī)器學(xué)習(xí)系統(tǒng)的‘黑箱’與轉(zhuǎn)變?yōu)楹谙涞恼麄€(gè)領(lǐng)域區(qū)分開(kāi)來(lái)。”
他說(shuō)，如果不深入了解構(gòu)建和訓(xùn)練新算法所需要的基本工具，研究人員創(chuàng)建AI就會(huì)像中世紀(jì)的煉金術(shù)士一樣訴諸于謠言。加州山景城谷歌計(jì)算機(jī)學(xué)家Francois Chollet補(bǔ)充道：“人們被狂熱崇拜所吸引”，依賴(lài)的是“民間傳說(shuō)和魔法咒語(yǔ)”。他舉例說(shuō)，他們采用寵物的方法調(diào)整AI的“學(xué)習(xí)速率”（一個(gè)算法在每個(gè)錯(cuò)誤之后會(huì)在多大程度上進(jìn)行糾正），而不是了解為什么一個(gè)算法比其他的更好。在其他情況下，AI研究人員訓(xùn)練其算法只是在黑暗中磕磕碰碰。例如，他們執(zhí)行所謂的“隨機(jī)梯度下降”，以此優(yōu)化一個(gè)算法的參數(shù)，以獲得盡可能低的失敗率。然而，盡管有數(shù)千篇關(guān)于這一主題的學(xué)術(shù)論文，以及無(wú)數(shù)應(yīng)用該方法的途徑，這一過(guò)程仍然依賴(lài)于嘗試和糾錯(cuò)。
Rahimi的論文強(qiáng)調(diào)了被浪費(fèi)掉的努力以及可能導(dǎo)致的次優(yōu)表現(xiàn)。例如，它指出，當(dāng)其他研究人員從最先進(jìn)的語(yǔ)言翻譯算法中去掉大部分的復(fù)雜性時(shí)，它實(shí)際上能夠把英語(yǔ)更好地翻譯成德語(yǔ)或法語(yǔ)，而且效率更高，這表明其創(chuàng)建者并沒(méi)有完全理解那些額外部分有什么好處。相反，英國(guó)倫敦推特網(wǎng)機(jī)器學(xué)習(xí)研究人員Ferenc Huszar說(shuō)，有時(shí)候，附加在算法上的鈴聲和哨聲是唯一優(yōu)秀的部分。他說(shuō)，在某些情況下，算法的核心存在技術(shù)缺陷，這意味著其得出的好結(jié)果“完全歸因于在上面應(yīng)用的其他技巧”。
Rahimi對(duì)了解哪種算法最有效提供了若干建議。他說(shuō)，對(duì)于初學(xué)者來(lái)說(shuō)，研究人員應(yīng)該像翻譯算法那樣進(jìn)行“切除研究”：一次刪除一個(gè)算法的某些部分，以查看每個(gè)組件的功能。
他呼吁進(jìn)行“切片分析”，在此過(guò)程中，需要對(duì)一個(gè)算法的性能進(jìn)行詳細(xì)分析，以了解某些地方的改進(jìn)是否會(huì)在其他方面產(chǎn)生成本。他還說(shuō)，研究人員應(yīng)該對(duì)其算法進(jìn)行許多不同條件和設(shè)置的測(cè)試，并報(bào)告所有測(cè)試的性能。
加州大學(xué)伯克利分校計(jì)算機(jī)學(xué)家、Rahimi煉金術(shù)主題演講論文的共同作者Ben Recht表示，AI應(yīng)向物理學(xué)取經(jīng)，該領(lǐng)域的研究人員經(jīng)常把問(wèn)題縮小到更小的“玩具問(wèn)題”。他說(shuō)：“物理學(xué)家在設(shè)計(jì)簡(jiǎn)單的實(shí)驗(yàn)以找到現(xiàn)象的解釋方面非常驚人。”一些AI研究人員已經(jīng)開(kāi)始采用這種方法，在處理大型彩色照片之前，先在小型黑白手寫(xiě)字符上測(cè)試圖像識(shí)別算法，以更好地理解該算法的內(nèi)部機(jī)制。
倫敦深度思維計(jì)算機(jī)科學(xué)家Csaba Szepesvari表示，該領(lǐng)域還需要減少對(duì)競(jìng)爭(zhēng)性測(cè)試的重視。他說(shuō)，現(xiàn)在如果一篇論文報(bào)告的算法優(yōu)于某些基準(zhǔn)，而非闡明該軟件的內(nèi)部工作原理，就更有可能被發(fā)表。這就是花哨的翻譯算法通過(guò)同行評(píng)審的方式。“科學(xué)的目的是產(chǎn)生知識(shí)，”他說(shuō)，“你需要生產(chǎn)出別人可以使用并可以它為基礎(chǔ)的東西?！?/p>
并非所有人都同意Rahimi和Recht的批評(píng)。臉譜網(wǎng)紐約首席AI科學(xué)家Yann LeCun擔(dān)心，把太多的精力從尖端技術(shù)轉(zhuǎn)移到核心理解上，可能會(huì)減緩創(chuàng)新，阻礙AI的實(shí)際應(yīng)用。“這不是煉金術(shù)，而是工程學(xué)。”他說(shuō)，“工程學(xué)是散亂復(fù)雜的?！?/p>
Recht發(fā)現(xiàn)一個(gè)適合系統(tǒng)性且允許冒險(xiǎn)研究的地方。“我們兩者都需要?！彼f(shuō)，“我們需要了解故障來(lái)自哪里，這樣就可以建立可靠的系統(tǒng)；我們必須向前推進(jìn)邊界，這樣就能沿著這條路線擁有更好的系統(tǒng)?！?/p>
摘自《中國(guó)科學(xué)報(bào)》
