當(dāng)今，“算力”越來(lái)越成為科技進(jìn)步、經(jīng)濟(jì)社會(huì)發(fā)展的底座，但“算力”并非千篇一律。
20世紀(jì)60年代，為解決大規(guī)模數(shù)值計(jì)算、仿真模擬等科學(xué)工程計(jì)算問(wèn)題，超級(jí)計(jì)算中心應(yīng)運(yùn)而生，至今仍以大國(guó)重器的形象為諸多行業(yè)提供科學(xué)計(jì)算服務(wù)。
21世紀(jì)前10年，互聯(lián)網(wǎng)信息服務(wù)、高并發(fā)訪問(wèn)等網(wǎng)絡(luò)計(jì)算與數(shù)據(jù)存儲(chǔ)所寄的云計(jì)算中心開(kāi)始落地，各大公有云平臺(tái)拔地而起、攻城略地。
近10年來(lái)，人工智能（AI）計(jì)算中心開(kāi)始出現(xiàn)，主要用來(lái)處理影像、語(yǔ)音、自然語(yǔ)言等識(shí)別問(wèn)題，綜合應(yīng)用多種技術(shù)實(shí)現(xiàn)推理、訓(xùn)練模型開(kāi)發(fā)。
這三類計(jì)算中心，雖然各自特點(diǎn)鮮明、用途有異，但超算與AI計(jì)算、云計(jì)算與超算、AI計(jì)算與云計(jì)算“我中有你、你中有我”的情形并不鮮見(jiàn)，相互之間的界限逐漸模糊。然而，隨之而來(lái)的以偏概全、以此代彼的亂象，竟逐漸成了一些地方建設(shè)算力中心的“糊涂賬”。
亂象源于缺乏相應(yīng)測(cè)試標(biāo)準(zhǔn)
城市應(yīng)該建設(shè)什么樣的算力中心？如何推動(dòng)算力中心健康發(fā)展？近日，在一場(chǎng)以“數(shù)智創(chuàng)新，算力賦能”為主題的2021算力中心健康發(fā)展研討會(huì)上，中國(guó)工程院院士鄭緯民等業(yè)內(nèi)學(xué)者從不同角度提供了意見(jiàn)參考。
中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專家委員會(huì)秘書(shū)長(zhǎng)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員張?jiān)迫诎l(fā)言時(shí)提到，此前，某市建設(shè)了AI計(jì)算中心，號(hào)稱算力是超級(jí)計(jì)算機(jī)的數(shù)萬(wàn)倍。“‘花錢(qián)少、算力高’這種不規(guī)范、不專業(yè)的對(duì)比讓業(yè)內(nèi)人士很反感。”
張?jiān)迫f(shuō)， AI計(jì)算中心很熱門(mén)，但如何引導(dǎo)其健康發(fā)展，“是當(dāng)下行業(yè)面臨的一個(gè)重要議題”。
國(guó)家信息中心2020年12月發(fā)布了《智能計(jì)算中心規(guī)劃建設(shè)指南》，定義“智能計(jì)算中心”是基于最新AI理論，采用領(lǐng)先AI計(jì)算架構(gòu)，提供AI應(yīng)用所需算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)的公共算力新型基礎(chǔ)設(shè)施。
“自從AI成為‘新基建’，各地政府爭(zhēng)先恐后，出錢(qián)建設(shè)AI計(jì)算中心，但總的來(lái)說(shuō)，應(yīng)用還不是太明確。”鄭緯民在上述研討會(huì)上說(shuō)，無(wú)論超算中心還是AI計(jì)算中心，最重要的是應(yīng)用匹配。“當(dāng)前最應(yīng)該做的事，不是以新基建之名攛掇政府建設(shè)算力中心，而是要真正做出來(lái)幾個(gè)實(shí)際應(yīng)用。”
這代表了業(yè)界務(wù)實(shí)的態(tài)度。中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院研究員張林波也提出，很贊同各類算力中心應(yīng)該各自發(fā)揮所長(zhǎng)，做最適合的事情。但他話鋒一轉(zhuǎn)：“AI計(jì)算現(xiàn)在有點(diǎn)咄咄逼人，好多人甚至覺(jué)得AI計(jì)算能夠取代傳統(tǒng)的科學(xué)計(jì)算。”
“這是宣傳不當(dāng)引起的概念混淆。”張?jiān)迫J(rèn)為，在高性能計(jì)算（HPC）、云、AI融合發(fā)展的趨勢(shì)下，要清晰界定三類算力中心各自的內(nèi)涵與外延，以及它們之間的相互關(guān)系，明晰不同計(jì)算精度算力與不同應(yīng)用之間的匹配。
對(duì)算力概念的混淆曾鬧出過(guò)啼笑皆非的事。一次，張?jiān)迫蚰硨W(xué)會(huì)領(lǐng)導(dǎo)匯報(bào)HPC的研制，不料卻遭到“批評(píng)”：“現(xiàn)在都什么時(shí)代了，你還在談高性能計(jì)算，太過(guò)時(shí)了。”
概念混淆之后緊跟著的是價(jià)格亂象。一般而言，算力配置不同會(huì)導(dǎo)致造價(jià)迥異——即使同等算力，不同的CPU主頻、帶寬及時(shí)延要求也會(huì)讓機(jī)器造價(jià)差別巨大，但一些廠商拿AI計(jì)算中心“花錢(qián)少、算力高”作為賣點(diǎn)吆喝，就不屬此類了。
道理很簡(jiǎn)單：同樣一個(gè)對(duì)外標(biāo)稱100P的算力中心，用建設(shè)AI計(jì)算中心的預(yù)算一定造不出超算中心的效果。
“概念混淆、價(jià)格混亂的主要原因是沒(méi)有對(duì)應(yīng)的測(cè)試標(biāo)準(zhǔn)，孰好孰壞一測(cè)就知道了。”張?jiān)迫ㄗh，要在行業(yè)中推行與AI計(jì)算平臺(tái)相適應(yīng)的標(biāo)準(zhǔn)。
清華大學(xué)教授陳文光與張?jiān)迫?020年推出了相應(yīng)的AIperf測(cè)試標(biāo)準(zhǔn)，并致力于將其國(guó)際化。但他坦言：“推出一個(gè)國(guó)際化的測(cè)試標(biāo)準(zhǔn)是很有難度的，后續(xù)還要努力。
“蠻算”的AI計(jì)算
在實(shí)際應(yīng)用中，傳統(tǒng)超算最適合用于科學(xué)和工程計(jì)算，這類計(jì)算有可計(jì)算模型，可以發(fā)展有很高精度的算法，計(jì)算結(jié)果精度也非常高。但有些問(wèn)題是科學(xué)計(jì)算力不能及的，如缺乏數(shù)學(xué)模型的問(wèn)題和超高維問(wèn)題。這時(shí)，以機(jī)器學(xué)習(xí)為代表的AI計(jì)算就派上了用場(chǎng)。
不過(guò)，張林波介紹，機(jī)器學(xué)習(xí)等是一種類似統(tǒng)計(jì)的方法，與科學(xué)計(jì)算相比其結(jié)果精度不高。另外，AI計(jì)算還有穩(wěn)定性問(wèn)題、模型泛化受限等問(wèn)題。
他舉例說(shuō)，在新冠肺炎疫情暴發(fā)之初，許多人一窩蜂地用肺部影像識(shí)別來(lái)鑒定新冠病毒感染，發(fā)了很多論文，但后來(lái)發(fā)現(xiàn)這些論文的結(jié)論幾乎沒(méi)有可用的。
“圖像識(shí)別是機(jī)器學(xué)習(xí)最擅長(zhǎng)的領(lǐng)域，發(fā)生上述情況的原因可能是訓(xùn)練數(shù)據(jù)太小或是機(jī)理不清，但或許這才是AI計(jì)算要去深究的，比如摸清機(jī)理后設(shè)計(jì)更先進(jìn)的算法等。”基于現(xiàn)階段AI計(jì)算機(jī)的作用，張林波認(rèn)為現(xiàn)在的“人工智能計(jì)算”簡(jiǎn)稱為“智能計(jì)算”或“智算”有點(diǎn)誤導(dǎo)人——“這樣的AI計(jì)算并不‘智能’。”
“沒(méi)有知識(shí)庫(kù)、沒(méi)有邏輯處理能力，當(dāng)我們搞不清楚某問(wèn)題的機(jī)理時(shí)，拿一個(gè)神經(jīng)網(wǎng)絡(luò)靠機(jī)器的規(guī)模去模仿它，這不叫‘智算’，叫‘蠻算’。”張林波說(shuō)。
國(guó)家氣象信息中心副總工程師沈文海對(duì)此產(chǎn)生了共鳴。他提出，氣象部門(mén)也在做AI應(yīng)用方面的探索，但都是各自為戰(zhàn)——圍繞某個(gè)痛點(diǎn)，如AI識(shí)別云圖、臺(tái)風(fēng)規(guī)模和路徑等，把數(shù)據(jù)拿來(lái)、接入計(jì)算資源、識(shí)別一番，確實(shí)有點(diǎn)“傻算”“蠻算”意味。
“我們?nèi)狈σ粋€(gè)長(zhǎng)期計(jì)劃或整個(gè)氣象部門(mén)的AI規(guī)劃。”沈文海認(rèn)為，長(zhǎng)此以往就有很大的弊端，一是沒(méi)有對(duì)機(jī)理成因方面的探討，二是低水平重復(fù)。
“制定一個(gè)覆蓋整個(gè)氣象部門(mén)的AI應(yīng)用發(fā)展規(guī)劃，確實(shí)很有難度，并且這會(huì)引發(fā)對(duì)算力中心的新需求。”沈文海說(shuō)。
融合發(fā)展仍是趨勢(shì)
對(duì)算力中心提出新需求的，還有時(shí)下熱門(mén)的數(shù)字孿生。
數(shù)字孿生是機(jī)器學(xué)習(xí)領(lǐng)域非常重要的研究方向之一。在借由大量傳感器將物理世界數(shù)字化、虛擬化的數(shù)字孿生世界里，AI可以做的事情很多，包括預(yù)測(cè)物理世界未來(lái)如何進(jìn)一步演進(jìn)、衍生。
中國(guó)科學(xué)院半導(dǎo)體技術(shù)研究所研究員李衛(wèi)軍說(shuō)，數(shù)字孿生“絕對(duì)需要超大的一個(gè)計(jì)算系統(tǒng)”，因?yàn)樗粌H需要包含神經(jīng)網(wǎng)絡(luò)計(jì)算，也需要很多邏輯計(jì)算。“這是一個(gè)大型的邏輯計(jì)算與抽象思維相結(jié)合的應(yīng)用場(chǎng)景”。
從本質(zhì)上來(lái)說(shuō)，高性能計(jì)算和AI計(jì)算都是在模擬人的智能：前者模擬人的邏輯計(jì)算能力，后者模擬的是人的抽象思維。只不過(guò)，超級(jí)計(jì)算機(jī)現(xiàn)在在邏輯計(jì)算方面比人的計(jì)算能力強(qiáng)億萬(wàn)倍，而AI計(jì)算機(jī)目前卻只能用深度神經(jīng)網(wǎng)絡(luò)來(lái)獲得一個(gè)近似的結(jié)果。
顯然，兩種不同的能力也不能用同一種標(biāo)準(zhǔn)評(píng)價(jià)孰好孰壞。
李衛(wèi)軍認(rèn)為，將來(lái)數(shù)字孿生要發(fā)展，需要傳統(tǒng)超算與AI計(jì)算實(shí)現(xiàn)融合，這是邏輯計(jì)算和抽象思維的一種融合，雖然它需要怎樣的計(jì)算結(jié)構(gòu)和算法目前還不得而知。
在HPC和AI融合發(fā)展的道路上，排在全球超算TOP500榜單前列的“大機(jī)器”先走一步。
日本“富岳”超級(jí)計(jì)算機(jī)（Fugaku）和美國(guó)“頂點(diǎn)”（Summit）不僅科學(xué)計(jì)算能力出眾，而且能支撐大規(guī)模的AI計(jì)算（如圖計(jì)算）需求。這緣于它們的異構(gòu)架構(gòu)——高性能CPU支撐其高精度浮點(diǎn)計(jì)算性能，大量加速芯片支撐深度學(xué)習(xí)應(yīng)用。它們作為世界上最先進(jìn)的計(jì)算機(jī)，多少代表著未來(lái)計(jì)算融合發(fā)展的方向。
但看似矛盾的是，AI與HPC的“分化”也是最近的事情。
張?jiān)迫榻B說(shuō)，自從巨參數(shù)模型（如GPT模型）誕生以來(lái)，其算力需求對(duì)于現(xiàn)存的超級(jí)計(jì)算機(jī)是“致命的”——我國(guó)七八家國(guó)家級(jí)超算中心，都不具備解決千億乃至萬(wàn)億級(jí)模型參數(shù)計(jì)算的能力，這直接導(dǎo)致AI計(jì)算的架構(gòu)和概念獨(dú)立出來(lái)。
事實(shí)上，巨模型的計(jì)算問(wèn)題，無(wú)論對(duì)超算更是AI計(jì)算都提出了巨大挑戰(zhàn)。張?jiān)迫J(rèn)為，這意味著未來(lái)超級(jí)計(jì)算機(jī)的架構(gòu)和形態(tài)還要繼續(xù)演化。
陳文光認(rèn)為，AI應(yīng)用特別是基于巨模型的應(yīng)用對(duì)網(wǎng)絡(luò)、I/O能力等的要求非常高，從融合發(fā)展的方向看，這些應(yīng)用的特殊要求反過(guò)來(lái)會(huì)影響HPC的設(shè)計(jì)，比如對(duì)帶寬的要求和I/O的設(shè)計(jì)會(huì)有一些促進(jìn)。
另外，陳文光提到，還應(yīng)重視混合精度算力的發(fā)展。比如，AI算力的單精度性能高，就可以先用它解決一些低精度計(jì)算的問(wèn)題，然后再拿到高性能計(jì)算機(jī)上完成高精度的計(jì)算要求，從而提升算力資源整體的性能和性價(jià)比。據(jù)透露，目前混合精度算力已被寫(xiě)入計(jì)算領(lǐng)域“十四五”規(guī)劃相關(guān)的指南文件中。
自底向上來(lái)看，算力中心能提供何種計(jì)算能力，從根本上取決于芯片。比如AI芯片嚴(yán)格意義上屬于專用芯片，那么國(guó)內(nèi)一些以AI芯片為主的計(jì)算機(jī)，就注定無(wú)法勝任科學(xué)計(jì)算任務(wù)。
從事服務(wù)器芯片研發(fā)的中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員范東睿介紹說(shuō)，即便AI芯片也有通用與專用之別，在他看來(lái)，專用芯片就應(yīng)該越來(lái)越專，通用芯片就要做到能涵蓋所有的精度和算法，讓其各司其職。
“（一些供應(yīng)商）把專用芯片當(dāng)成通用芯片來(lái)講故事，那就不好了。”范東睿說(shuō)，目前國(guó)內(nèi)對(duì)芯片的需求量越來(lái)越大，但作為核心器件，“芯片人”和“芯片廠”還是要有所堅(jiān)持，“不能忽悠”。
來(lái)源:《中國(guó)科學(xué)報(bào)》
