国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

論文建立了世界首個(gè)知識(shí)與數(shù)據(jù)聯(lián)合驅(qū)動(dòng)的多物種生命基礎(chǔ)大模型GeneCompass，同時(shí)處理了人類和小鼠兩個(gè)物種的轉(zhuǎn)錄組數(shù)據(jù)，包含了超過(guò)1.26億個(gè)單細(xì)胞并覆蓋3.6萬(wàn)個(gè)基因，融合了啟動(dòng)子序列、基因共表達(dá)關(guān)系、基因家族標(biāo)注和基因調(diào)控關(guān)系等四種先驗(yàn)知識(shí)。GeneCompass的參數(shù)量超過(guò)1.3億，實(shí)現(xiàn)了對(duì)基因表達(dá)調(diào)控規(guī)律的全景式學(xué)習(xí)理解，同時(shí)支持細(xì)胞狀態(tài)變化預(yù)測(cè)及多種生命過(guò)程的精準(zhǔn)分析，展示了人工智能賦能生命科學(xué)研究的強(qiáng)大能力和巨大潛力。

GeneCompass是國(guó)際上首個(gè)融入先驗(yàn)知識(shí)的預(yù)訓(xùn)練基礎(chǔ)大模型，發(fā)展了知識(shí)與數(shù)據(jù)聯(lián)合驅(qū)動(dòng)的新范式。GeneCompass采用gene2vec、DNABert等工具將啟動(dòng)子序列、已知基因調(diào)控網(wǎng)絡(luò)、基因家族信息和基因共表達(dá)關(guān)系等四種生物學(xué)先驗(yàn)知識(shí)進(jìn)行編碼，在單細(xì)胞轉(zhuǎn)錄組的基因ID和表達(dá)值基礎(chǔ)上加入人類注釋信息編碼，提高了對(duì)生物數(shù)據(jù)間復(fù)雜特征關(guān)聯(lián)關(guān)系的理解。通過(guò)訓(xùn)練整合了不同物種的數(shù)據(jù)信息及先驗(yàn)知識(shí)，GeneCompass顯著提升了多種下游任務(wù)的性能，有望進(jìn)一步提高傳統(tǒng)生物學(xué)研究的效率和精準(zhǔn)性，為尚無(wú)法突破的復(fù)雜生命科學(xué)難題帶來(lái)新的切入點(diǎn)。

GeneCompass采用基于Transformer的深度學(xué)習(xí)架構(gòu)，通過(guò)擴(kuò)展傳統(tǒng)的掩碼語(yǔ)言模型Masked Auto Encoder（MAE）方式進(jìn)行預(yù)訓(xùn)練，根據(jù)單細(xì)胞轉(zhuǎn)錄組的上下文同時(shí)預(yù)測(cè)掩碼的基因ID及其表達(dá)值，捕獲不同基因之間在不同細(xì)胞背景下的長(zhǎng)程動(dòng)態(tài)關(guān)聯(lián)，通過(guò)多任務(wù)聯(lián)合預(yù)訓(xùn)練形成更加細(xì)粒度的生命基礎(chǔ)大模型。預(yù)訓(xùn)練完成后，GeneCompass進(jìn)一步應(yīng)用于多種下游任務(wù)，對(duì)單細(xì)胞轉(zhuǎn)錄組數(shù)據(jù)進(jìn)行編碼，支撐細(xì)胞類型標(biāo)注、基因擾動(dòng)預(yù)測(cè)、藥物反應(yīng)預(yù)測(cè)和基因調(diào)控關(guān)系預(yù)測(cè)等多種任務(wù)。

GeneCompass模型架構(gòu)

研究人員對(duì)人類和小鼠同一細(xì)胞類型（心肌細(xì)胞）中同源基因和非同源基因的GeneCompass編碼進(jìn)行了相似性分析，可以看出相較于非同源基因，不同物種的同源基因具有更相似的編碼，同源基因在人類和小鼠之間也具有相似的基因調(diào)控關(guān)系。

研究人員將GeneCompass編碼后的基因嵌入與跨物種細(xì)胞類型標(biāo)注的當(dāng)前最優(yōu)方法CAME進(jìn)行結(jié)合，發(fā)現(xiàn)在多種細(xì)胞尤其是視網(wǎng)膜細(xì)胞中，GeneCompass能夠顯著提升跨物種細(xì)胞類型標(biāo)注的精度。這些結(jié)果都展示了GeneCompass通過(guò)多物種聯(lián)合預(yù)訓(xùn)練獲得了生命底層的共性規(guī)律，增強(qiáng)了基因表征的能力。

在基因擾動(dòng)預(yù)測(cè)、藥物反應(yīng)預(yù)測(cè)、基因調(diào)控預(yù)測(cè)、藥物劑量反應(yīng)預(yù)測(cè)、劑量敏感基因預(yù)測(cè)等多種下游任務(wù)中GeneCompass模型均展現(xiàn)出強(qiáng)大的功能。

綜上所述，作為迄今為止最大規(guī)模的、具有知識(shí)嵌入的跨物種預(yù)訓(xùn)練生命基礎(chǔ)大模型，GeneCompass可實(shí)現(xiàn)多個(gè)跨物種下游任務(wù)的遷移學(xué)習(xí)，并在細(xì)胞類型注釋、定量基因擾動(dòng)預(yù)測(cè)、藥物敏感性分析等多個(gè)任務(wù)中取得比現(xiàn)有方法更優(yōu)的性能。這充分展示了基于多物種無(wú)標(biāo)注大數(shù)據(jù)預(yù)訓(xùn)練，再利用不同子任務(wù)數(shù)據(jù)進(jìn)行模型微調(diào)的策略優(yōu)勢(shì)，有望成為實(shí)現(xiàn)基因-細(xì)胞特征相關(guān)聯(lián)的各種生物問(wèn)題分析預(yù)測(cè)的通用解決方案。

中國(guó)科學(xué)院自動(dòng)化所劉國(guó)樂(lè)和江潔與合作單位的楊曉東、馮桂海、卜德超、王鵬飛、陳述白、楊沁蒙等為文章共同第一作者。自動(dòng)化所楊戈研究員，劉靜研究員與合作單位李鑫研究員、陳益強(qiáng)研究員、李非研究員、周元春研究員、趙屹研究員為共同通訊作者。