記者今天從上海人工智能實驗室（上海AI實驗室）獲悉，由該實驗室牽頭，聯(lián)合國內(nèi)外頂級科研機(jī)構(gòu)、高校及醫(yī)院共同研發(fā)的全球首個醫(yī)療多模態(tài)基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”對外發(fā)布。該模型融合全球頂尖AI研發(fā)實力、海量醫(yī)學(xué)數(shù)據(jù)以及醫(yī)學(xué)專家知識，突破了小樣本、標(biāo)注難度高等限制人工智能在醫(yī)療場景使用的長尾問題。
據(jù)悉，“OpenMEDLab浦醫(yī)”大模型已與全國多家頭部三甲醫(yī)院開展合作，并將于近期逐步開源，該模型將促進(jìn)基于醫(yī)療基礎(chǔ)模型的跨領(lǐng)域、跨疾病、跨模態(tài)科研突破，同時助力解決醫(yī)療領(lǐng)域的長尾問題，推動醫(yī)療大模型的產(chǎn)業(yè)落地。
聯(lián)合頂尖機(jī)構(gòu)，共建多模態(tài)醫(yī)療大模型
(資料圖片僅供參考)
作為牽頭單位，上海AI實驗室聯(lián)合了多個國內(nèi)外組織共同參與開源“OpenMEDLab浦醫(yī)”基礎(chǔ)模型群，包括廣州實驗室、之江實驗室等頂尖科研機(jī)構(gòu)，上海交通大學(xué)、復(fù)旦大學(xué)、電子科技大學(xué)、華東理工大學(xué)、北京郵電大學(xué)、美國羅格斯大學(xué)、英屬哥倫比亞大學(xué)、香港中文大學(xué)等高校，以及上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院、上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院、四川大學(xué)華西醫(yī)院、鄭州大學(xué)第一附屬醫(yī)院等醫(yī)療機(jī)構(gòu)。
“OpenMEDLab浦醫(yī)”融合了全球頂尖的AI研發(fā)能力、海量醫(yī)學(xué)數(shù)據(jù)以及醫(yī)學(xué)專家知識，首批發(fā)布的基礎(chǔ)模型群中，包含基于醫(yī)學(xué)圖像、醫(yī)學(xué)文本、生物信息、蛋白質(zhì)工程等10余種數(shù)據(jù)模態(tài)訓(xùn)練而成的基礎(chǔ)模型。
在語言模型方面，“OpenMEDLab浦醫(yī)”開源了由上海AI實驗室與上海交通大學(xué)、華東理工大學(xué)合作開發(fā)的中文醫(yī)療語言大模型，基于海量醫(yī)學(xué)知識和真實醫(yī)患互動對話數(shù)據(jù)，可提供導(dǎo)診、問診、健康咨詢、輔助決策等多場景多輪會話能力。聯(lián)合團(tuán)隊對多個語言大模型的醫(yī)療能力進(jìn)行了系統(tǒng)的對比評測，評測代碼及數(shù)據(jù)已公布。
在圖像方面開源的一系列模型群，可針對放射影像、病理圖像、內(nèi)鏡、超聲等不同影像模態(tài)，實現(xiàn)高精度的檢測、分割、分類等前沿研究和臨床任務(wù)，高效賦能解決基于醫(yī)學(xué)影像的臨床任務(wù)，模型具有輕量級的特點，能滿足創(chuàng)新研究的臨床部署與便捷應(yīng)用。
在生物醫(yī)藥方面，“OpenMEDLab浦醫(yī)”同樣大有可為。例如由上海AI實驗室和上海交通大學(xué)共同研發(fā)的蛋白質(zhì)序列大模型，通過融合生物醫(yī)學(xué)專業(yè)知識，可助力設(shè)計合成高穩(wěn)定性高生物活性蛋白質(zhì)，解決蛋白類新藥研發(fā)過程中普遍存在的耗時長、耗費高等難題。
為了方便開發(fā)者使用，“OpenMEDLab浦醫(yī)”開源平臺在提供基礎(chǔ)模型下載的同時，還提供了下游任務(wù)應(yīng)用范例、測試數(shù)據(jù)、對應(yīng)標(biāo)注和評價指標(biāo)，幫助開發(fā)者全流程高效使用基模型開展研發(fā)工作。此外，為推動產(chǎn)學(xué)研協(xié)作，深化醫(yī)學(xué)圖像分析基礎(chǔ)模型的可行性探索，上海AI實驗室發(fā)起《〈Medical Image Analysis〉基礎(chǔ)模型特刊》與NeurIPS 2023醫(yī)學(xué)圖像分析基礎(chǔ)模型應(yīng)用挑戰(zhàn)賽，向全球人工智能及醫(yī)療領(lǐng)域的研究人員和機(jī)構(gòu)發(fā)出“英雄帖”，通過 “一刊一賽”，進(jìn)一步推動醫(yī)療基礎(chǔ)模型的研究和應(yīng)用。
突破小樣本、弱標(biāo)注瓶頸，解決醫(yī)療長尾問題
近年來，超大參數(shù)深度學(xué)習(xí)基模型在計算機(jī)視覺（CV）、自然語言處理（NLP）等領(lǐng)域獲得突破性進(jìn)展，能夠基于大模型的超強(qiáng)泛化能力應(yīng)用于許多下游任務(wù)的分析。然而醫(yī)學(xué)數(shù)據(jù)在數(shù)據(jù)模態(tài)、成像模式、圖像特征等方面種類繁多、差別較大，使得通用大模型難以在醫(yī)學(xué)圖像分析方面實現(xiàn)令人滿意的性能。在高度關(guān)注數(shù)據(jù)私密性的醫(yī)療機(jī)構(gòu)中，落地部署也存在較大困難，當(dāng)前，針對特定任務(wù)進(jìn)行單獨模型訓(xùn)練依然是該領(lǐng)域主流的解決方案。然而，醫(yī)療下游長尾任務(wù)的數(shù)據(jù)樣本少、標(biāo)注難度高，這也限制了人工智能在更多醫(yī)療場景的應(yīng)用。
如何將CV、NLP通用大模型“為我所用”，并發(fā)展出更適合醫(yī)療場景的基礎(chǔ)模型，上海AI實驗室首創(chuàng)了多層級、多場景、高精度、可落地的醫(yī)療基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”。首先，基于CV、NLP大模型對醫(yī)療圖像和文本通用特征的學(xué)習(xí)，上海AI實驗室針對不同醫(yī)療數(shù)據(jù)模態(tài)開發(fā)了一系列基模型，例如CT、MRI、超聲、內(nèi)鏡、病理、醫(yī)學(xué)文本等，以充分學(xué)習(xí)和利用不同數(shù)據(jù)模態(tài)獨有的特征和模式。
基于上述多層級、多場景的基礎(chǔ)模型群，“OpenMEDLab浦醫(yī)”可以將先前醫(yī)學(xué)數(shù)據(jù)訓(xùn)練中學(xué)習(xí)到的特征，高效應(yīng)用于海量醫(yī)療下游問題中，從而實現(xiàn)針對不同任務(wù)的小數(shù)據(jù)、弱標(biāo)注、高效率的訓(xùn)練。同時，模型群兼顧性能與落地的平衡，在醫(yī)療場景中的部署應(yīng)用更具便捷性，從而讓基礎(chǔ)模型在更多醫(yī)療長尾問題中得以落地應(yīng)用。
例如，上海AI實驗室聯(lián)合四川大學(xué)華西醫(yī)院和上海交通大學(xué)，分別應(yīng)用預(yù)訓(xùn)練得到的視覺和語言大模型，采用小樣本模型激活的算法，進(jìn)行醫(yī)療圖像中多種病灶的檢測和疾病分類，得到了相較傳統(tǒng)遷移學(xué)習(xí)精度更高的實驗結(jié)果。這意味著，未來科研人員將能夠更好地應(yīng)對小數(shù)據(jù)甚至零數(shù)據(jù)樣本的醫(yī)療生物場景。
成果落地，開啟“醫(yī)療通用大模型時代”
醫(yī)療多模態(tài)基礎(chǔ)模型群的問世，為大模型賦能醫(yī)療場景帶來了更多可能。目前，“OpenMEDLab浦醫(yī)”研發(fā)團(tuán)隊已與全國多家頭部三甲醫(yī)院及醫(yī)藥企業(yè)開展合作，全方位賦能醫(yī)院診療及藥物研發(fā)工作。
在上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院，“醫(yī)學(xué)數(shù)字人”已應(yīng)用于全身多部位、多器官、多模態(tài)影像的智能輔助診療，覆蓋十余個臨床方向，全方位賦能患者診療愈全流程；在四川大學(xué)華西醫(yī)院，雙方合作打造基于自動提示詞微調(diào)的視覺語言大模型，顯著提高了小樣本下的醫(yī)學(xué)圖像的檢測性能，為視覺語言大模型在醫(yī)療圖像領(lǐng)域提供了應(yīng)用范式；在鄭州大學(xué)第一附屬醫(yī)院，雙方正合作開發(fā)醫(yī)療語言大模型，將整合海量藥學(xué)知識和專家經(jīng)驗，通過線上服務(wù)為患者提供更便捷、更全面的用藥咨詢。在生物制藥領(lǐng)域，與多家知名藥企合作，利用基礎(chǔ)模型賦能蛋白質(zhì)工程，助力藥品研發(fā)。
編輯：沈湫莎
圖片：上海AI實驗室提供
責(zé)任編輯：任荃
標(biāo)簽：
