生成式人工智能近年來受到廣泛關(guān)注，作為人工智能的一個分支，其能夠模擬人類思維創(chuàng)造出新的內(nèi)容，而不僅僅是分析或處理現(xiàn)有數(shù)據(jù)。

近日，商湯科技聯(lián)合行業(yè)合作伙伴，結(jié)合生成式人工智能和醫(yī)療圖像數(shù)據(jù)的多中心聯(lián)邦學(xué)習(xí)發(fā)表的最新研究成果《通過分布式合成學(xué)習(xí)挖掘多中心異構(gòu)醫(yī)療數(shù)據(jù)》（Mining Multi-Center Heterogeneous Medical Data with Distributed Synthetic Learning），登上國際頂級學(xué)術(shù)期刊《自然》（Nature）子刊《自然-通訊》（Nature Communications）。

《自然-通訊》是一本完全開放獲取的綜合性期刊，發(fā)表自然科學(xué)各個領(lǐng)域的高質(zhì)量研究成果，影響因子為16.6。

圖說：論文收錄結(jié)果公布

論文提出一個基于分布式合成對抗網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)框架DSL（Distributed Synthetic Learning），可利用多中心的多樣性醫(yī)療圖像數(shù)據(jù)來聯(lián)合學(xué)習(xí)圖像數(shù)據(jù)的生成。該分布式框架通過學(xué)習(xí)得到一個圖像數(shù)據(jù)生成器，它可以更靈活地生成數(shù)據(jù)，這些生成數(shù)據(jù)可以替代多中心的真實數(shù)據(jù)，用于下游具體機(jī)器學(xué)習(xí)任務(wù)的訓(xùn)練，并具備較強(qiáng)的可擴(kuò)展性。

伴隨大模型的快速發(fā)展，Model as a Service（MaaS，模型即服務(wù)）概念也日漸興起。MaaS的大模型需要從海量的、多類型的數(shù)據(jù)中學(xué)習(xí)通用特征和規(guī)則，從而具備較強(qiáng)的泛化能力。DSL框架能夠在保護(hù)數(shù)據(jù)隱私的同時巧妙解決醫(yī)療大模型訓(xùn)練中常見的數(shù)據(jù)量不足的瓶頸，可有效賦能MaaS的大模型訓(xùn)練，為醫(yī)療大模型的開發(fā)迭代帶來重大突破。在這一技術(shù)的支撐下，商湯的“醫(yī)療大模型工廠”能夠幫助醫(yī)療機(jī)構(gòu)更高效、高質(zhì)量地訓(xùn)練針對不同臨床問題的醫(yī)療大模型，使大模型在醫(yī)療領(lǐng)域的應(yīng)用半徑得到進(jìn)一步延伸。

兼顧隱私保護(hù)和數(shù)據(jù)共享

創(chuàng)新聯(lián)邦學(xué)習(xí)模式打造“數(shù)據(jù)生產(chǎn)工廠”

深度學(xué)習(xí)模型需要大量且多樣性的數(shù)據(jù)“喂養(yǎng)”，但醫(yī)療領(lǐng)域?qū)τ脩魝€人隱私保護(hù)有著極高的要求，這使得用于模型訓(xùn)練的醫(yī)療數(shù)據(jù)，在多樣性和標(biāo)注質(zhì)量上都受到限制，也使多中心的醫(yī)療數(shù)據(jù)收集和醫(yī)療AI模型的開發(fā)迭代面臨較大的挑戰(zhàn)。

如何調(diào)和隱私保護(hù)和數(shù)據(jù)共享協(xié)作的矛盾？近幾年興起的“聯(lián)邦學(xué)習(xí)”提供了全新的解題思路。聯(lián)邦學(xué)習(xí)是一種分布式的機(jī)器學(xué)習(xí)方法, 可以在不共享數(shù)據(jù)的情況下對多中心的數(shù)據(jù)進(jìn)行聯(lián)合建模，在保證數(shù)據(jù)安全的同時聯(lián)合學(xué)習(xí)某一特定應(yīng)用模型。

與主流的聯(lián)邦學(xué)習(xí)模式不同的是，DSL框架的學(xué)習(xí)目標(biāo)是數(shù)據(jù)生成器，而非具體應(yīng)用的任務(wù)模型。該分布式架構(gòu)由一個位于中央服務(wù)器的數(shù)據(jù)生成器和多個位于不同數(shù)據(jù)中心的數(shù)據(jù)鑒別器組成。在學(xué)習(xí)過程中，中央生成器負(fù)責(zé)生成“假”的圖像數(shù)據(jù)，并發(fā)送給各個數(shù)據(jù)中心，各個數(shù)據(jù)中心用本地的真實數(shù)據(jù)和收到的“假”數(shù)據(jù)進(jìn)行對比后將結(jié)果回傳給中央服務(wù)器，并基于反饋結(jié)果訓(xùn)練中央生成器生成更仿真的圖像數(shù)據(jù)。分布式的合成學(xué)習(xí)結(jié)束之后，中央生成器可以作為“數(shù)據(jù)生產(chǎn)工廠”，根據(jù)給定的約束條件（標(biāo)注）生成高質(zhì)量仿真圖像數(shù)據(jù)，從而得到一個由生成數(shù)據(jù)組成的數(shù)據(jù)庫。

該數(shù)據(jù)庫可以替代真實數(shù)據(jù)，用于下游具體任務(wù)的學(xué)習(xí)，使下游模型的更新迭代不再受到真實數(shù)據(jù)可訪問性的制約。同時，該方法通過分布式架構(gòu)和聯(lián)邦學(xué)習(xí)方式保證中央服務(wù)器無需接觸數(shù)據(jù)中心的真實數(shù)據(jù)，也不需要同步各中心的鑒別器模型，有效保障了數(shù)據(jù)安全和隱私保護(hù)。

圖說：DSL框架包含一個中央生成器和多個分布式鑒別器，每個鑒別器位于一個醫(yī)療實體中

經(jīng)過訓(xùn)練的生成器可以作為“數(shù)據(jù)生產(chǎn)工廠”，為下游具體任務(wù)的學(xué)習(xí)構(gòu)建數(shù)據(jù)庫

賦能MaaS新生態(tài)發(fā)展

為醫(yī)療大模型開發(fā)迭代按下加速鍵

DSL框架已通過多個具體應(yīng)用的驗證，包括大腦多序列MRI圖像生成及下游的大腦腫瘤分割任務(wù)，心臟CTA圖像生成及下游的全心臟結(jié)構(gòu)分割任務(wù)，多種器官的病理圖像生成及細(xì)胞核實例分割任務(wù)等。在可擴(kuò)展性方面，該方法還可支持多模態(tài)數(shù)據(jù)中缺失模態(tài)數(shù)據(jù)的生成、持續(xù)學(xué)習(xí)等不同場景。

在瑞金醫(yī)院的展區(qū)，SenseCare?肝臟手術(shù)智能規(guī)劃系統(tǒng)憑借高效精準(zhǔn)的病灶檢出、三維重建、手術(shù)規(guī)劃等功能，吸引不少觀眾駐足。從二維的肝臟CT影像，變?yōu)橐荒苛巳坏娜S立體模型，只需短短幾分鐘。輕輕拖動鼠標(biāo)，就可在模型上自定義切面、角度、血管離斷位置等，幫助醫(yī)生幾分鐘內(nèi)完成精準(zhǔn)的肝臟手術(shù)規(guī)劃。

圖說：不同應(yīng)用中生成數(shù)據(jù)示例：(a) 心臟CTA，(b) 大腦多模態(tài)MRI，(c) 病理圖像

生成的數(shù)據(jù)構(gòu)成大數(shù)據(jù)庫可用于下游具體任務(wù)模型的學(xué)習(xí)，例如：(d) 全心分割，(e) 腦腫瘤分割，(f) 細(xì)胞核分割

DSL框架的構(gòu)建，也有利于推動MaaS服務(wù)模式的發(fā)展。MaaS的醫(yī)療大模型在數(shù)據(jù)學(xué)習(xí)過程中，同樣會遇到醫(yī)療數(shù)據(jù)隱私安全保護(hù)的問題，而基于DSL框架，可以有效地從多中心多樣性數(shù)據(jù)中建立數(shù)據(jù)集倉庫，通過生成數(shù)據(jù)，在保障數(shù)據(jù)安全和隱私的同時為大模型的開發(fā)迭代提供創(chuàng)新思路。

細(xì)化到具體應(yīng)用場景，DSL框架可助力醫(yī)療機(jī)構(gòu)高效開展跨中心、跨地域模型訓(xùn)練工作。不同區(qū)域醫(yī)療機(jī)構(gòu)在疾病數(shù)據(jù)多樣性方面存在明顯的地域性差異，過去受限于數(shù)據(jù)安全和隱私保護(hù)的要求，使用跨中心醫(yī)療數(shù)據(jù)聯(lián)合訓(xùn)練醫(yī)療模型難度較大。而借助DSL框架，有望幫助醫(yī)療機(jī)構(gòu)更加高效便捷地開展跨中心醫(yī)療模型訓(xùn)練。

在此前的世界人工智能大會（WAIC）上，商湯科技與行業(yè)伙伴合作，推出了醫(yī)療大語言模型、醫(yī)療影像大模型、生信大模型等多種垂類基礎(chǔ)模型群，覆蓋CT、MRI、超聲、內(nèi)鏡、病理、醫(yī)學(xué)文本、生信數(shù)據(jù)等不同醫(yī)療數(shù)據(jù)模態(tài)。并展示了融入醫(yī)療大模型的升級版“SenseCare?智慧醫(yī)院”綜合解決方案，以及多個醫(yī)療大模型落地案例。借助商湯大裝置的超大算力和醫(yī)療基礎(chǔ)模型群的堅實基礎(chǔ)，商湯科技得以化身“醫(yī)療大模型工廠”，幫助醫(yī)療機(jī)構(gòu)針對不同臨床問題高效訓(xùn)練模型，甚至輔助機(jī)構(gòu)實現(xiàn)模型自主訓(xùn)練。

圖說：WAIC期間商湯科技展示了大模型在醫(yī)療領(lǐng)域的多個落地應(yīng)用案例

隨著DSL框架的推出，醫(yī)療大模型的訓(xùn)練將有望突破“數(shù)據(jù)孤島”的桎梏，一定程度上降低了醫(yī)療大模型的訓(xùn)練門檻，有助于加速模型開發(fā)迭代，使醫(yī)療大模型的應(yīng)用范圍得以進(jìn)一步延伸，覆蓋更多臨床醫(yī)療問題。未來，商湯科技將持續(xù)聚焦醫(yī)療機(jī)構(gòu)的多樣化需求，推動醫(yī)療大模型在更多醫(yī)療場景的落地，更好地助力醫(yī)院智慧化轉(zhuǎn)型及高質(zhì)量發(fā)展，助力普惠醫(yī)療的實現(xiàn)。