該研究的創新點之一是解決深度神經網絡訓練數據問題,利用風格遷移網絡實現仿真數據與實驗數據的無監督自由轉換,將豐富的帶標注仿真數據轉換到實驗域,即生成了大量帶標注的“實驗數據”用于后續深度神經網絡訓練。
日前,天津大學精密儀器與光電子工程學院李嬌副教授和高峰教授團隊,利用定量光聲深度學習的方法,實現了活體深層組織的光學功能“真實透視”成像,這在世界尚屬首次。這將為獲取活體組織生理病理相關的血氧特性圖像提供高空間分辨定量成像方法,可用于腫瘤早期篩查、良惡性診斷以及抗癌藥物療效在體監測與量化評估。該論文近日發表在國際光學期刊《Optica》上。
深度學習方法進入醫學影像學
定量光聲層析成像是一種新興的無創生物醫學成像技術,可結合傳統光學成像的功能性以及傳統超聲成像的高清晰度等優勢,直接獲取深層組織光學吸收系數圖像,因此受到國內外研究機構和醫療企業的廣泛關注。
但目前的定量光聲層析成像方法需要龐大的計算資源和時間消耗,且存在穩定性差、先驗信息依賴性強及誤差大等問題。
近年來,深度學習方法進入醫學影像學領域。但深度學習想要實現既定功能一般需要兩個過程:訓練過程以及實際識別過程。
“如果想要讓深度神經網絡充分發揮其學習能力,必須有大量帶有標注的真實數據用于其訓練過程?!闭撐牡谝蛔髡呃顙杀硎?,然而,在許多生物醫學成像中很難獲得深層組織特別是活體組織的真實值(如光學吸收系數),因此很難構建大量帶有標注的真實實驗數據集用于深度神經網絡的訓練,造成深度學習方法在許多生物醫學成像領域難以應用推廣。
針對上述難題,李嬌和高峰團隊首次提出了無需標注真實數據的定量光聲層析成像深度學習方法,實現了深層組織吸收系數的準確重建。
解決深度學習方法的泛化性難題
該研究的創新點之一是解決了深度神經網絡訓練數據問題,利用風格遷移網絡(SEED-Net)實現仿真數據與實驗數據的無監督自由轉換,將豐富的帶標注仿真數據轉換到實驗域,即生成了大量帶標注的“實驗數據”用于后續深度神經網絡訓練。
“我們提出的SEED-Net不僅可以解決定量光聲層析成像方面缺乏真實數據集的問題,在其他生物醫學成像領域例如光學、熒光層析成像中同樣受限于缺乏足夠的帶標注的真實實驗數據,也可使用該網絡通過豐富的仿真數據生成‘實驗數據’,進一步發展適用于實際應用的生物醫學成像深度學習方法。”李嬌說。
該方法具有普遍適用性,適合在不同光聲成像系統、其他光學成像技術和整個生物醫學成像領域推廣及應用。
“這也從一定程度上解決了深度學習方法的泛化性難題。”論文的通訊作者之一、天津大學副教授孫彪介紹說。
該研究的另一創新點是結合實際光聲數理模型設計了一種雙通道神經網絡,分別考慮組織光強分布和光學吸收系數對初始聲壓圖像的影響。
“目前光聲成像領域中的深度學習方法,通常是將其他領域發展好的網絡模型直接用于解決光聲成像中的問題。如何改造其神經網絡使它們更加貼近光聲或其他成像技術的數理模型將成為深度學習方法在生物醫學成像領域應用的重要問題之一?!崩顙烧f。
利用該深度學習方法,團隊成功重建出高空間分辨率的深層組織光學吸收系數定量分布圖像。
這是首次應用定量光聲層析成像深度學習方法實現對活體深層組織光學吸收系數的“真實透視”成像。無標注真實數據情況下深度神經網絡的成功應用也開拓了深度學習方法在生物醫學成像方向的發展空間。