發(fā)布時間：2022-04-20所屬分類：醫(yī)學論文瀏覽：1次
摘 要： 摘 要：胎肺發(fā)育不良常在胎兒出生時引發(fā)嚴重的呼吸窘迫，甚至造成新生兒死亡.胎肺容積測量是臨床上無創(chuàng)評估肺成熟度的一項重要手段，但現(xiàn)有的胎肺容積測量方法不僅誤差大，繁瑣耗時且臨床實用性差.本研究基于3D-nnUnet首次提出一種高效穩(wěn)定的胎肺自動分割和測量方法，
摘 要：胎肺發(fā)育不良常在胎兒出生時引發(fā)嚴重的呼吸窘迫，甚至造成新生兒死亡.胎肺容積測量是臨床上無創(chuàng)評估肺成熟度的一項重要手段，但現(xiàn)有的胎肺容積測量方法不僅誤差大，繁瑣耗時且臨床實用性差.本研究基于3D-nnUnet首次提出一種高效穩(wěn)定的胎肺自動分割和測量方法，利用網(wǎng)絡對胎肺數(shù)據(jù)的自適應，有效克服圖像組織對比度低和邊緣模糊問題，實現(xiàn)了三維超聲胎肺的精確分割.此外，針對胎肺超聲圖像在不同孕周差異大、樣本數(shù)分布極不均衡的問題，提出利用HMEP(hard-mining and easy-penalized)損失來提升模型的泛化能力和穩(wěn)定性.與二維最優(yōu)分割網(wǎng)絡DeepLab V3+和3D-Unet分割結(jié)果相比，基于 3D-nnUnet的分割網(wǎng)絡性能最佳，分割準確率高達85. 7%;HMEP Loss能夠使3D-nnUnet模型專注地學習少數(shù)困難樣本，將分割準確率提升近2%;分割模型在不同孕周的數(shù)據(jù)上所測得胎肺容積和醫(yī)生手動勾畫的胎肺容積經(jīng)一致性檢驗無顯著的統(tǒng)計學差異.實驗結(jié)果表明：該方法可高效實現(xiàn)三維超聲胎肺的自動精確分割和容積測量，具有良好的穩(wěn)定性和泛化能力，可避免以往胎肺容積測量方法繁瑣耗時、誤差較大的問題，在診斷胎肺發(fā)育狀況及評估肺成熟度方面有較好的應用前景.
關鍵詞：人工智能;胎肺成熟度;三維超聲;語義分割;深度學習;網(wǎng)絡自適應;醫(yī)學影像
胎肺發(fā)育不良是一種常見的新生兒呼吸道疾病 ， 新 生 兒 發(fā) 病 率 約 0. 11%， 但 致 死 率 高 達 70%[1].準確評估產(chǎn)前胎肺發(fā)育的成熟度，可有效避免胎肺發(fā)育不良的發(fā)生，對降低新生兒的病死率有重要意義.
傳統(tǒng)評估胎肺成熟度的方法有羊水振蕩實驗、泡沫穩(wěn)定實驗、磷脂成分檢測等[2-3].但這些方法均要做羊膜腔穿刺，不僅費時費力，還存在一定風險，患者接受度較低.在臨床上，超聲檢測是胎兒生長狀況測量和評估的主要手段，具備簡單、快速、無創(chuàng)、可重復的特點.目前應用超聲指標評估胎肺成熟度已受到越來越多臨床醫(yī)生的重視.
近年來采用超聲評估胎肺成熟度的方法主要有二維超聲測量和三維超聲測量.二維超聲測量方法主要測量胸圍、肺的面積、肺動脈內(nèi)徑、胸圍/腹圍、胎肺面積/頭圍等指標[4-5].但當孕婦患有妊娠糖尿病或胎兒本身存在異常時，二維超聲測量方法對胎肺成熟度的評估會受到一定限制.三維超聲測量方法主要測量胎肺容積.研究認為用二維超聲測量方法評估胎肺成熟度的敏感性和準確性較三維的方法低，如 VERGANI 等[6]分別使用三維超聲和二維超聲測量值進行胎肺成熟度評估，結(jié)果顯示使用三維超聲測量值進行胎肺成熟度評估更可靠，在特異性和敏感性上更具有優(yōu)勢.
目前常用的三維超聲胎肺容積測量方法包括平行切面法[7]和虛擬器官計算機輔助分析(virtual or⁃ gan computer-aided analysis，VOCAL)[8].平行切面法通過逐層手動勾畫出肺邊界來計算胎肺容積， VOCAL 是一種三維超聲體積自動測量技術，通過轉(zhuǎn)角位從不同角度來手動勾畫胎肺邊界以測算胎肺容積.研究顯示兩者均可測量正常或者發(fā)育不良的胎肺，但VOCAL 的準確性較高，重復性較平行切面法稍差[9].然而，兩種方法在臨床使用時，都會受到操作者經(jīng)驗的影響，易產(chǎn)生假陰性或假陽性[10]，且三維數(shù)據(jù)的勾畫相對繁瑣和耗時，臨床實用性差.因此，三維超聲胎肺容積測量急需精確高效的自動分割和測量方法的探索.
近年來深度學習在醫(yī)學影像領域得到了廣泛的應用，令三維超聲圖像自動分割技術飛速發(fā)展. YANG等[11]使用基于三維的卷積神經(jīng)網(wǎng)絡從胎兒超聲體數(shù)據(jù)中自動分割出了胎兒、妊娠囊和胎盤，實現(xiàn)了更準確和快速的分割.YANG等[12]提出了一種結(jié)合渲染式對比學習和半監(jiān)督學習的三維分割算法框架，解決了小樣本標注和邊緣模糊問題，實現(xiàn)了三維超聲影像中的卵巢和卵泡的精確分割.總之，應用深度學習進行胎肺三維分割的可行性強，且前景廣闊.
然而，胎肺三維超聲圖像質(zhì)量較差，這為胎肺精確分割帶來了挑戰(zhàn).圖1給出了胎肺三維超聲圖像，藍色線區(qū)域為醫(yī)生手動勾畫的右肺，紅色線區(qū)域為醫(yī)生手動勾畫的左肺.圖1展示了當前面臨的精確分割的主要困難有：① 胎肺與周圍組織的對比度小，難以精確區(qū)分胎肺區(qū)域，見圖 1(a);② 胎肺邊緣模糊，難以精確分割，見圖1(b);③ 不同孕周胎肺大小變化大，增加了分割模型的學習難度，見圖 1(b)與圖 1(c)，圖 1(b)為 16 周的胎肺，圖 1(c)為 25 周的胎肺;④ 圖像存在陰影和遮擋，會對分割模型造成干擾，見圖1(d)，其中橙色箭頭指示胎肺圖像存在其他組織遮擋，綠色箭頭處指示圖像存在陰影.
針對上述問題，本研究基于3D-nnUnet[13]首次提出一種對胎肺三維超聲圖像進行自動精確分割容積測量的方法，主要貢獻可總結(jié)為：① 首次從不同孕周的三維超聲胎肺容積圖像中高效穩(wěn)定地精確分割出胎肺，填補了臨床三維胎肺精確分割方法的空白.② 采用網(wǎng)絡動態(tài)自適應模塊自動生成最適合于胎肺三維數(shù)據(jù)的網(wǎng)絡配置，有效克服了胎肺圖像組織對比度低和邊緣模糊的問題，提升了分割精度.③ 創(chuàng)新性地提出簡單樣本懲罰(hard-mining and easy-penalized，HMEP)損失，通過關注困難樣本、減少簡單樣本影響的方法解決胎肺超聲圖像在不同孕周差異大、樣本分布極不均衡導致分割模型泛化能力差的問題，進一步提升了分割精度，也為分割任務中正負樣本強烈不平衡的場景提供解決方案.④ 能夠做到對胎肺容積的自動準確測量，其自動測量結(jié)果與醫(yī)生手動勾畫結(jié)果經(jīng)檢驗無顯著性差異，可提高臨床三維胎肺容積測量的效率與準確度，為進一步的胎肺成熟度評估提供有力依據(jù).
1 三維超聲胎肺自動分割方法
本研究提出的胎肺三維超聲自動分割與容積計算框架如圖2，包含預處理、網(wǎng)絡自適應、網(wǎng)絡訓練和測試，以及后處理 4 個步驟.在預處理階段，對數(shù)據(jù)進行裁剪、重采樣、標準化和多種數(shù)據(jù)增強.在網(wǎng)絡自適應階段，根據(jù)數(shù)據(jù)大小選擇最合適的patch尺寸，生成兩種動態(tài)網(wǎng)絡配置.在網(wǎng)絡訓練和測試階段，先采用五折交叉驗證對生成的兩種網(wǎng)絡分別進行訓練，通過驗證集選擇表現(xiàn)最佳的網(wǎng)絡配置;在測試時，對得到的最佳網(wǎng)絡進行多模型集成推理，獲取自動分割的預測圖像.在后處理階段，通過保留兩個最大連通域得到最終的分割圖像并計算預測胎肺容積.
1. 1 網(wǎng)絡動態(tài)自適應模塊
三維超聲圖像尺寸巨大且大小不一，這對圖像的特征學習和計算機性能要求帶來巨大挑戰(zhàn).為保證有效利用有限的計算資源，傳統(tǒng)的解決方法有： ① 設計合適的 patch 尺寸并基于 patch 進行圖像分割，這樣可以固定網(wǎng)絡輸入，但會損失大量的上下文信息，造成分割結(jié)果不連續(xù)和出現(xiàn)偽影現(xiàn)象. ② 將圖像統(tǒng)一縮放至較小尺寸來固定網(wǎng)絡輸入，但這樣會降低圖像質(zhì)量，損失許多細節(jié)信息，以至于無法得到較好的精細化分割結(jié)果.為避免以上問題，本研究提出網(wǎng)絡動態(tài)自適應模塊，根據(jù)現(xiàn)有計算條件選擇合適的patch尺寸，生成相應的網(wǎng)絡配置.主要設計思路是：根據(jù)胎肺三維超聲預處理后圖像的實際大小，選擇適合所用圖形處理器(graph⁃ ics processing unit，GPU)顯存的patch尺寸，并由此得到分割時網(wǎng)絡下采樣的次數(shù)K和卷積層總數(shù)5K + 2.這樣就可以使網(wǎng)絡結(jié)構(gòu)自動適應輸入patch尺寸與空間，確保網(wǎng)絡能接受的區(qū)域大小覆蓋整個輸入.選擇合適的patch尺寸的過程如圖3.
1. 2 分割網(wǎng)絡設計
胎肺數(shù)據(jù)在不同孕周大小差異巨大，因此對分割網(wǎng)絡的適應能力也不同.為找到適應不同孕周數(shù)據(jù)的分割網(wǎng)絡，本研究基于3D-nnUnet設計了兩個獨立網(wǎng)絡：① FRUnet(full resolution Unet)：網(wǎng)絡在全像素數(shù)據(jù)上運行，基于patch尺寸直接進行精細化分割;② CUnet(cascade Unet)：專門為胎肺數(shù)據(jù)中較大的體數(shù)據(jù)設計，先在低分辨率圖像上得到粗分割結(jié)果，在此基礎上再進行細分割，進行細節(jié)的補充和調(diào)整.這兩種網(wǎng)絡架構(gòu)都適合胎肺三維超聲數(shù)據(jù)，故本研究同時對這兩種網(wǎng)絡進行訓練，根據(jù)交叉驗證結(jié)果自動選擇一個表現(xiàn)更好的網(wǎng)絡配置.本研究設計的胎肺分割網(wǎng)絡框架如圖4.胎肺三維超聲圖像以 patch 為單位，在 FRUnet 和 CUnet 網(wǎng)絡模塊中進行特征學習.FRUnet 模塊由 1 個 3D UNet[14]組成，CUnet模塊由2個3D UNet級聯(lián)組成. 3D UNet網(wǎng)絡下采樣結(jié)構(gòu)中采樣次數(shù)K與卷積層的總數(shù)由patch尺寸決定.每個patch通過K次下采樣快速聚合上下文信息，一直下采樣到特征圖達到最小體素(4 × 4 × 4).每次下采樣操作進行2次卷積 —標準化—激活函數(shù)的操作.每次上采樣均通過轉(zhuǎn)置卷積實現(xiàn).其中，下采樣每個尺寸的特征圖均通過跳躍連接與上采樣得到的相應尺寸的特征圖進行融合.
1. 3 損失函數(shù)設計
損失函數(shù)關系著網(wǎng)絡的學習和收斂，對網(wǎng)絡的性能起著關鍵作用.在三維分割中最常用的損失函數(shù)為骰子損失(dice loss)[15]，用來衡量預測圖和金標準兩者間的重疊程度，可較好地解決分割任務中正負樣本強烈不平衡(前景區(qū)域較小)的問題.但實際上，dice損失在訓練過程中更側(cè)重對前景區(qū)域的挖掘，在小目標情況下容易不穩(wěn)定，對困難樣本
和不均衡的樣本關注度不夠.對于分割困難樣本的學習，焦點損失(focal loss)[16]通過調(diào)節(jié)簡單樣本權重降低的速率，加強網(wǎng)絡對困難樣本的關注度.TopK 損失(TopK loss)[17]通過強迫網(wǎng)絡在訓練過程中關注少數(shù)困難樣本，使模型在學習的過程中可以更好地專注于復雜不均衡樣本.兩者都沒有過多關注樣本前景區(qū)域.
本研究針對胎肺數(shù)據(jù)在不同孕周胎肺圖像差異大和樣本數(shù)量在不同孕周分布極其不均衡的問題，融合 dice 損失、focal 損失和 TopK 損失的優(yōu)勢，創(chuàng)新 性 地 提 出 HMEP 損 失(hard-mining and easypenalized loss)與EP損失(easy-penalized loss)，使網(wǎng)絡在保證對前景區(qū)域足夠挖掘的基礎上，加強對困難樣本和不均衡樣本的關注，進一步提升網(wǎng)絡的學習能力.HMEP損失是dice損失、focal損失和TopK 損失的復合損失函數(shù)，即
2 實 驗
2. 1 數(shù)據(jù)采集
實驗數(shù)據(jù)采集自深圳市福田婦幼保健院超聲科，所用的超聲設備型號為GE e8、GE e10和三星 Ws 80，使用三維容積探頭共采集到 325 個胎肺三維超聲數(shù)據(jù).經(jīng)產(chǎn)科專家納入排除，均確認為正常胎肺數(shù)據(jù).所有數(shù)據(jù)由 6 位中高年資醫(yī)生(臨床經(jīng)驗6 ~ 10 a)在橫斷面上逐幀精確標注左右兩個胎肺輪廓，并由2位高年資醫(yī)生(臨床經(jīng)驗> 10 a)進行嚴格核查修改.在本研究中，290個三維數(shù)據(jù)及其標注用于實驗，35個數(shù)據(jù)用于獨立測試.實驗數(shù)據(jù)涵蓋16 ~ 40孕周，其分布如圖5.用于分割的二維數(shù)據(jù)和分割標注是由三維數(shù)據(jù)及其標注在橫斷面上切分出來的，實驗數(shù)據(jù)集規(guī)模與劃分如表1.
2. 2 數(shù)據(jù)預處理
在本研究中，用于胎肺二維分割實驗的圖像統(tǒng)一經(jīng)過中心裁剪并縮放至448 × 448像素，再經(jīng)過標準化處理(圖像的像素矩陣減去均值并除以其標準差).在 3D-Unet 分割實驗中，用于胎肺三維分割實驗的三維圖像經(jīng)過中心裁剪并縮放至 256 × 256 × 256 體像素，訓練集通過隨機裁剪進行數(shù)據(jù)增強.在3D-nnUnet分割實驗中，先利用三維圖像的標簽尋找一個最小的三維邊界框，裁剪掉與三維圖像無關區(qū)域.之后為保持三維圖像中單個體素所代表的實際空間大小一致，在確定重采樣的目標空間大小后，根據(jù)目標空間確定每個三維圖像的目標尺寸，并對三維圖像尺寸進行調(diào)整.最后，對每個三維胎肺圖像利用自身均值和標準差進行標準化.
2. 3 網(wǎng)絡設置
本研究將提出的三維分割網(wǎng)絡與常用的二維和三維分割網(wǎng)絡進行對比.所用二維分割網(wǎng)絡包括： ① FCN[18]：采用 FCN-8s，通過反卷積將特征圖恢復 到 原 圖 大 小 ， 其 骨 干 網(wǎng) 絡 為 VGG-16. ② Unet[19]：通過跳躍連接將下采樣提取的不同尺度胎肺特征圖像依次融入上采樣過程.③ PSPN[20]：利用金字塔池化在不同層次上融合提取到的胎肺特征，其骨干網(wǎng)絡為 ResNet-34.④ DeeplabV3+ [21]：應用膨脹卷積和深度可分離卷積，將空間金字塔池化和編碼解碼操作融合成一體.其骨干網(wǎng)絡為 ResNet-101.進行三維分割對比實驗的是3D-Unet，保留二維 Unet 原有模塊結(jié)構(gòu)，將三維卷積算子替換為原來的二維算子.
所有分割網(wǎng)絡均使用Adam優(yōu)化器，初始學習率為1 × 10-4 ，權重衰減因子為0. 01.所有網(wǎng)絡均基于PyTorch學習框架，操作系統(tǒng)為Linux，在兩塊型號為NVIDIA GTX3060Ti的GPU上進行訓練.考慮到胎肺數(shù)據(jù)在不同孕周分布極不平衡，在二維分割實驗中采用focal損失，其中γ = 2.在三維分割實驗中，采用EP損失與HMEP loss 作為損失函數(shù).
2. 5 優(yōu)化與后處理
為得到二維胎肺分割的最優(yōu)結(jié)果，針對胎肺圖像邊緣模糊與圖像對比度差的問題，本研究提出3 種優(yōu)化策略：① 上采樣增加邊緣分支，使網(wǎng)絡在反傳時能夠?qū)W習到更多胎肺邊緣信息，增強網(wǎng)絡對胎肺邊緣的約束.② 測試時增強(test time augmen⁃ tation，TTA)，在二維分割模型推理測試階段，將原始測試圖像進行水平翻轉(zhuǎn)等數(shù)據(jù)增強，再對推理的多個結(jié)果進行綜合得到平均輸出作為最終分割結(jié)果.③ 邊緣優(yōu)化+TTA，即將前兩種方法綜合起來同時使用.在三維分割實驗中，針對過分割的問題，本研究采用保留最大兩個連通區(qū)域以去除分割結(jié)果中的冗余組織，提升三維胎肺分割效果.
3 實驗結(jié)果及分析
3. 1 二維分割對比實驗結(jié)果及優(yōu)化分析
為探究在二維胎肺圖像中可達到的最佳分割效果，本研究進行了二維分割對比實驗.表2為二維分割實驗中，分別采用FCN、Unet、PSPN和DeepLab V3+ 4種網(wǎng)絡在測試集上的分割結(jié)果，以及分割效果表現(xiàn)最好的DeepLab V3+網(wǎng)絡使用不同優(yōu)化方法后的分割結(jié)果.由表 2 可見，DeepLab V3+的分割性能最佳，其分割的DSC可達82. 5%，能夠比較準確地分割出胎肺.采用邊緣優(yōu)化與TTA相結(jié)合的優(yōu)化方法能使DeepLab V3+網(wǎng)絡的DSC達83. 2%，提升 0. 7%，IoU 可達 71. 2%，HD 指標減至 6. 325 mm，表明該優(yōu)化方法進一步提高了網(wǎng)絡對胎肺的分割準確率.
由表2可知，二維網(wǎng)絡分割出胎肺的平均DSC 超過80%，平均IoU超過69%，平均HD小于7 mm，說明采用二維網(wǎng)絡分割胎肺的方法雖然可行，但離精確分割還有一定差距.實際上，二維分割忽略了胎肺的空間信息，不能學到胎肺在空間中的連續(xù)性，這是二維分割胎肺方法的固有局限，也是導致二維分割胎肺不精準的最大原因.
圖 6 定性展示了不同二維分割網(wǎng)絡分割結(jié)果.其中，圖6(a)為二維B超原圖;圖6(b)為醫(yī)生的手工標注結(jié)果(金標準);圖 6(c)—(f)依次為采用 FCN、Unet、PSPN 和 DeepLab V3+網(wǎng)絡的分割結(jié)果.由圖6可見，F(xiàn)CN網(wǎng)絡分割效果最差;Unet與 PSPN網(wǎng)絡次之，分割結(jié)果不夠精細;DeepLab V3+ 網(wǎng)絡既能較完整地分割出胎肺，亦能保證分割出的胎肺邊緣比較精細，更貼近人工標注的水準，分割效果最好.
3. 2 三維分割結(jié)果及優(yōu)化分析
表3記錄了3D-Unet和3D-nnUnet兩種三維分割網(wǎng)絡采用不同的損失函數(shù)時，在測試集上獲得的性能指標和平均分割時間，同時記錄了分割結(jié)果經(jīng)后處理優(yōu)化前后網(wǎng)絡的分割性能指標.結(jié)果表明，當兩種網(wǎng)絡均采用 dice 損失時，3D-nnUnet 網(wǎng)絡的各項分割性能均明顯優(yōu)于3D-Unet網(wǎng)絡，分割后DSC 達 85. 3%，IoU 達 74. 4%，HD 達 5. 882 mm，高于二維分割實驗中DeepLab V3+網(wǎng)絡達到的最佳分割性能，可見采用三維網(wǎng)絡分割胎肺的方法優(yōu)于二維網(wǎng)絡的分割方法.采用HMEP 損失的3D-nnUnet網(wǎng)絡的分割性能要優(yōu)于使用 dice 損失與 EP 損失，其 DSC達85. 3%，提升了1. 8%.對比4種網(wǎng)絡分割方法所用時間發(fā)現(xiàn)，3D-Unet 采用dice 損失分割胎肺的平均時間約為1. 4 s;3D-nnUnet分別采用dice損失、EP 損失和 HMEP 損失分割胎肺的時間相差無幾，平均用時均接近2. 6 s.可見，3D-Unet網(wǎng)絡在分割效率上略高于3D-nnUnet網(wǎng)絡，而采用何種損失函數(shù)對于 3D-nnUnet 模型的分割效率幾乎無影響.——論文作者：王琳1 ，曹艷2 ，鄧子微2 ，胡炯通2 ，梁嘉敏2 ，曹曉焱1 ，潘文雄1 ，嚴玉玲1 ，孫志偉1 ，楊鑫2 ，倪東2
本文來源于：《深圳大學學報理工版》(雙月刊)1984年12月創(chuàng)刊，在反映深圳大學理工類教學科研的最新成果及深圳高新技術發(fā)展成就，促進省內(nèi)外學術交流。
