上一節(jié)課，我們講解了用深度學(xué)習(xí)進(jìn)行工區(qū)地震相預(yù)測的全過程。

但相比真實工程項目，前面使用的算法比較簡單，處理的結(jié)果也太讓人滿意。

這次課程我們介紹幾個真實項目中常用的優(yōu)化方法，進(jìn)一步提升深度學(xué)習(xí)處理的能力。

01 項目概況

我們還是使用上節(jié)課的項目，使用荷蘭F3的數(shù)據(jù)。

下面介紹一下項目的地質(zhì)情況。項目工區(qū)在荷蘭北海區(qū)域，富含碳?xì)浠衔锍练e物。北海大陸架位于荷蘭海岸附近，被劃分為不同的地理區(qū)域，用不同字母來描述；在這些區(qū)域內(nèi)是標(biāo)有數(shù)字的較小區(qū)域。其中一個區(qū)域是尺寸為16km x 24km的矩形，稱為F3區(qū)塊，見圖。

根據(jù)區(qū)塊的層位和斷層解釋情況，對該區(qū)塊進(jìn)行了三維建模，最終的3D地質(zhì)模型如圖所示：

基本網(wǎng)絡(luò)模型情況

整個網(wǎng)絡(luò)的基本架構(gòu)是一個類似自編碼的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。其中編碼部分使用了卷積層Conv2d、批正則化層BatchNorm2d，激活函數(shù)Relu，2 2的最大池化層MaxPool2d。解碼部分使用了反卷積ConvTranspose2d，批正則化層BatchNorm2d，激活函數(shù)Relu，2 2的上采樣層MaxUnpool2d。

上節(jié)課使用的是Keras框架，這種框架使用簡單，容易理解，方便快速上手運行。但本節(jié)課選用了Pytorch深度學(xué)習(xí)架構(gòu)。Pytorch對比Keras要繁雜一些，但是在深入到網(wǎng)絡(luò)更細(xì)粒度的研究時，如網(wǎng)絡(luò)調(diào)試、非標(biāo)準(zhǔn)結(jié)構(gòu)編寫等，Pytorch成為了更好的選擇。

另外，在大規(guī)模數(shù)據(jù)運算場景下，GPU運行是必不可少的。本程序強烈建議在GPU環(huán)境下運行，如果使用CPU運行，漫長的訓(xùn)練過程會讓你失去耐心。比如本次實驗運行，如果使用GPU的話可能需要1天，但換為CPU至少需要1個月。建議大家配置好顯卡的CUDA驅(qū)動后，下載安裝GPU版本的Pytorch庫文件來運行。

02 武器1，數(shù)據(jù)增強

數(shù)據(jù)增強是一種人為增加訓(xùn)練集復(fù)雜性的技術(shù)，有助于網(wǎng)絡(luò)更好地泛化測試數(shù)據(jù)。當(dāng)使用有限的訓(xùn)練數(shù)據(jù)訓(xùn)練大型網(wǎng)絡(luò)時，這招非常有用。

我們使用簡單的增強方法，包括將小塊數(shù)據(jù)隨機旋轉(zhuǎn)一定角度，進(jìn)行水平或垂直隨機翻轉(zhuǎn)，添加高斯噪聲、拉伸、改變尺寸等方法。

使用數(shù)據(jù)增強方法，對于小尺寸數(shù)據(jù)（比如尺寸在128以下的數(shù)據(jù)）的訓(xùn)練集尤其有效。經(jīng)過統(tǒng)計分析，對復(fù)雜模型的精度提升在10%以上。

數(shù)據(jù)增強3個常用方法的程序如下所示：

比如旋轉(zhuǎn)：

水平翻轉(zhuǎn)：

增加隨機噪聲：

03 武器2，網(wǎng)絡(luò)跳躍

對于神經(jīng)網(wǎng)絡(luò)模型，添加跳過連接可以改善結(jié)果，并加快訓(xùn)練速度。

在深度神經(jīng)網(wǎng)絡(luò)中，某一層網(wǎng)絡(luò)層的輸出通常作為輸入傳遞給網(wǎng)絡(luò)中的下一層。跳過連接允許將網(wǎng)絡(luò)層的輸出作為輸入傳遞到網(wǎng)絡(luò)后面的層，從而跳過中間層。這些連接是通過直接將反褶積網(wǎng)絡(luò)編碼器部分中各層的輸出，添加到解碼器中相應(yīng)層的輸入來實現(xiàn)的。跳過連接通過為計算梯度傳播到網(wǎng)絡(luò)的較低層提供“快捷方式”，幫助網(wǎng)絡(luò)克服消失梯度問題。

網(wǎng)絡(luò)跳躍在基于小塊的模型中提升效果尤其明顯。經(jīng)過統(tǒng)計，在基于小塊的模型中，添加跳過連接可提高識別精度約1-2%。

更明顯的效果是這個方法還可以加快訓(xùn)練過程。使用跳過連接模型的收斂速度是基本模型的四倍。

主要的代碼是在建立網(wǎng)絡(luò)運行流程中進(jìn)行了改造。通常情況網(wǎng)絡(luò)傳輸代碼是這樣的：

增了網(wǎng)絡(luò)跳躍的代碼后，是這樣的：

04 武器3，基于截面訓(xùn)練

傳統(tǒng)構(gòu)造訓(xùn)練集都會把大的訓(xùn)練數(shù)據(jù)切割為小塊，對于非常大的地震體數(shù)據(jù)，這種方法比使用整個剖面進(jìn)行訓(xùn)練更可行。切割小塊數(shù)據(jù)的好處是對內(nèi)存壓力比較小，缺點是訓(xùn)練數(shù)量較多，耗時較久，數(shù)據(jù)多樣性容易缺乏。

另外一種訓(xùn)練方式是基于截面的訓(xùn)練?；诮孛娴挠?xùn)練方式是使用整個數(shù)據(jù)體的截面進(jìn)行訓(xùn)練。

這種方法對于儲層預(yù)測的優(yōu)點有兩個。

首先，由于訓(xùn)練數(shù)據(jù)是一個完整的剖面，模型可以很容易地了解不同巖石地層單元之間的關(guān)系，并且在標(biāo)記剖面時可以考慮深度信息。

其次，同時訓(xùn)練和測試整個剖面意味著可以非?？焖俚赜?xùn)練網(wǎng)絡(luò)，因為只有相對較少的地震主測線和聯(lián)絡(luò)測線。

網(wǎng)絡(luò)使用全卷積架構(gòu)的一個優(yōu)點是：網(wǎng)絡(luò)輸入的大小不必固定。網(wǎng)絡(luò)的輸出大小隨著其輸入大小的變化而變化。因此，不同大小的主測線和聯(lián)絡(luò)測線不會對該網(wǎng)絡(luò)的訓(xùn)練造成任何問題。

當(dāng)然，基于截面的方法對內(nèi)存要求比較高。建議切割的訓(xùn)練數(shù)據(jù)體的剖面尺寸，不要超過內(nèi)存容量的極限。

05 實驗效果

為了檢驗上述提出方法的先進(jìn)性，我們通過定量和定性的實驗來展示效果。

1.定量實驗

量化指標(biāo)選擇：

為了客觀地評估兩個測試集上不同模型的性能，我們使用以下指標(biāo)：像素精度（PA）、每個類別的類別精度（CA）、所有類別的平均類別精度（MCA）以及聯(lián)合上的頻率加權(quán)交叉（FWIU）。

以上指標(biāo)是來源于計算機視覺文獻(xiàn)中常用的一組評估指標(biāo)。如果我們將標(biāo)簽定義屬于i類的像素集表示為Gi，將實際計算結(jié)果中屬于i類的像素集表示為Fi。然后，實際計算結(jié)果中正確分類的像素集是Gi Fi。我們用|.|來表示一個集合中元素的數(shù)目?，F(xiàn)在，我們可以定義以下指標(biāo)：

像素精度 (PA)是所有類別中正確分類的像素百分比。

每個類別的類別精度 (CAi)：是在i類中正確分類的像素百分比。

所有類別的平均類別精度 (MCA)：所有類別的CA平均值。nc是類別的數(shù)量。

并集上的交點(IUi)是定義為Gi和Fi的交集的元素數(shù)與其并集的元素數(shù)之和：

該參數(shù)度量了兩個集合之間的重疊，當(dāng)且僅當(dāng)所有像素都正確分類時，該度量應(yīng)為1。此外，當(dāng)我們對所有類別的IU求平均值時，我們就得到了并集的平均交點（平均IU）。

為了防止這個指標(biāo)對小類過于敏感，通常會根據(jù)每個類的大小來衡量它們。得到的度量稱為聯(lián)合上的頻率加權(quán)交點（FWIU）。

下表展示了在兩個測試集上測試的所有模型的量化指標(biāo)結(jié)果。

綜合各類指標(biāo)來看，基于截面和網(wǎng)絡(luò)跳躍的方法取得了較好的效果。

2.定性實驗

接下來通過圖片來觀察模型識別的精度。我們構(gòu)建了來自測試集#1的主測線200線上不同模型的識別結(jié)果。

同樣可以明顯地看出來，基于截面和網(wǎng)絡(luò)跳躍的方法取得了最好的識別效果。

這次課程通過真實的工程案例，給大家介紹了3個比較實用的武器，相信有助于大家在實際工程項目中更好地發(fā)揮。如果對程序感興趣，歡迎聯(lián)系我交流，再見。

相關(guān)閱讀：

如何在地震勘探研究更上一層樓？帶你一起深度學(xué)習(xí)識別斷層

怎樣輕松入門地震勘探研究：先從地震數(shù)據(jù)處理開始

深度學(xué)習(xí)地震去噪實戰(zhàn)：教你如何從0開啟地震深度學(xué)習(xí)科研之路