可解釋性終極追問，什麼才是第一性解釋？ 20篇CCF-A+ICLR論文給你答案

和一個輸入樣本，它包含個輸入變量，我們用集合表示這些輸入變數的全集。令表示 DNN 在樣本上的一個標量輸出。對於一個面向分類任務的神經網絡，我們可以從不同角度來定義其標量輸出。例如，對於多類別分類問題，可以定義為，也可以定義為 softmax 層之前該樣本真實標籤所對應的標量輸出。這裡，表示真實標籤的分類機率。這樣，針對每個子集

中所有輸入變數之間 “等效與交互” 和 “等效或交互”。

如圖 4（a）所示，我們可以這樣理解上述與或交互作用：我們可以認為與等效交互作用表示神經網路所編碼的內輸入變數之間的 「與關係」。例如，給定一個輸入句子,神經網路可能會在之間建模一個交互，使得產生一個推動神經網路輸出 「傾盆大雨」 的數值效用。如果中的任何輸入變數被遮擋，則該數值效用將從神經網路的輸出中移除。類似地，等效或交互作用表示神經網路所建模的內輸入變數之間的 「或關係」。例如，給定一個輸入句子，只要中的任一個字出現，就會推動神經網路的輸出負面情緒分類。

1. 無限擬合性：如圖4，5 所示，對於任意遮蔽樣本，神經網路在樣本上的輸出可以用不同交互概念的效用總和來擬合。即，我們可以建構出一個基於交互作用的 logical model，無論我們如何遮擋輸入樣本，這個 logical model 依然可精確擬合模型在此輸入樣本在任意遮擋狀態下的輸出值。
2. 稀疏性：分類任務導向的神經網路往往只建模少量的顯著交互作用概念，而大部分互動概念都是數值效用都接近0的噪音。
3. 樣本間遷移性：交互在不同樣本間是可遷移的，即神經網路在（同一類別的）不同樣本上建模的顯著交互概念往往有很大的重合。

^{圖4：神經網路的複雜的推理邏輯可以被基於少量交互作用的邏輯模型準確擬合。每個交互作用都是衡量神經網路建模特定輸入變數集合之間非線性關係的測量指標。當且僅當集合中變數同時出現時才會觸發與交互，並為輸出貢獻數值分數，集合中任意變數出現時會觸發或交互。}

。我們團隊先前的工作發現神經網路在某個特定樣本所建模的「與或交互作用」 的複雜度直接決定了神經網路在這個樣本的泛化能力[1]，即神經網路建模的高階的（大量輸入單元之間的）「與或互動」 往往有較差的泛化能力，而低階的（少量輸入單元之間的）「與或互動」 則具有較強的泛化能力。 因此，本篇研究的第一步是去預測出神經網路在訓練過程中不同時間點所建模的不同階「與或交互」 的複雜度的一個解析解，即我們可以透過神經網路在不同時間點所建模的不同階「與或交互」 的分佈去解釋神經網路在不同階段的泛化能力

^{圖6：從訓練不同輪次的神經網路中提取的不同階交互強度和。在不同資料集上、不同任務上訓練的不同的神經網路的訓練過程都存在兩階段現象。前兩個選定時間點屬於第一階段，而後兩個時間點屬於第二階段。恰恰在進入神經網路訓練過程的第二階段不久，神經網路的測試損失和訓練損失之間的 loss gap 開始顯著上升（見最後一列）。這顯示神經網路訓練的兩階段現象與模型 loss gap 的變化在時間上是 “對齊” 的。更多實驗結果請參考論文。}

• 在神經訓練訓練之前，初始化的神經網路主要編碼中階交互，很少編碼高階和低階交互，並且不同階交互的分佈看起來呈現「紡錘形」。假設具有隨機初始化參數的神經網路建模的是純噪聲，我們在“5.4 理論證明兩階段現象” 章節證明了具有隨機初始化參數的神經網路建模的不同階的交互的分佈呈現“紡錘形”，即僅建模少量的低階和高階交互，大量建模中階交互。
• 在神經網路訓練的第一階段，神經網路編碼的高階和中階交互作用的強度逐漸減弱，而低階交互作用的強度逐漸增強。最終，高階和中階交互作用逐漸被消除，神經網路只編碼低階交互作用。
• 在神經網路訓練的第二階段，神經網路在訓練過程中編碼的交互階數（複雜度）逐漸增加。在逐漸學習更高複雜度的交互作用的過程中，神經網路過度擬合的風險也逐漸提高。

實驗一：觀察在不同資料集上訓練的不同神經網路所建模的交互作用的泛化性。這裡我們用被測試集所觸發的交互的分佈和被訓練集所觸發的交互的分佈的 Jaccard 相似性來度量交互的泛化性。具體來說，給定一個包含個輸入變數的輸入樣本，我們將從輸入樣本提取到的階交互向量化，其中表示個階交互。然後，我們計算分類任務中所有類別為的樣本中提取到的階的平均交互作用向量，表示為，其中表示類別為的樣本的集合。接下來，我們計算從訓練樣本中提取的階的平均交互向量與從測試樣本中提取的階的平均交互向量之間的Jaccard 相似性，以衡量分類任務中類別為的樣本的階交互的泛化能力，即：

其中，和將兩個維交互向量投影到兩個維的非負向量上，以便計算Jaccard 相似性。對於某一階的交互，如果此階交互普遍展現出較大的 Jaccard 相似性，則表示這一階交互具有較強的泛化能力。

我們進行了實驗計算不同階交互。我們測試了在 MNIST 資料集上訓練的 LeNet、在 CIFAR-10 資料集上訓練的 VGG-11、在 CUB200-2011 資料集上訓練的 VGG-13，以及在 Tiny-ImageNet 資料集上訓練的 AlexNet。為了減少計算成本，我們僅計算了前 10 個類別的 Jaccard 相似性的平均值。如圖 7 所示，隨著交互階數的增加，交互作用的 Jaccard 相似性不斷下降。因此，這驗證了高階交互作用比低階交互作用具有更差的泛化能力。

                               ^{中使用低階交互具有相對較高 Jaccard 相似性表明低階交互具有較強的泛化能力。}

由於隨機初始化的隨機網路在訓練過程開始之前建模的都是噪聲，所以我們假設隨機初始化的神經網路建模的交互的服從平均值為，變異數為的常態分佈。在上述假設下，我們能夠證明初始化的神經網路建模的交互的強度和的分佈呈現 “紡錘形”，即很少建模高階和低階交互，主要建模中階交互。

在進入正式的證明之前，我們需要做以下的預備工作。首先，我們參考[5, 6] 的做法，將神經網路在特定樣本上的inference 改寫為不同交互作用觸發函數的加權和：

其中，為標量權重，滿足。而函數為交互觸發函數，在任一遮擋樣本上都滿足。函數的具體形式可以由泰勒展開推導得到，可參考論文，這裡不做贅述。

根據上述改寫形式，神經網路在特定樣本上的學習可近似看成是對交互觸發函數的權重的學習。進一步地，實驗室的前期工作[3] 發現在同一任務上充分訓練的不同的神經網路往往會建模相似的交互，所以我們可以將神經網路的學習看成是對一系列潛在的ground truth 交互的擬合。由此，神經網路在訓練到收斂時建模的交互作用可以看成是最小化下面的目標函數時得到的解：

其中表示神經網路需要擬合的一系列潛在的ground truth 互動。 和則分別表示將所有權重拼起來得到的向量和將所有交互觸發函數的值拼起來得到的向量。

可惜的是，上述建模雖然能得到神經網路訓練到收斂時的交互，但是無法很好地刻畫神經網路訓練過程中學習交互的動態過程。這裡引入我們的核心假設：我們假設初始化神經網路的參數上包含了大量噪聲，而這些噪聲的量級在訓練過程中逐步變小。而進一步地，參數上的噪聲會導致交互觸發函數上的噪聲，且該噪聲隨著交互階數指數級增長 (在 [5] 中已有實驗上的觀察和驗證) 。我們將有雜訊下的神經網路的學習建模如下：

其中噪音滿足。且隨著訓練進行，噪音的變異數逐漸變小。

在給定的噪音量級的情況下最小化上述損失函數，可得到最優交互權重的解析解，如下圖的定理所示。

我們發現，隨著訓練進行（即噪音量級變小），中低階交互強度和高階交互強度的比值逐漸減少（如下面的定理）。這解釋了訓練的第二階段中神經網路逐漸學到更高階的互動的現象。

另外，我們對上述結論進一步做了實驗驗證。給定一個具有 n 個輸入單元的樣本，指標，其中, 可以用來近似測量第 k 階交互作用和第 k+1 階交互強度的比值。在下圖中，我們可以發現，在不同的輸入單元個數 n 和不同的階數 k 下，該比值都會隨著的減少而逐漸減少。

^{圖9：在不同的輸入單元個數n 和不同的階數k 下，第k 階交互作用和第k+1 階交互強度的比值都會隨著雜訊量級的減少而逐漸減少。這說明隨著訓練進行（即逐漸變小），低階交互強度與高階交互強度的比值逐漸變小，神經網路逐漸學到更高階的交互作用。}

最後，我們比較了在不同噪音量級下的理論交互值在各階數上的分佈和實際訓練過程中各階交互的分佈，發現理論交互分佈可以很好地預測實際訓練中各時間點的交互強度分佈。

^{圖10：比較理論交互分佈（藍色直方圖）與實際互動分佈 （橘色直方圖）。在訓練第二階段的不同時間點，理論交互分佈都可以很好地預測和匹配實際交互作用的分佈。更多結果請參見論文。}

如果說訓練的第二階段中交互的動態變化可以解釋為權重的最優解在噪音逐漸減小時的變化，那麼第一階段就可認為是交互從初始化的隨機交互逐漸收斂到最優解的過程。

^{[7] Quanshi Zhang, Jie Ren, Ge Huang, Ruiming Cao, Ying Nian Wu, and Song-Chun Zhu. Mining Interpretable AOG Representations from Convolutional Networks via Active Question Answering. IEEE Transactions on Machine Patternsis and Intelligence (IEEE T-PAMI), 2020.}

^{[8] Xin Wang, Jie Ren, Shuyun Lin, Xiangming Zhu, Yisen Wang, and Quanshi Zhang. A Unified Approach to Interpreting and Boosting Adversarial Transferability. ICLR, 2021.}

^{[9] Hao Zhang, Sen Li, Yinchao Ma, Mingjie Li, Yichen Xie, and Quanshi Zhang. Interpreting and Boosting Dropout a from Game- Theoretic View. ICLR, 2021.}

^{[10] Mingjie Li, and Quanshi Zhang. Does a Neural Network Really Encode Symbolic Concept? ICML, 2023.}

>^{[11] Lu Chen, Siyu Lou, Keyan Zhang, Jin Huang, and Quanshi Zhang. HarsanyiNet: Computing Accurate Shapley Values in a Single Forward Propagation. ICML, 2023.}

^{[12] Qihan Ren, Huiqi Deng, Yunuo Chen, Siyu Lou, and Quanshi Zhang. Bayesian Neural Networks Avoid Encoding Perturbation-Sensitive and Complex Concepts. ICML, 2023.}

^{[15] Jie, Die Yisen Wang, Lu Chen, Zhanpeng Zhou, Yiting Chen, Xu Cheng, Xin Wang, Meng Zhou, Jie Shi, and Quanshi Zhang. A Unified Game-Theoretic Interpretation of Adversarial Robustness. NeurIPS, 2021.}

^{[16] Wen Shen, Qihan Ren, Dongrui Liu, and Quanshi Zhang. Interpreting Representation Quality of DNNs for 3D Point Cloud Processing. NeurIPS, 2021.}

[ Xin Wang, Shuyun Lin, Hao Zhang, Yufei Zhu, and Quanshi Zhang. Interpreting Attributions and Interactions of Adversarial Attacks. ICCV, 2021.