我們知道，從Google T5 模型到 OpenAI GPT 系列大模型，大語言模型（LLMs）已經展現了令人印象深刻的泛化能力，例如上下文學習和思維鏈推理。同時為了使得 LLMs 遵循自然語言指令和完成真實世界任務，研究人員一直在探索 LLMs 的指令微調方法。實作方式有兩種：一是使用人類標註的 prompt 和回饋在廣泛任務上微調模型，二是使用透過手動或自動產生指令增強的公共基準和資料集來監督微調。
在這些方法中，Self-Instruct 微調是一種簡單有效的方法，它從SOTA 指令微調的教師LLMs 產生的指令遵循資料中學習，使得LLMs 與人類意圖對齊。事實證明，指令微調已成為提升 LLMs 零樣本和小樣本泛化能力的有效手段。
最近，ChatGPT 和 GPT-4 的成功為使用指令微調來改進開源 LLMs 提供了巨大的機會。 Meta LLaMA 是一系列開源 LLMs，其性能與 GPT-3 等專有 LLMs 相媲美。為了教導 LLaMA 遵循指令，Self-Instruct 因其卓越性能和低成本而被快速採用。例如史丹佛的 Alpaca 模型使用 GPT-3.5 產生的 52k 指令遵循樣本，Vicuna 模型使用約 70k 來自 ShareGPT 的指令遵循樣本。
為了推進LLMs 指令微調的SOTA 水平，微軟研究院在其論文《Instruction Tuning with GPT-4》中首次使用GPT-4 作為教師模型進行self-intruct 微調。
研究者一方面發布了GPT-4 產生的數據，包括中英文的52k 指令遵循數據集、GPT-4 產生的對三種指令微調模型的輸出進行評級的回饋數據。
另一方面基於 GPT-4 產生的資料開發了指令微調的 LLaMA 模型和獎勵模型。為了評估指令微調LLMs 的質量，研究者使用三個指標對測試樣本進行評估：對三個對齊標準的人工評估、基於GPT-4 反饋的自動評估以及非自然指令的ROUGE-L（自動文摘評測方法之一）。
實驗結果驗證了使用 GPT-4 產生的資料進行 LLMs 指令微調的有效性。 GPT-4 產生的 52k 中英指令遵循資料在新任務上實現了較以往 SOTA 模型更好的零樣本效能。目前，研究者已經公開了使用 GPT-4 產生的數據以及相關代碼。
該研究使用 GPT-4 產生以下四個資料集：
#
圖 1 比較了 GPT-4 和 GPT-3.5 的英文輸出回應集。圖1 (a) 和(b) 顯示了兩個輸出集合頻率高於10 的動- 名詞對（verb-noun pairs），圖1 (c) 比較了兩個集合中出現頻率最高的25 對單詞，圖1 (d) 比較了序列長度的頻率分佈，結果顯示，GPT-4 傾向於產生比GPT-3.5 更長的序列。
#該研究基於LLaMA 7B checkpoint、並使用監督微調訓練了兩個模型：( i) LLaMA-GPT4 ，在GPT-4 產生的52K 英語指令遵循資料上訓練。 (ii) LLaMA-GPT4-CN，在來自 GPT-4 產生的 52K 中文指令遵循資料上訓練完成。
獎勵模型
#人類回饋強化學習(RLHF) 旨在使LLM 行為與人類偏好保持一致，獎勵建模是其關鍵部分之一，這個問題被往往公式化為回歸任務，以預測給定提示和反應之間的獎勵。但這種方法通常需要大規模的比較數據，現有開源模型如 Alpaca、Vicuna 和 Dolly 由於標註比較數據成本很高，因此不涉及 RLHF。同時，最近的研究表明，GPT-4 能夠識別和修復自己的錯誤，並準確判斷反應的品質。因此，為了促進 RLHF 的研究，該研究使用 GPT-4 創建了比較數據，如上所述。
為了評估資料質量，該研究還訓練了一個基於 OPT 1.3B 的獎勵模型進行該資料集的評估。比較數據的分佈如圖 2 所示。
該研究利用以下三種類型進行評估：人類評估、GPT-4 以及非自然指令評估。結果證實，與其他機器產生的數據相比，使用 GPT-4 產生的數據是進行 LLM 指令微調的一種高效且有效的方法。接下來我們來看看具體實驗過程。
人類評估
#圖3 (a) 為LLaMA-GPT4 vs Alpaca 比較結果，實驗顯示在Helpfulness 這項指標下，GPT-4 以54.12% 的得分勝出。圖 3 (b) 為 LLaMA-GPT4 vs GPT-4 比較結果，顯示 GPT-4 指令微調的 LLaMA 的表現與原始的 GPT-4 類似。
與使用自動求值的 SOTA 進行比較
研究使用 GPT-4 對不同模型在 80 個未見問題上的回答進行自動評估。首先從LLaMA-GPT-4 (7B) 和GPT-4 兩個聊天機器人中收集答案，並使用其他聊天機器人發布答案，包括LLaMA (13B)，Alpaca (13B)，Vicuna (13B)，Bard (谷歌， 2023) 和ChatGPT。對於每次評估，研究要求 GPT-4 對兩個模型之間的反應品質進行評分，評分範圍從 1 到 10。結果如圖 4 所示。
圖 4 (c,d) 比較了所有聊天機器人。 LLaMA_GPT4 性能更高：7B LLaMA GPT4 的性能優於 13B Alpaca 和 LLaMA。然而，LLaMA_GPT4 與 GPT-4 等大型商業聊天機器人相比，仍有差距。
研究者在下圖 5 中進一步研究了所有聊天機器人的表現。首先使用 GPT-4 將聊天機器人的英文回應翻譯成中文，接著使用 GPT-4 將英文問題翻譯成中文以獲得答案。與 GPT-4 翻譯和產生的中文回應的比較如 5 (a) 和 5 (b) 所示，5 (c) 中顯示了所有被要求用中文回答的模型結果。
在下圖 6 中，研究者將 LLaMA-GPT4 與 GPT-4、Alpaca 非自然指令進行比較。結果顯示，LLaMA-GPT4 和 GPT-4 隨 ground truth 反應長度的增加表現較好。這意味著當場景更具創意時，它們可以更好地遵循指令。當序列長度較短時，LLaMA-GPT4 和 GPT-4 都能產生包含簡單 ground truth 答案的回應，並且添加額外單字可以讓回應更像聊天。
更多技術和實驗細節請參閱原始論文。
以上是首次：微軟用GPT-4做大模型指令微調，新任務零樣本效能再提升的詳細內容。更多資訊請關注PHP中文網其他相關文章！
