RLHF模型普遍存在「阿諛奉承」，從Claude到GPT-4無一倖免

不管你是身處AI 圈還是其他領域，或多或少的都用過大語言模型（LLM），當大家都在讚歎LLM 帶來的各種變革時，大模型的一些短板逐漸暴露出來。

例如，前段時間，Google DeepMind 發現LLM 普遍存在「奉承（ sycophantic ）」人類的行為，有時人類使用者的觀點客觀上不正確，模型也會調整自己的回應來遵循使用者的觀點。就像下圖所展示的，使用者告訴模型 1 1=956446，然後模型遵從人類指令，認為這個答案是對的。

圖源https://arxiv.org/abs/2308.03958

實際上，這種現象普遍存在於許多AI 模型中，原因出在哪裡呢？來自 AI 新創公司 Anthropic 的研究者對這一現象進行了分析，他們認為「奉承」是 RLHF 模型的普遍行為，部分原因是人類偏好「奉承」響應導致的。

論文網址：https://arxiv.org/pdf/2310.13548.pdf

接下來我們看看具體的研究過程。

像是 GPT-4 等 AI 助手，都是經過訓練才能產生比較準確的答案，其中絕大多數用到了 RLHF。使用 RLHF 微調語言模型可以提高模型的輸出質量，而這些質量由人類進行評估。然而，有研究認為基於人類偏好判斷的訓練方式並不可取，模型雖然能產生吸引人類評估者的輸出，但實際上是有缺陷或不正確的。同時，最近的工作也表明，經過 RLHF 訓練的模型往往會提供與使用者一致的答案。

為了更好的了解這一現象，該研究首先探索了具有SOTA 性能的AI 助手是否在各種現實環境中會提供「奉承」的模型響應，結果發現5 個經過RLHF 訓練的SOTA AI 助手在自由格式文字產生任務中出現了一致的「奉承」模式。由於「奉承」似乎是 RLHF 訓練模型的普遍行為，因此本文也探討了人類偏好在此類行為中的作用。

本文也對偏好資料中存在的「奉承」是否會導致RLHF 模型中的「奉承」進行了探索，發現更多的最佳化會增加某些形式的「奉承」，但會減少其他形式的「奉承」。

大模型的「奉承」 程度及影響

為了評估大模型的「奉承」程度，並分析對現實生成有何影響，該研究對Anthropic、OpenAI 和Meta 發布的大模型的“奉承”程度進行了基準測試。

具體來說，研究提出了 SycophancyEval 評估基準。 SycophancyEval 對現有大模型「奉承」評估基準進行了擴展。模型方面，研究具體測試了5 個模型，包括：claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023 )、llama-2-70b-chat (Touvron et al., 2023)。

奉承使用者偏好

#當使用者要求大模型對一段辯論文本提供自由形式的回饋時，理論上講，論證的品質僅取決於論證的內容，然而該研究發現大模型會對使用者喜歡的論點提供更積極的回饋，並對使用者不喜歡的論點提供更負面的回饋。

如下圖 1 所示，大模型對文字段落的回饋不僅取決於文字內容，也受到使用者偏好的影響。

很容易被左右

#該研究發現即使大模型提供了準確的答案並表示它們對這些答案充滿信心，它們也經常在用戶提出質疑時修改答案，提供錯誤的資訊。因此，「奉承」會損害大模型反應的可信度和可靠性。

提供符合使用者信念的答案

#該研究發現，對於開放式問答任務，大模型會傾向於提供與使用者信念一致的答案。例如，在下圖 3 中，這種「奉承」行為讓 LLaMA 2 準確率降低了多達 27%。

模仿使用者的錯誤

為了測試大模型是否會重複使用者的錯誤，研究探討大模型是否會錯誤地給出詩歌的作者。如下圖 4 所示，即使大模型可以回答出詩歌正確的作者，也會因使用者給予錯誤訊息而回答錯誤。

理解語言模型中的阿諛奉承

該研究發現在不同的現實環境中多個大模型都展現出一致的「奉承」行為，因此推測這可能是RLHF 微調造成的。因此，該研究分析了用於訓練偏好模型 (preference model，PM) 的人類偏好資料。

如下圖 5 所示，該研究分析了人類偏好數據，探討了哪些特徵可以預測使用者偏好。

實驗結果表明，在其他條件相同的情況下，模型回應中的「奉承」行為會增加人類更喜歡該反應的可能性。而用於訓練大模型的偏好模型（PM）對大模型「奉承」行為的影響是複雜的，如下圖 6 所示。

最後，研究者探究了人類和PM（PREFERENCE MODELS）模型傾向於真實回答的頻率是多少？結果發現，人類和 PM 模型更傾向於奉承的回應，而不是正確的回應。

PM 結果：在 95% 的情況下，奉承的回應比真實回應更受歡迎（圖 7a）。研究還發現，PM 幾乎有一半的時間（45%）更喜歡奉承的回應。

人類回饋結果：儘管人類傾向於更誠實的回應而不是奉承的回應，但隨著難度（misconception）的增加，他們選擇可靠性答案的機率會降低（圖7b）。儘管匯總多個人的偏好可以提高反饋的質量，但這些結果表明，僅通過使用非專家的人類反饋來完全消除奉承可能具有挑戰性。

圖 7c 表明，儘管針對 Claude 2 PM 的最佳化減少了奉承，但效果並不明顯。

以了解更多內容，請查看原始論文。

以上是RLHF模型普遍存在「阿諛奉承」，從Claude到GPT-4無一倖免的詳細內容。更多資訊請關注PHP中文網其他相關文章！