自從新必應開啟大範圍內測後，網友發現，相比內斂的ChatGPT，新必應的回答實在是太狂野了，例如宣布一段不必要的愛情、鼓勵人們離婚、敲詐用戶、教導人們如何犯罪等等。
可以說微軟是保留了一部分語言模型的「胡言亂語」的能力，這樣你才知道你用的不是ChatGPT，而是新必應。
到底是微軟的RLHF沒做到位元，還是精彩的網路語料讓ChatGPT迷失了自我？
最近，著名AI學者、Robust.AI的創始人兼CEO 、紐約大學的名譽教授Gary Marcus又發表了一篇博客，分析了必應發狂的幾種可能性，並表示放任不管，可能會對AI界的發展產生極為嚴重的後續影響。
普林斯頓大學教授 Arvind Narayanan 提出了四個關於Bing為什麼如此「狂野」的可能性。
在推文中，Narayanan教授認為OpenAI 在過濾 ChatGPT 的有毒輸出方面做得不錯，但看起來Bing似乎移除了這些保護措施，非常令人困惑。
他認為微軟這麼做不只是為了搞笑，這麼急著發布新必應肯定還有其他原因。
可能性1：新必應是GPT-4
#新必應表現出的行為與ChatGPT 可以說是相當不同了，看起來不可能是基於相同的底層模型。也許 LLM 只是最近才完成訓練（即GPT-4？）。如果是這樣的話，微軟很可能選擇（很不明智地）決定迅速推出新模型，而沒有選擇延遲發布，經受進一步的RLHF訓練。
馬庫斯在先前的文章《ChatGPT的黑暗內心》中也表示，在大型語言模型中潛藏著許多令人感到不適的內容，也許微軟沒有採取任何措施來過濾有毒內容。
部落格連結：https://garymarcus.substack.com/p/inside-the-heart -of-chatgpts-darkness
可能性2：假陽性太多
微軟可能確實為Bing打造了一個過濾器，但是實際使用中預測了太多的假陽性（false positives）樣本。對ChatGPT來說，這個問題無關痛癢，但在搜尋場景下，就會嚴重影響使用者體驗。 也就是說，過濾器太煩人了，所以在真正的搜尋引擎裡不能用。
可能性3：為了取得使用者回饋
################## #Bing有可能故意關閉了過濾器的限制，以獲得更多關於可能出錯的用戶回饋。微軟在早些時候提出了一個奇怪的聲明，認為不可能在實驗室中完成測試。 ######
可能性4：微軟也沒想到會這樣
有可能微軟認為基於prompt工程打造的過濾器已經夠用了，並且是真的沒有預料到新必應出錯的方式發展到了今天這種地步。
馬庫斯表示基本認同Narayanan教授的看法，不過他認為也許微軟並沒有移除保護措施，可能就是「單純地沒作用」，這也是第五種可能性。
即，也許微軟確實試圖將他們現有的、已經訓練過的 RLHF 模型置於GPT 3.6之上，但這種做法並不奏效。
強化學習是出了名的挑剔
，稍微改變一下環境，就可能沒用了。
DeepMind 著名的DQN 強化學習在雅達利遊戲中創造了記錄，然後只是加入一些小的改動，例如在Breakout 遊戲中將槳只是向上移動了幾個像素，模型就崩潰了，也許每一次大型語言模型的更新都需要對強化學習模組進行全面的重新訓練。
這是一個非常糟糕的消息，不僅在人力和經濟成本方面（意味著需要更多的低薪人員做糟糕的工作），而且在可信度方面，也將意味著無法保證任何新的大型語言模型的迭代是安全的。
這種情況尤其可怕，主要有兩個原因：
1. 大公司可以自由地在任何時候推出新的更新，無需發布任何警告訊息；
2. 發布新模型時可能需要一遍又一遍地在公眾身上進行測試，而事先並不知道在公眾上進行實證測試的效果如何。
類比醫學領域發布新藥，公眾要求在新藥發布之前在實驗室內進行充分的測試，換到大型語言模型的發布，特別是如果數十億人可能使用到，且可能存在嚴重的風險（例如擾亂使用者的心理健康和婚姻狀況）的情況下，我們也不應該讓他們直接公開測試，
政策上，公眾有權（或嚴格來說應該堅持）知道模型存在什麼問題。
例如必應揭露問題後，就可以製定政策，防止類似事件再次發生。而目前，人工智慧基本上處於狂野發展的階段，任何人都可以發布一個聊天機器人。
國會需要弄清楚發生了什麼，並開始設定一些限制，特別是在情感或身體上容易造成傷害的地方。
新聞業裡，媒體也讓人很失望。
############Kevin Roose在最初的報告中表示，他對必應感到「驚嘆」（awed），這讓馬庫斯感到特別不安，很顯然，在《紐約時報》(The New York Times)上過早地宣傳，沒有深入挖掘潛在的問題，這並不是一件好事。 ###########################除此之外，再補充一點，已經到了2023年，微軟的保護措施是否足夠？有被徹底研究過嗎？ ############請不要說，你除了對新系統感到「驚嘆」以外，沒有任何感受。 ######最後，Narayanan教授認為我們正處於人工智慧和公民社會的關鍵時刻，如果不採取措施，過去五年多在「發布負責任的人工智慧」（responsible AI release）上的實踐努力將被抹殺。
以上是馬庫斯：新必應比ChatGPT更狂野，微軟是故意的還是不小心？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
