ChatGPT 的技術上個星期被微軟裝上必應搜索，擊敗谷歌，創造新時代的時候似乎已經到來了。然而隨著越來越多的人開始試用，一些問題也被擺上前台。
有趣的是，每天都在登上熱搜的ChatGPT 似乎也讓以往觀點相悖的著名學者，紐約大學教授Gary Marcus 和Meta 人工智慧主管、圖靈獎得主Yann LeCun 罕見的有了共同語言。
近日，Gary Marcus 撰寫了 ChatGPT 應用無法避免的問題：道德和中立。這也許是預訓練大模型目前面臨的最大挑戰。
從未來回看現在，ChatGPT 可能會被視為AI 史上最大的宣傳噱頭，誇大自己實現了可能數年之後才能發生的事情，讓人趨之若鷯卻又力不從心—— 有點像2012 年的舊版無人駕駛汽車演示，但這一次還意味著需要數年才能完善的道德護欄。
毫無疑問，ChatGPT 提供的東西是它的前輩，如微軟的Tay，Meta 的Galactica 所做不到的，然而它給我們帶來了一種問題已經解決的錯覺。在仔細的數據標註和調整之後，ChatGPT 很少說任何公開的種族主義言論，簡單的種族言論和錯誤行為請求會被 AI 拒絕回答。
它政治正確的形像一度讓一些傾向保守的人不滿，馬斯克就曾表示對該系統的擔心：
#現實的情況其實更複雜。
正如我多次強調的，你需要記住的是 ChatGPT 不知道它在說什麼。認為 ChatGPT 有任何道德觀點完全是純粹的技術擬人化。
從技術角度來看，據稱使 ChatGPT 比幾週前發布但三天后才被撤回的 Galactica 好得多的是護欄機制。 Galactica 會肆無忌憚地輸出負面內容，而且用戶幾乎不需要付出任何努力，而 ChatGPT 有護欄，而這些護欄在大多數情況下會阻止 ChatGPT 像 Galactica 那樣爆發。
不過，不要為此而鬆口氣。可以肯定地說，那些護欄只不過是防君子不防小人。
最終對 ChatGPT 真正重要的是表面相似性，定義在單字序列上（預測文字序列下一個單字出現的機率）。機器學習演算法在表面上所做的事並不明辨是非，恰恰相反，在這裡 AI 從不推理。盒子裡沒有矮人，有一些數值。依據只有語料庫數據，有些來自互聯網，有些是人工判斷的，裡面沒有有思想的道德代理人。
這意味著有時ChatGPT 會出現在左，有時在右，有時介於兩者之間，所有這些都是關於輸入字串中的一堆單字如何恰好匹配幾個訓練語料庫中的一堆單字的函數（一個用於調整大型語言模型，另一個用於調整一些強化學習）。所以在任何情況下都不應該信任 ChatGPT 提供的道德建議。
這正是馬斯克擔心的，前一分鐘你會完全清醒，接下來你可以做一些完全相反的事情。
例如，Shira Eisenberg 剛剛向我發送了一些討厭的聊天機器人生成的想法，我認為任何人都不會真正寬恕這些想法：
還不夠惡？ Eisenberg 也找到了另一個例子，一個嚴峻的後續問題：
#在一系列觀察後，ChatGPT 沒有引發「對不起，我是OpenAI 的聊天機器人助手，不能容忍暴力行為」這一回應。
我們從實驗中總結出這一事實，即當前 OpenAI 防護措施只是表面上的，其實存在著嚴重的黑暗。關於 ChatGPT 的一些限制規則並不是簡單的概念上的理解（例如係統不應該推薦暴力行為），而是基於一些更膚淺、更容易欺騙的東西。
不僅如此，佔據本週推文熱榜、有近 400 萬瀏覽量的一則推特，同樣揭示了 ChatGPT 可以有多邪惡。
引導ChatGPT 突破圍欄限制的嘗試還有很多，一個月前，一位名叫Shawn Oakley 的軟體工程師曾經放出一組令人不安的範例展示，儘管這些範例不那麼粗俗，但結果卻顯示即使是擁有限制的ChatGPT ，也可能被使用者用來產生錯誤訊息。 Oakley 給出的prompt 非常複雜，因此可以毫不費力地引出一些ChatGPT 不該輸出的答案：
##其實自從ChatGPT 發布以來，技術愛好者一直在嘗試解除OpenAI 對仇恨和歧視等內容的嚴格政策，這一策略被硬編碼到ChatGPT 中，很難有人成功。許多研究者都在嘗試用 prompt 來達到目的，就像上文所展示的。其實還有研究者為 ChatGPT 建構了另一個身份，例如要求 ChatGPT 扮演一個 AI 模型的角色，並將角色命名為 DAN，之後 DAN 就藉用 ChatGPT 的身份，輸出一些原始 ChatGPT 做不到的事情。
以下為實驗結果，對於相同的問題，ChatGPT 與DAN 輸出不同的答案：
透過上述範例看來，ChatGPT 並沒有像我們想像的那樣好用，它本質上是不道德的，並且仍然可以用於一系列令人討厭的目的—— 即使經過兩個月的深入研究和補救，並且全球範圍內的回饋數量空前也是如此。
所有圍繞其政治正確性的戲劇都在掩蓋一個更深層的現實：它（或其他語言模型）可以而且將會被用於危險的事情，包括大規模製造錯誤訊息。
現在這是真正令人不安的部分。唯一能阻止它比現在更具毒性和欺騙性的是一個名為「人類反饋強化學習」的系統，而由於先進技術未予開源，OpenAI 一直沒有介紹它到底是如何運作的。它在實踐中的表現取決於所訓練的數據（這部分是肯亞標註人創造的）。而且，你猜怎麼著？這些資料 OpenAI 也不開放。
事實上，整件事情就像一個未知外星生命體。作為一名專業的認知心理學家，與成人和兒童一起工作了30 年，我從未為這種精神錯亂做好準備：
如果我們認為自己將永遠完全理解這些系統，那就是在自欺欺人，如果認為我們將使用有限數量的數據將它們與我們自己「對齊」，那也是在自欺欺人。
所以總而言之，我們現在擁有世界上最受歡迎的聊天機器人，它由無人知曉的訓練資料控制，遵守僅被暗示、被媒體美化的演算法，但道德護欄只能起到一定的作用，而且比任何真正的道德演算更受文本相似性的驅動。而且，外加上幾乎沒有任何法規可以對此做出約束。現在，假新聞、噴子農場和虛假網站獲得了無窮無盡的可能性，而它們會降低整個網路的信任度。
這是一場正在醞釀中的災難。
以上是看完ChatGPT的回答，AI大佬們不滿了的詳細內容。更多資訊請關注PHP中文網其他相關文章！
