人工智慧研究實驗室OpenAI在2022年11月30日發布了自然語言生成模型ChatGPT，上線兩個月就已經超過一億用戶，成為了人工智慧界當之無愧的超級大網紅。 ChatGPT憑藉著自身強大的擬人化及時應答能力迅速破圈，引起了各行各業的熱烈討論。簡單來說ChatGPT就是可以基於使用者文字輸入自動產生答案的人工智慧聊天機器人。那一定會有人說這不就是Siri嘛，雖然都是交互機器人但是兩者的差別可老大了。那麼ChatGPT在人機互動時為什麼會有這麼出色的表現呢？它到底會不會取代搜尋引擎？ 90%的人真的會因為ChatGPT的出現而面臨失業的危險嗎？帶著這些疑問我們一起來看看ChatGPT到底有哪些過人之處以及未來會為產業帶來怎樣的改變。
#OpenAI的創始人Sam Altman是一個8歲就會編程的天才，在2015年他聯合特斯拉老闆馬斯克、天使投資人彼得·泰爾等一眾矽谷大佬創辦了OpenAI，這是一個人工智慧研究實驗室，主要由盈利組織 OpenAI LP 與母公司非營利組織 OpenAI Inc 所組成，目的是促進和發展友好的人工智慧，避免人工智慧脫離人類控制。 OpenAI專注於研究開發尖端的人工智慧技術，其中包括機器學習演算法、強化學習以及自然語言處理等。 OpenAI在2022年11月30日發布了ChatGPT，正式向外提供即時的線上問答對話服務。
#《知識的邊界》一書中有這樣一段話：
當知識變得網路化之後，房間裡最聰明的那個，已經不是站在屋子前頭給我們上課的那個，也不是房間裡所有人的群體智慧。房間裡最聰明的人，是房間本身：是容納了其中所有的人與思想，並把他們與外界相連的這個網。
我對這句話的理解就是，網路上擁有全人類的知識以及經驗，為人工智慧提供了大量的學習數據，當這些知識和經驗被有序的進行組織之後，也同時為為訓練一個「懂王」人工智慧應用提供了豐沛的數據土壤。而ChatGPT就是被網路海量的文字資料以及語言資料庫資料餵食訓練之後，它就可以根據你輸入文字的內容來產生對應的回答，就好像兩個人在一問一答的聊天。它除了可以和你無障礙的進行溝通，甚至讓你感覺你對話的不是一個聊天機器人而是一個學識淵博又有點風趣的真實的人，回答出來的答案甚至帶有人類的某種語氣，這在以往的聊天機器人中是不敢想的。
這裡稍微說明下ChatGPT的字面意義，它是一款通用自然語言生成模型，Chat是對話的意思，而所謂GPT就是Genarative Pre- trained Transformer，意思是生成型預訓練轉換模型，聽起來是不是有點不明覺厲的感覺。
除此之外，你還可以讓他幫你完成一些實際的工作，例如寫文案、寫劇本甚至可以幫你直接寫程式碼出來還可以幫你找到程式碼的bug，這是程式設計師要把自己飯碗給砸碎而且是稀碎的節奏啊，在文字以及程式碼層面可以說是無所不能。這種輸入問題立刻給答案的互動方式，遠勝於傳統搜尋引擎在大量資料中尋找自己需要內容的使用感受，因此可以預見在不久的將來ChatGPT將會顛覆傳統的搜尋引擎，徹底改變資訊檢索的使用方式。
另外ChatGPT還可以在上下文情境下回答問題、同時能夠主動承認自己的不足以及挑戰問題的合理性。以下就是ChatGPT在否定我提出來的問題。
PS：幫大家問了ChatGPT如何成為世界首富，秘訣在下面。
正因為ChartGPT具備如此強大的理解能力、學習能力以及創作能力，促使它成為AI人工智慧誕生以來，面向C端用戶成長最快的智慧應用產品。在以前，人工智慧C端產品總是被認為不夠智能甚至被嘲笑是“人工智障”，即便在B端也只是某些場景下使用，普通人根本感受不到AI人工智能的威力，但是ChatGPT的出現可能預示著未來人工智慧將融入普通人的生活當中。
PS：我真怕他回答有。
我們都知道自然語言是人類進行交流溝通的最重要的工具，因此如何讓機器可以和人類透過自然語言無障礙的溝通交流一直是人工智慧領域孜孜不倦追求的目標。而NLP（Natural Language Processing，自然語言處理）就是電腦科學領域和人工智慧領域專門研究讓機器可以理解自然語言同時在此基礎上回應#的重要研究方向。那麼要讓電腦可以辨識自然語言，那麼就需要對應的語言模型來對文本進行分析處理。而語言模型的大致原理就是對語言文字進行機率建模，透過模型來預測下一段輸出內容的機率。大致的過程如下所示，透過語言模型將一段話後面的出現機率最高的語句進行輸出。
語言模型可以分為統計語言模型以及神經網路語言模型。而ChatGPT就屬於神經網路語言模型，它在經過多個版本的迭代優化後才有了今天震驚四座的優秀表現。我們可以簡單地梳理下LM（Language Model，語言模型）的發展脈絡，看看語言模型是怎麼一步步進行進化的，這對我們理解ChatGPT背後的技術原理非常有幫助。
#RNN（Recurrent Neural Network，循環神經網路）在NPL領域有著廣泛的應用。上文我們提到的NLP要解決的是讓機器理解自然語言的問題，因此如果讓機器理解一句話的含義，肯定不能只理解這句話中每個單字是什麼意思，而應該處理這句話連起來之後的序列所表達的意義是什麼，而RNN解決的是就是樣本資料為序列的建模的問題。
但是RNN存在效率問題，在處理語言序列的時候是透過串列化的方式來進行的，也就是說後一個單字的處理需要等到前一個單字的狀態輸出後才能進行，另外還有梯度爆炸和遺忘等問題。因此人工智慧專家們不斷在此基礎上進行模型優化。
#Google Brain 2017年在《Attention Is All You Need》論文提出了Transformer模型，這是一個基於自註意力機制的深度學習模型，主要針對RNN的問題進行了最佳化設計。特別是串行化出列文本序列的問題，Transformer模型可以同時處理文本序列中所有的單詞，同時序列中任意單詞的距離都為1，避免了RNN模型中因為序列過長到導致的距離過長問題。 Transformer模型的提出可以說是NLP領域跨越式發展的重要標誌，因為後續著名的BERT模型以及GPT模型都是基於Transformer模型演化而來的。下圖為Transformer模型結構。
無論是原始的GPT模型或是最新的ChatGPT模型其實都是以Transformer模型為核心結構的語言模型。 GPT使用的是Transformer模型的Decoder組件，比較適合根據上文回答下文的場景。
為了提高訓練的精準度，很多機器學習的訓練任務都是採用標記的dataset來完成，但是實際上標註資料是一個工作量很大的事情會耗費大量的人力和時間。因此隨著算力的不斷增強，實際上我們需要對更多未進行的人工標記的資料進行訓練。因此GPT提出了新的自然語言訓練範式就是透過大量的文字資料來進行無監督學習從而實現模型訓練。這也是GPT採用了Pre-training Fine-tuning的訓練模式的原因。 GPT的模型結構如下，它的訓練目標就是根據上文來預測下文。
而GPT-2實際上在模型結構上並沒有大的改變，只是進行了簡單的調整，主要是GPT-2使用了更多的模型參數以及更多的訓練資料。它的目標就是訓練出一個泛化能力更強的語言模型，所謂泛化就是應對沒有遇到過的問題的能力。
2020年OpenAI在論文《Language Models are Few-Shot Learners》中提出了GPT-3模型，它所使用的模型參數兩以及訓練資料量都非常大。它主要提出了LLM的上下文學習的能力。
GPT-3探討了模型在Zero-shot、One-shot、Few-shot三種不同輸入形式下的效果。它主要考慮如何讓透過已有問題預測可能的回答，這裡稍微解釋下Zero-shot、One-shot、Few-shot，Zero-shot意味著只給提示，One-shot會給一個範例，Few-shot意味著給多個範例。但它是沒有考慮回答的內容是不是符合人類的預期的，這也是後期InstructGTP最主要的最佳化方向。
透過下表可以看的出來GPT訓練的參數量級以及資料量級爆發性增長，當模型迭代到GPT-3的時候，參數量已經過千億，預訓練資料量達到45TB，可以說是一個實打實的超級LLM模型了。龐大的模型參數量以及預訓練資料量也帶來了訓練成本的不斷攀升，GPT-3的訓練成本高達1200美元。
目前OpenAI還尚未就ChatGPT公開對應的論文，但是實際上的它的核心思想和OpenAI在2022年發表的論文《Training language models to follow instructions with human feedback》基本上是一致的，InstructGPT最重要的優化就是引入了RLHF（Reinforcement Learning from Human Feedback，基於人類回饋的強化學習）技術。透過讓模型學習人類對話的過程以及讓人類標註評價排序模型回答的結果來微調原始模型，使得收斂後的模型在回答問題的時候能夠更加符合人類的意圖。
另外這篇論文中提出來的InstructGPT訓練方法實際上和ChatGPT也基本上是一樣的，只是在獲取資料的方式上稍有差別，因此InstructGPT可以說和ChatGPT是一對兄弟模型。我們具體來看下ChatGPT是怎麼被訓練出來的，以及ChatGPT如何解決#讓模型回答的答案更符合人類的意圖或是說偏好。
##上面的訓練過程可能看起來有點複雜，經過簡化後如下圖所示，這樣應該更方便同學理解ChatGPT模型是怎麼被訓練出來的。根據官網給予的步驟，它的核心訓練想法就是收集回饋資料-》訓練獎勵模型-》PPO強化學習。
ChatGPT訓練過程主要分為三個階段：
#其實對於LLM（Large Language Model，大語言模型）來說，並不是說訓練的樣本資料越多越好，為什麼這麼說呢？因為像ChatGPT這種大語言預訓練模型都是在超大參數以及海量資料中被訓練出來的，這些海量樣本資料實際上對於人工智慧專家來說時透明的，也是無法控制的。因此如果樣本資料中帶有一些種族歧視、暴力等不良的資料的時候，可能預先訓練出來的模型就會帶有這些不好的內容屬性。但對於人工智慧專家來說，必須確保人工智慧的客觀公正不帶有任何的偏見，而ChatGPT也正是朝著這個方面來進行訓練。
因此ChatGPT透過監督學習的方式來進行模型訓練，所謂監督學習就是要在「有答案」的dataset上進行學習。為此，OpenAI僱用了40家承包商來進行數據標記工作，首先讓這些標記人員模擬人機交互進行多輪的語言交互，在這個過程中會產生對應的人工精標數據，這些精標數據用來對GPT-3.5模型來進行微調以便於獲得SFT（Supervised Fine-Tuning）模型。
#隨機抽取一批prompt資料後，使用第一階段微調後的模型進行不同問題的自動回复，然後讓標記人員對回答出來的結果進行從好到壞排序，排序出來的結果數據用來訓練Reward Model，在此過程中，對排序的結果繼續進行兩兩組合形成排序訓練資料對，Reward Model接受資料對輸入給出回答品質的分數。這個Reward Model本質上來講就是抽像出來的人類真實意圖。因為有了這關鍵的一步，Reward Model可以不斷引導模型朝著符合人類意圖的方向去產生對應的回答結果。
PPO 是一種信賴域最佳化演算法，它使用梯度約束來確保更新步驟不會破壞學習過程的穩定性。在這個階段繼續抽取一批prompt資料之後，使用階段二構造出來的Reward Model來對微調後的訓練模型的回答進行評分來更新預訓練的參數。透過Reward Model對產生高分回答進行獎勵，所產生的策略梯度可以更新PPO模型參數。不斷循環迭代直至最終收斂模型。
可以看的出來實際上ChatGPT訓練的過程實際上監督學習結合RLHF技術應用落地的過程，ChatGPT其實就是靠RLHF技術來實現產生一個比較符合人類預期的回答。
透過上面的模型訓練過程，我們總結下來ChatGPT之所以具備強大的上下文理解能力，主要得益於三個方面的關鍵能力，分別是強大的基礎模型、高品質的樣本數據以及基於人類回饋的強化學習。
最核心的還是RLHF技術，透過訓練找到最能解釋人類判斷的reward函數，然後不斷訓練進行強化認知。
#目前的搜尋引擎只能根據我們搜尋的關鍵字，在搜尋引擎的資料庫中匹配索引對應的網頁進行結果回饋，像百度這樣的搜尋引擎還動不動給你塞點廣告。用戶仍然需要在返回的資訊中找到自己最想要的。但是ChatGPT則不同，所答就是所問，省去了用戶大量自己過濾無效搜尋結果的時間和精力。 ChatGPT能夠非常準確的掌握用戶實際意圖的理解，而傳統的搜尋引擎還是關鍵字匹配的搜尋方式，實際上並不理解用戶輸入搜尋語句的真實含義，但是ChatGPT做到可以理解用戶輸入的真實意圖。另外他還會創意回答，幫助使用者從繁雜的工作中解脫出來。
PS：微軟的Bing搜尋引擎開始接取ChatGPT。
現在所謂的智慧客服不過是預設了一些常見的問題進行自動回答，遠遠稱不上所謂的智能的程度，但是在一定程度上可以降低公司在客服人員方面的投入成本。但是如果有了ChatGPT之後，由於它可以理解用戶的真實意圖，而不是機械地回答預設問題，因此更能夠幫助使用者解決實際客服問題，最大程度將客服人力成本降到最低。
#ChatGPT不僅可以回答問題，它還可以進行內容創作，例如寫一首歌，作一首詩以及寫一篇活動策劃等等。所以很多關於文字內容創作的從業同學都感覺到了深深的危機，以前一直覺得機器人最先取代的應該是體力勞動工作者，但是誰能想到ChatGPT的出現直接把很多腦力工作者的工作幹沒了。
#######
##ChatGPT的訓練資料是基於網路世界海量文字資料的，如果這些文字資料本身不準確或帶有某種偏見，目前的ChatGPT是無法進行分辨的，因此在回答問題的時候會不可避免的將這種不準確以及偏見傳遞出來。
#目前ChatGPT主要可以處理自然語言方面的問答以及任務，在其他領域例如影像辨識、語音辨識等還不局必然對應的處理能力，但相信在不遠的將來可能會有VoiceGPT、ViewGPT，大家拭目以待。
ChatGPT屬於NPL領域中的非常大的深度學習模型，其訓練參數以及訓練數據都非常巨大，因此如果想訓練ChatGPT就需要使用大型數據中心以及雲端運算資源，以及大量的算力和儲存空間來處理海量的訓練數據，簡單來說訓練和使用ChatGPT的成本還是非常高的。
#AI人工智慧已經說了很多年了，一直處於發展階段，在一些特定領域已經取得應用成果。但是面對C端用戶，基本上沒有可以拿得出手的真真意義上的人工智慧應用產品。但這次ChatGPT的發布卻是一個里程碑式的節點事件，因為對一般人來說AI人工智慧不再是遙不可及的技術名詞，而是觸手可及實在的智慧應用工具，可以讓普通人真切地感受到AI人工智慧的威力。另外我想說的是也許ChatGPT只是個開始，目前它只是按照人類的指令去完成對應的任務，但是在未來隨著人工智慧自我學習的不斷迭代，可能會有意識，可能會自主的去做事情，到那個時候人類面對的到底是一個無所不能的好幫手還是無法控制的惡龍就不得而知了。
#以上是能取代90%人工作的ChatGPT到底牛在哪裡的詳細內容。更多資訊請關注PHP中文網其他相關文章！
