ChatGPT是什麼？ G、P、T代表什麼？

比爾蓋茲：ChatGPT是1980年以來最具革​​命性的科技進步。

身處在這個AI變革的時代，唯有躬身入局，腳步跟上。

這是一篇我的學習筆記，希望對你了解ChatGPT有幫助。

1、ChatGPT裡的GPT，分別代表什麼？

GPT，Generative Pre-trained Transformer，生成式預訓練變換模型。

什麼意思？

Generative，生成式，是指它能自發的生成內容。

Pre-trained，預訓練，是不需要你拿到它再訓練，它直接為你做好了一個通用的語言模型。

Transformer，變換模型，Google提出來的一個很厲害的模型，他可以幫助更好的去處理NLP相關的問題，是非常棒的神經網路結構。

2、Transformer雖是由Google提出的。但應用最成功的是OpenAI的ChatGPT。

因為ChatGPT是站在巨人的肩膀上走出來的。

ChatGPT是全人類社會的結晶，沒有前人的鋪墊，ChatGPT不會這麼順利走出來。

後面也會有更多的非常厲害的應用，會基於ChatGPT走出來。

3、Transformer中有一個很重要的概念，注意力機制。

什麼是注意力機制呢？

就是從你輸入的訊息中，挑出重要的訊息，把注意力集中在這些重要的訊息上，忽略不重要的訊息。這樣就能更好的理解你說的話。

注意力機制能幫助Transformer模型集中註意力在輸入資訊中最重要的部分。

4、機器學習方式，分為監督學習、無監督學習、強化學習。

監督學習：有標籤數據，可以直接回饋，可以預測結果和未來

無監督學習：沒有標籤和目標，沒有回饋，而是它自己去尋找數據中的隱藏結果

強化學習：是一個決策過程，有一系列的獎勵機制和懲罰機制，讓機器學習如何做到更好

ChatGPT用到的是無監督學習和強化學習。

5、ChatGPT能進行大量的內容生成與創造，其實是靠的猜機率。

例如，天氣灰濛濛的，我的心情很___

經過大量資料訓練過的AI，會預測這個空格出現的最高機率的字是「沮喪」。

那麼「沮喪」就會被填到這個空格中，所以產生了答案：

天氣灰濛濛的，我的心情很沮喪

這感覺很不可思議，但事實就是這樣。

現階段所有的NLP(自然語言處理)任務，都不是機器真正理解人類的世界。

他只是在玩文字遊戲，進行一次又一次的機率解謎。

6、在這個」猜機率「的文字遊戲中，大預言模型（LLM，Large Language Model）演進出了最主流的兩個方向：BERT和GPT。

BERT是之前最受歡迎的方向，幾乎統治了所有NLP領域。

並在自然語言理解類別任務中發揮出色(例如文本分類，情感傾向判斷等）。

而GPT方向則較為薄弱，最知名的玩家就是OpenAl了。

事實上在GPT3.0發布前，GPT方向一直是弱於BERT的（GPT3.0是ChatGPT背後模型GPT3.5的前身）。

7、BERT和GPT差別是？

BERT，是雙向語言模型，聯繫前後猜中間的字，所以是雙向，就像完型填空。

例如：我___20號回家

BERT猜的是「我打算20號回家」，猜的是中間的「打算」。

GPT，是單向語言模型，猜下一個字，所以是單向，像寫作文。

例如：我打算20號___

GPT猜的是「我打算20號回家」，猜的是後面「回家」兩個字。

8、怎麼給GPT提問？

有兩種方式：fine-tune和prompt。

fine-tune，調參：需要對模型參數進行更新，來完成產生內容。

fine-tune 專業，門檻高，受眾小。但多元、準確度高，適合複雜任務。少數玩家的遊戲。

prompt，提示詞：不需要修改模型和參數，只需要給一些提示和範例，就能完成任務。

prompt更簡單，門檻低，受眾大。適合處理簡單的任務。所有玩家都。

我們在ChatGPT輸入框中輸入的內容，就是prompt。

9、ChatGPT是生成式AI。

AI從內容產出方式上，分為兩種：分析式AI和生成式AI。

分析式AI，主要用於分析，歸類。你餵給它多少數據，它就能分析出什麼樣的內容，它侷限於數據本身。

生成式AI， 在學習歸納資料分佈的基礎上，創造資料中不存在的新內容。可以產生文字、圖片、程式碼、語音合成、視訊和3D模型。

ChatGPT是生成式AI，最擅長文字和寫入程式碼。

10、最後，從知識獲取的角度說，ChatGPT是全新一代的 「知識表示和調用方式」。

早期，知識以結構化的方式儲存在資料庫中。我們透過 SQL獲取。

後來，隨著網路的誕生，更多文字、圖片、影片等非結構化知識儲存在網路中。我們透過搜尋引擎獲取。

現在，知識以參數的形式儲存在大模型中。我們用自然語言直接呼叫這些知識。

以上是ChatGPT是什麼？ G、P、T代表什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！