在進行機器學習專案時，特別是在處理深度學習和神經網路時，最好使用GPU而不是CPU來處理，因為在神經網路方面，即使是一個非常基本的GPU也會勝過CPU。
但是你應該買哪種GPU呢?本文將總結需要考慮的相關因素，以便可以根據預算和特定的建模要求做出明智的選擇。
CPU（中央處理器）是電腦的主力，它非常靈活，不僅需要處理來自各種程式和硬體的指令，處理速度也有一定的要求。為了在這種多任務環境中表現出色，CPU 具有少量且靈活快速的處理單元（也稱為核）。
GPU（圖形處理單元）GPU在多工處理方面較不靈活。但它可以並行執行大量複雜的數學計算。這是透過擁有更多數量的簡單核心（數千到上萬）來實現的，這樣可以同時處理許多簡單的計算。
並行執行多個計算的要求非常適合於:
在Nvidia自己的部落格上已經總結了CPU和GPU的主要差異:
隨著人工智慧和機器/深度學習的發展，現在已經有了更專門的處理核心，稱為張量核（Tensor cores）。在執行張量/矩陣計算時，它們更快更有效。因為我們在機器/深度學習中所處理的資料型態就是張量。
雖然有專用的tpu，但一些最新的GPU也包含許多張量核，我們會在後面總結。
這將是一個相當短的部分，因為這個問題的答案肯定是Nvidia
雖然可以使用AMD的gpu進行機器/深度學習，但在寫本文時，Nvidia的GPU具有更高的相容性，並且通常更好地整合到TensorFlow和PyTorch等工具中（例如目前PyTorch的AMD GPU的支援還只能在Linux上使用）。
使用AMD GPU需要使用額外的工具(ROCm)，這個會有一些額外的工作，而且版本可能不會很快更新的。這種情況將來可能會有所改善，但現在為止，最好還是使用Nvidia。
選擇一個夠完成機器學習任務並且符合預算的GPU，基本上歸結為四個主要因素的平衡:
以下將逐一探討這些方面，希望能讓你更能理解什麼對你來說是重要的。
答案是，越多越好!
這實際上取決於你的任務，以及這些模型有多大。例如，如果你正在處理圖像、視頻或音頻，那麼根據定義，你將處理相當大量的數據，GPU RAM將是一個非常重要的考慮因素。
總有辦法解決記憶體不足的問題(例如減少批次大小)。但是這將會浪費訓練的時間，因此需要很好地平衡需求。
根據經驗，我的建議如下:
一般來說，如果成本相同的話，選擇「速度較慢」但記憶體較大的卡片會更好。請記住，GPU的優勢是高吞吐量，這在很大程度上依賴可用的RAM來透過GPU傳輸資料。
這其實很簡單，越多越好。
先考慮RAM，然後就是CUDA。對於機器/深度學習來說，Tensor 核比CUDA核更好(更快，更有效)。這是因為它們是為機器/深度學習領域所需的計算而精確設計的。
但這並不重要，因為CUDA核心已經夠快了。如果你能得到一張包含Tensor 核的卡，這是一個很好的加分點，只是不要太糾結於它。
後面你會看到「CUDA」被提到很多次，我們先總結它:
CUDA核心－這些是顯示卡上的實體處理器，通常有數千個，4090已經1萬6了。
CUDA 11 -數字可能會改變，但這是指安裝的軟體/驅動程序，以允許顯示卡正常的工作。 NV會定期發布新版本，它可以像其他軟體一樣安裝和更新。
CUDA代數(或計算能力)-這描述了顯示卡卡在它的更新迭代的代號。這在硬體上是固定的，因此只能透過升級到新卡來改變。它由數字和一個代號來區分。例:3。 x[Kepler]，5。 x [Maxwell]， 6。 x [Pascal]， 7。 x[Turing]和8。 x(Ampere)。
這其實比你想像的更重要。我們這裡不討論AMD，我的眼裡只有」老黃「。
上面我們已經說了，30系列的卡片就是Ampere架構，最新的40系列是 Ada Lovelace。一般老黃都會使用一個著名科學家和數學家來對架構命名，這次選擇的是著名英國詩人拜倫之女，建立了循環和子程序概念的女數學家、計算機程序創始人Ada Lovelace來命名。
了解對於卡片的運算能力，我們要了解2個面向：
使用精確度低於32 位元浮點數的數字格式有許多好處。首先它們需要更少的內存，從而能夠訓練和部署更大的神經網路。其次它們需要更少的記憶體頻寬，從而加快資料傳輸操作。第三數學運算在精度降低的情況下運行得更快，尤其是在具有 Tensor Core 的 GPU 上。混合精度訓練實現了所有這些好處，同時確保與完全精度訓練相比不會失去特定於任務的準確性。它透過識別需要完全精確度的步驟並僅對這些步驟使用 32 位元浮點而在其他任何地方使用 16 位元浮點來實現這一點。
這裡是Nvidia 官方文檔，有興趣的可以看看：
https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html
如果您的GPU 具有7.x (Turing) 或更高的架構，才有可能使用混合精確訓練。也就是說 桌面的RTX 20 系列或高版本，或伺服器上的 “T”或“A”系列。
混合精準度訓練具有如此優勢的主要原因是它降低了RAM 使用率，Tensor Core 的GPU會加速混精度訓練，如果沒有的話使用FP16也會節省顯存，可以訓練更大的批次大小，間接提升訓練速度。
如果你對RAM有特別高的要求，但又沒有足夠的錢買高階卡，那麼你可能會選擇二手市場上的老款GPU。這有一個相當大的缺點…這張卡的壽命結束了。
一個典型的例子就是Tesla K80，它有4992個CUDA核心和24GB的RAM。 2014年，它零售價約為7,000美元。現在的價格從 150到170美元不等!（鹹魚的價格600-700左右）這麼小的價格卻有這麼大的內存，你一定很興奮。
但是這有一個非常大的問題。 K80的運算架構是3.7 (Kepler)，CUDA 11起已經不支援(目前CUDA版本為11.7)。這意味著這張卡已經廢了，所以它才賣的這麼便宜。
所以在選擇2手卡時一定要看清楚是否支援最新版本的驅動程式和CUDA，這是最重要的。
老黃基本上把卡片分成了兩個部分。消費性顯示卡與工作站/伺服器的顯示卡(即專業顯示卡)。
這兩個部分之間有明顯的區別，對於相同的規格(RAM, CUDA內核，架構)，消費性顯示卡通常會更便宜。但是專業卡通常會有更好的質量，而且較低的能源消耗（其實渦輪的噪音挺大的，放機房還可以，放家裡或是試驗室有點吵）。
高階(非常昂貴)的專業卡，你可能會注意到它們有很大的RAM(例如RTX A6000有48GB, A100有80GB!)。這是因為它們通常直接針對3D建模、渲染和機器/深度學習專業市場，這些市場需要高水準的RAM。再說一次，如果你有錢，買A100就對了!（H100是A100的新版，目前無法評價）
但是我個人認為，我們還是選擇消費者的高端遊戲卡，因為如果你不差錢，你也不會看這篇文章，對吧
所以在最後我根據預算和需求提出一些建議。我將其分為三個部分:
高預算不考慮任何超出高端消費顯示卡。還是那句話如果你有錢：A100，H100隨便買。
本文會包含在二手市場買到的卡片。這主要是因為我認為在低預算的情況下，二手是可以考慮的。這裡還包括了專業桌面系列卡(T600、A2000和A4000)，因為它的一些配置比同類消費類顯示卡稍差，但功耗明顯更好。
##線上/雲端服務
如果你決定花錢買顯示卡不適合你，你可以利用GoogleColab，它可以讓你免費使用GPU。
但這是有時間限制的，如果你使用GPU太長時間，他們會把你踢出去，然後回到CPU上。如果GPU處於非活動狀態太長時間，可能是在你寫程式碼的時候，它也會把GPU拿回來。 GPU也是自動分配的，所以你不能選擇你想要的確切的GPU（你也可以每月9.9刀弄個Colab Pro，我個人覺得要比低預算好很多，但是要求有梯子，$49.99的Colab Pro 有點貴，不建議）。
在寫本文時，透過Colab可以得到以下GPU:
在前面也提到了，K80有24GB的RAM和4992個CUDA核心，它基本上是兩個K40卡連在一起。這意味著當你在Colab中使用K80時，你實際上可以存取一半的卡，所以也就是只有12GB和2496個CUDA核心。 ######總結######最後現在4090還是處於耍猴的狀態，基本上要搶購或加價找黃牛######但是16384 CUDA 24GB，對比3090 的10496 CUDA ，真的很香。 ######而4080 16G的9728CUDA 如果價格能到7000內，應該是性價比很高的選擇。 12G的 4080就別考慮了，它配不上這個名字。 ######對於AMD的 7900XTX 應該也是一個很好的選擇，但是相容性是個大問題，如果有人測試的話可以留言。 ######40系列老黃一直在耍猴，所以如果不著急的話還再等等把：#########你不買，我不買，明天還能降兩百## ####
以上是為深度學習選擇最好的GPU的詳細內容。更多資訊請關注PHP中文網其他相關文章！
