首頁 > 頭條 > 用於大數據處理的高效能運算採用的4個步驟

用於大數據處理的高效能運算採用的4個步驟

-
發布: 2018-03-10 09:48:29
原創
1913 人瀏覽過

如果企業需要採用處理其大數據的高效能運算,在內部部署營運可能效果最佳。以下是企業需要了解的內容,其中包括高效能運算和Hadoop的不同之處。

在大數據領域,並非每家公司都需要高效能運算(HPC),但幾乎所有使用大數據的企業都採用了Hadoop式分析運算。

用於大數據處理的高效能運算採用的4個步驟

HPC和Hadoop之間的差異很難區分,因為可以在高效能運算(HPC)裝置上執行Hadoop分析作業,但反之亦然。 HPC和Hadoop分析都使用平行資料處理,但在Hadoop 和分析環境中,資料儲存在硬體上,並分佈在該硬體的多個節點上。在高效能運算(HPC)中,資料檔案的大小要大得多,資料儲存集中。高效能運算(HPC)由於其檔案體積龐大,還需要更昂貴的網路通訊(如InfiniBand),因此需要高吞吐量和低延遲。

企業資訊長的目的很明確:如果企業可以避免使用HPC並且只將Hadoop用於分析,可以執行此操作。這種方式成本更低,更容易員工操作,甚至可以在雲端運行,其他公司(如第三方供應商)可以運行它。

不幸的是,對於需要高效能運算(HPC)進行處理的生命科學、氣象、製藥、採礦、醫療、政府、學術的企業和機構來說,全部採用Hadoop是不可能的。由於文件規模較大,處理需求極為嚴格,採用資料中心或與採用雲端運算都不是很好的方案。

簡而言之,高效能運算(HPC)是一個在資料中心內部運作的大數據平台的完美範例。正因為如此,企業如何確保其投資巨大的硬體完成所需的工作成為了一個挑戰。

大數據Hadoop和HPC平台供應商PSCC Labs首席策略長Alex Lesser表示:「這是必須使用HPC來處理其大數據的許多公司面臨的挑戰。大多數這些公司都有支援傳統IT基礎設施,他們自然地採用了這種思路,自己構建Hadoop分析計算環境,因為這使用了他們已經熟悉的商用硬件,但是對於高性能計算(HPC)來說,其響應通常是讓供應商來處理。 ##企業的高階主管和董事會成員不一定要求是高效能運算領域的專家,但絕不能沒有他們的理解和支持。這些管理人員都應該對高效能運算(HPC)有足夠的了解,以及可以為企業明確支援可能製定的大規模硬體、軟體和培訓投資。這意味著他們必須在兩個方面受到教育:(1)HPC是什麼,為什麼它與普通分析不同,需要採用特殊的硬體和軟體。 (2)為什麼企業需要使用HP​​C而不是原有的分析來實現其業務目標。這兩項教育工作都應由首席資訊長(CIO)或首席開發官(CDO)負責。

Lesser表示:「採用HPC的最積極的公司是那些相信他們真正的科技公司,他們指的是亞馬遜AWS雲端服務,最初只是亞馬遜公司的零售業務,現在已成為一個龐大的利潤中心。 「我們有一個基於HPC最佳實踐的基本軟體包,可以與客戶一起根據客戶的計算需求定制這個基礎軟體包。」Lesser說,他指出幾乎每個數據中心都必須進行一些定制。

3.了解回報

與任何IT投資一樣,HPC必須符合成本效益,並且企業應該能夠獲得投資回報(ROI),這一點在管理層和董事會的頭腦中已經闡明。 「一個很好的例子是飛機設計。」Lesser說。 「高效能運算(HPC)的投資規模很大,但是當公司發現它可以使用HPC進行設計模擬並獲得5個9的準確性,並且不再需要租用物理風洞時,就會很快收回了HPC投資。定位以實現自給自足。

最初,企業可能需要聘請外部顧問人員才能開始工作。但諮詢任務的目標應始終是雙重目標:(1)讓HPC應用程式繼續運行,(2)將知識傳授給員工,以便他們能夠接管操作。企業不應該滿足於此。

HPC團隊的核心是需要一名資料科學家,他能夠開發高效能運算所需的高度複雜的演算法來回答企業的問題。它還需要一名精通C +或Fortran技能,並能夠在並行處理環境中工作的強大系統的程式設計師,或是網路通訊專家。

「最重要的是,如果企業每兩週要運行一次或兩次工作,就應該到雲端來承載其HPC。」Lesser說,「但是如果企業正在使用HPC資源和運行作業,如製藥公司或生物學公司可能每天多次運行,那麼在雲端運行就會浪費資金,應該考慮運行自己的內部操作。

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板