許多企業(yè)在推出人工智能項目時關(guān)注的是計算能力和網(wǎng)絡(luò)。但他們可能忽略了他們對海量存儲需求的更大圖景。
隨著企業(yè)開始部署和使用人工智能，許多人意識到他們需要獲得巨大的計算能力和快速的網(wǎng)絡(luò)功能，但存儲需求可能被忽視了。
一些人工智能和存儲專家表示，啟動聊天機(jī)器人或采用人工智能助手不太可能對大多數(shù)企業(yè)的存儲容量造成負(fù)擔(dān)，但可以訪問數(shù)百萬個數(shù)據(jù)點的大型人工智能項目可能需要數(shù)tb的新存儲空間，可能會花費數(shù)千萬美元。
Duos Technologies公司首席技術(shù)官Jeffrey Necciai表示，目前有幾種存儲選擇，對于某些人工智能功能來說，云存儲或傳統(tǒng)硬盤可能就足夠了。該公司利用人工智能與成像技術(shù)來檢查行駛中的火車。
但Necciai和其他專家表示，對于需要提供即時響應(yīng)或信息的人工智能系統(tǒng)，距離人工智能工作負(fù)載位置數(shù)百英里的硬盤和云存儲可能太慢了。
Necciai說，例如，Duos Technologies公司在掃描鐵路車輛后60秒內(nèi)提供通知。在這種情況下，該公司需要與人工智能計算單元一起工作的超高速存儲。
不僅僅是硬盤的大小
Necciai說，考慮大型人工智能項目的企業(yè)需要考慮他們需要的存儲量以及他們的存儲同時處理多個任務(wù)的能力。
他補(bǔ)充說:“我們需要為多個線程同時快速地寫入存儲，我們需要為多個線程快速地從故事存儲中讀取?！薄皩ξ覀儊碚f非常重要的是，能夠同時對存儲進(jìn)行操作。”
去年，Duos Technologies公司掃描了850萬輛火車車廂，每次掃描可能產(chǎn)生1050多張圖像。Duos軌道車檢查門戶使用四個高性能存儲陣列，每個存儲陣列包含16個NVMe驅(qū)動器，總?cè)萘考s為500TB。
該公司還使用了大約25TB的傳統(tǒng)存儲空間，用于內(nèi)部培訓(xùn)和開發(fā)人工智能，減少了對即時結(jié)果的需求。Necciai說:“我們希望利用所有這些資源來做我們需要做的事情。歸根結(jié)底，就是用正確的工具做正確的工作?！?/span>
海量數(shù)據(jù)需求
與Duos Technologies公司一樣，其他一些運行大型人工智能項目的企業(yè)正在轉(zhuǎn)向大容量SSD或NAND閃存來滿足其存儲需求。
高速內(nèi)存比硬盤貴得多，每千兆字節(jié)的成本高達(dá)1,000美元，但它們還有其他優(yōu)勢。企業(yè)固態(tài)硬盤制造商Solidigm公司的領(lǐng)導(dǎo)力營銷高級總監(jiān)Roger Corell舉例說，固態(tài)硬盤的能效幾乎是服務(wù)器和硬盤機(jī)架的三倍，占用的空間也更小。
他說，隨著企業(yè)采用更復(fù)雜、多模式的人工智能項目，以及越來越多的員工開始使用人工智能工具，對高容量、多線程存儲選項的需求只會增加。
科雷爾補(bǔ)充道:“人工智能在需要存儲的數(shù)據(jù)量以及需要以多快的速度訪問這些海量數(shù)據(jù)集方面是如此強(qiáng)大。
此外，人工智能和機(jī)器學(xué)習(xí)項目的對象存儲公司MinIO公司首席技術(shù)官Ugur Tigli表示，除了SSD或NAND選項外，一些公司正在使用私有云或托管設(shè)施來滿足他們的存儲需求。
他說，采用人工智能的MinIO客戶通常會將存儲容量增加4到10倍，他鼓勵大規(guī)模人工智能用戶在公共云之外尋找存儲需求，因為使用私有云或托管服務(wù)的成本可能比公共云低60%。
他說:“在數(shù)百P字節(jié)或1E字節(jié)或2E字節(jié)的規(guī)模上，在公共云中行不通。根據(jù)容量、分層和數(shù)據(jù)訪問配置，每年的總成本將在數(shù)千萬到數(shù)億美元之間?！?/span>
Tigli補(bǔ)充說，與公共云不同，企業(yè)用戶可以私下構(gòu)建并“突發(fā)”到云上，以獲得額外的GPU使用。他說:“這里的關(guān)鍵是，計算是彈性的，但數(shù)據(jù)有引力，并且以可預(yù)測的(盡管是加速的)速度增長，因此需要相應(yīng)地構(gòu)建計算?！?/span>
存儲作為平臺
數(shù)字轉(zhuǎn)型服務(wù)商AHEAD公司的領(lǐng)域首席技術(shù)官Priyanka Karan補(bǔ)充說，另一個選擇涉及PB規(guī)模存儲平臺。她表示，“PB規(guī)模存儲平臺旨在減少數(shù)據(jù)移動的挑戰(zhàn)，即將數(shù)據(jù)從最初降落的地方帶到可以用于人工智能訓(xùn)練的地方。我們的目標(biāo)不是建立一個新的倉庫?！?/span>
她說，一些可用的存儲平臺建立在NAND閃存上，這提供了高吞吐量和低延遲，對于將數(shù)據(jù)饋送到GPU和TPU至關(guān)重要。
一些人工智能用戶和專家表示，現(xiàn)在有幾種選擇，所需的存儲數(shù)量和類型取決于組織正在部署的人工智能項目。
Karan表示，脫機(jī)批處理比實時工作負(fù)載的內(nèi)存需求更低。她補(bǔ)充說，在某些情況下，二級存儲選項可用于保存訓(xùn)練和運行人工智能模型所需的大量數(shù)據(jù)。
選擇正確的存儲選項還取決于經(jīng)常提到的數(shù)據(jù)重力（也就是數(shù)據(jù)集的大?。?，是否可以將其移動到云中進(jìn)行處理，或者對數(shù)據(jù)進(jìn)行處理是否有意義。在一些人工智能項目中，數(shù)據(jù)存儲與人工智能計算一起位于數(shù)據(jù)中心、另一個公共云或數(shù)據(jù)創(chuàng)建的邊緣。
企業(yè)還有許多其他因素需要考慮，包括安全性、法規(guī)或遵從性挑戰(zhàn)。對于云存儲，Karan說?！熬W(wǎng)絡(luò)、距離和延遲都是考慮因素，但他們必須考慮額外的成本變量。”
此外，除了存儲本身的成本之外，可能還有數(shù)據(jù)傳輸費用、訪問費用和非本地存儲的管理費。另一方面，本地存儲選項可能涉及巨大的前期投資，以及維護(hù)、電力和冷卻以及員工工資。
Karan說:“組織必須評估他們的特定需求，包括性能、成本和可擴(kuò)展性，為他們的人工智能計劃選擇最佳解決方案?！?/span>
