人工智能技術(shù)堆棧中的錯(cuò)誤配置會(huì)導(dǎo)致數(shù)據(jù)攝取管理不善、模型訓(xùn)練效率低下和安全漏洞不足。解決這些挑戰(zhàn)需要不重復(fù)我們從云和 Kubernetes 經(jīng)驗(yàn)中吸取的教訓(xùn)。
譯自Lessons From Kubernetes and the Cloud Should Steer the AI Revolution,作者?Mark Hinkle。
我們之前見(jiàn)過(guò)這個(gè)故事……
在過(guò)去十年中,云計(jì)算和Kubernetes作為革命性力量出現(xiàn),承諾可擴(kuò)展性、效率和運(yùn)營(yíng)靈活性。這些創(chuàng)新改變了組織部署和管理數(shù)字基礎(chǔ)設(shè)施的方式,云服務(wù)實(shí)現(xiàn)了輕松的資源擴(kuò)展,而 Kubernetes 提供了復(fù)雜的容器編排。
然而,這種技術(shù)采用速度帶來(lái)了挑戰(zhàn),尤其是配置技術(shù)債務(wù)— 一個(gè)阻礙開(kāi)發(fā)人員生產(chǎn)力、導(dǎo)致系統(tǒng)中斷并增加安全風(fēng)險(xiǎn)的復(fù)雜問(wèn)題。如果組織實(shí)施主動(dòng)配置數(shù)據(jù)管理策略,本可以避免這個(gè)問(wèn)題。
新興的人工智能(AI) 技術(shù)正在遵循類似的軌跡。圍繞 AI 潛力的最初興奮讓我們能夠避免重復(fù)過(guò)去的錯(cuò)誤,包括累積配置技術(shù)債務(wù)。
在 AI 開(kāi)發(fā)早期解決配置債務(wù)對(duì)于避免云和容器技術(shù)在快速走向主流時(shí)面臨的先前配置挑戰(zhàn)至關(guān)重要。
云計(jì)算的快速崛起
云計(jì)算徹底改變了 IT,強(qiáng)調(diào)可擴(kuò)展性、靈活性及成本效益。企業(yè)迅速?gòu)陌嘿F的本地?cái)?shù)據(jù)中心轉(zhuǎn)向云,重視敏捷性和創(chuàng)新。然而,這種轉(zhuǎn)變帶來(lái)了配置復(fù)雜性,導(dǎo)致配置債務(wù),因?yàn)楣倦y以優(yōu)化云服務(wù)以提高性能和成本。
該行業(yè)通過(guò)開(kāi)發(fā)云管理工具和最佳實(shí)踐做出了回應(yīng),優(yōu)先考慮簡(jiǎn)單性、可重復(fù)性和自動(dòng)化。這些措施有助于減少配置債務(wù),使組織能夠充分利用云計(jì)算的優(yōu)勢(shì),同時(shí)有效管理其挑戰(zhàn)。
Kubernetes:通過(guò)編排馴服云
Kubernetes 自動(dòng)化了容器化應(yīng)用程序的部署、擴(kuò)展和操作,使開(kāi)發(fā)人員能夠?qū)W⒂趹?yīng)用程序開(kāi)發(fā),而不是基礎(chǔ)設(shè)施。
盡管有這些好處,Kubernetes 在配置管理中引入了復(fù)雜性,由于最佳實(shí)踐不一致,可能會(huì)產(chǎn)生大量的配置債務(wù)。
Kubernetes 社區(qū)開(kāi)發(fā)了?Helm Chart?等工具和實(shí)踐,用于包管理,用于自動(dòng)化應(yīng)用程序管理的運(yùn)營(yíng)商和基礎(chǔ)設(shè)施即代碼(IaC) 工具,如Terraform,以及用于高效配置的CI/CD 管道。
與 AI 革命的相似之處
AI 開(kāi)發(fā)與云服務(wù)和 Kubernetes 的快速增長(zhǎng)相似,有望通過(guò)增強(qiáng)決策制定和任務(wù)自動(dòng)化等新功能徹底改變業(yè)務(wù)運(yùn)營(yíng)。
然而,這種快速發(fā)展可能會(huì)導(dǎo)致另一輪配置技術(shù)債務(wù)的積累,正如我們?cè)谠坪?Kubernetes 中看到的那樣。AI 系統(tǒng)具有巨大的配置復(fù)雜性:AI 技術(shù)堆棧、算法、數(shù)據(jù)管道和模型必須針對(duì)最佳性能、可擴(kuò)展性和安全性進(jìn)行正確配置。
AI 技術(shù)堆棧中的錯(cuò)誤配置會(huì)導(dǎo)致數(shù)據(jù)攝取管道管理不善、模型訓(xùn)練效率低下和安全措施不足。解決這些挑戰(zhàn)需要不重復(fù)我們從云和 Kubernetes 經(jīng)驗(yàn)中吸取的教訓(xùn)。
經(jīng)驗(yàn)教訓(xùn)和前進(jìn)的道路
云計(jì)算和 Kubernetes 的發(fā)展為 AI 開(kāi)發(fā)提供了重要的經(jīng)驗(yàn)教訓(xùn)。它強(qiáng)調(diào)了戰(zhàn)略規(guī)劃的必要性,包括配置管理中的工具選擇和最佳實(shí)踐,以避免配置債務(wù)并確保系統(tǒng)可擴(kuò)展性和安全性。
實(shí)施自動(dòng)化和 IaC 將減少人為錯(cuò)誤,使配置更可靠、更可審計(jì)。有效的治理和明確的配置管理策略對(duì)于維護(hù)系統(tǒng)完整性和合規(guī)性至關(guān)重要,尤其是在快速發(fā)展的 AI 創(chuàng)新中。
培養(yǎng)類似于 Kubernetes 生態(tài)系統(tǒng)的協(xié)作和知識(shí)共享社區(qū)至關(guān)重要。通過(guò)利用這些經(jīng)驗(yàn)教訓(xùn),AI 開(kāi)發(fā)路徑變得更加清晰,使技術(shù)能夠?qū)崿F(xiàn)其變革潛力,同時(shí)避免技術(shù)債務(wù)。
避免 AI 中配置債務(wù)的策略
為了避免 AI 開(kāi)發(fā)中的配置債務(wù),組織可以從云計(jì)算和 Kubernetes中學(xué)習(xí),強(qiáng)調(diào)戰(zhàn)略規(guī)劃、自動(dòng)化和持續(xù)學(xué)習(xí)的文化。
簡(jiǎn)而言之,AI 配置即平臺(tái)。
自動(dòng)化通過(guò)支持 IaC 的工具減少人為錯(cuò)誤,并確保一致、可靠的配置。在 AI 項(xiàng)目中建立明確的治理策略可以簡(jiǎn)化配置管理并遵循最佳實(shí)踐,從而最大程度地降低配置債務(wù)風(fēng)險(xiǎn)。
CloudTruth的聯(lián)合創(chuàng)始人 Greg Arnette 說(shuō),“根據(jù)對(duì)一千多位工程領(lǐng)導(dǎo)者的研究訪談,我相信新 AI 時(shí)代必備的解決方案是全面的秘密和配置數(shù)據(jù)編排解決方案,該解決方案可以管理、審計(jì)、保護(hù)和版本 AI 堆棧配置和秘密。AI 系統(tǒng)配置和維護(hù)復(fù)雜,并且操作成本高,因?yàn)樗鼈兿牧舜罅吭瀑Y源并處理敏感的公司數(shù)據(jù)?!?/span>
培養(yǎng)優(yōu)先考慮持續(xù)改進(jìn)的文化有助于團(tuán)隊(duì)緊跟最新技術(shù)。實(shí)施這些策略可確保有效且高效的 AI 系統(tǒng)管理,免受配置債務(wù)的困擾。
結(jié)論:用過(guò)去的智慧引領(lǐng) AI 革命
一個(gè)清晰的模式出現(xiàn)了,將云和 Kubernetes 的興起與人工智能技術(shù)的興起聯(lián)系起來(lái)——快速創(chuàng)新,然后意識(shí)到累積的配置技術(shù)債務(wù)將破壞成功的部署。
組織可以通過(guò)采用標(biāo)準(zhǔn)化工具、治理框架和協(xié)作實(shí)踐來(lái)緩解配置債務(wù),這些實(shí)踐優(yōu)先考慮簡(jiǎn)單性和自動(dòng)化。這確保了 AI 系統(tǒng)的可擴(kuò)展性、安全性并能夠發(fā)揮其變革潛力。
請(qǐng)記住,配置數(shù)據(jù)是 AI 基礎(chǔ)設(shè)施堆棧中的“承載負(fù)載”。鑒于秘密和變量至關(guān)重要,配置錯(cuò)誤在統(tǒng)計(jì)上比任何其他類型的軟件錯(cuò)誤導(dǎo)致更多中斷和違規(guī)。
每個(gè)團(tuán)隊(duì)都必須具備一個(gè)解決方案,該解決方案可以全面管理、審計(jì)、保護(hù)和版本此數(shù)據(jù),而無(wú)需大量返工。