保護(hù)AI堆棧中的數(shù)據(jù)意味著了解數(shù)據(jù)流向何處以及防止濫用。

譯自Who’s Responsible When AI Agents Go Rogue?，作者 Vrajesh Bhavsar。

無(wú)論您身處科技界還是與家人共進(jìn)晚餐，如今都無(wú)法逃脫AI的影響。我們?cè)S多人都經(jīng)歷了AI發(fā)展的幾個(gè)周期，每一個(gè)新的增長(zhǎng)階段都會(huì)引發(fā)許多關(guān)于我們?nèi)绾巫叩竭@里以及我們將走向何方的疑問(wèn)。幾年前，在ARM構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品時(shí)，我們也面臨著許多這樣的問(wèn)題，創(chuàng)新和AI的獨(dú)立性是緊密交織的概念這一點(diǎn)非常清楚。

快進(jìn)到今天的AI時(shí)代，雖然我們還沒(méi)有被天網(wǎng)接管，但人們、企業(yè)和社會(huì)越來(lái)越擔(dān)心最新階段的廣泛生成式AI應(yīng)用帶來(lái)的新的攻擊面。無(wú)論您是擔(dān)心深度偽造驅(qū)動(dòng)的社會(huì)工程攻擊、AI驅(qū)動(dòng)的網(wǎng)絡(luò)釣魚(yú)攻擊還是提示注入攻擊，都有充分的理由擔(dān)心AI應(yīng)用堆棧中潛伏的新風(fēng)險(xiǎn)；畢竟，AI并非存在于真空中——它集成在應(yīng)用堆棧的每個(gè)層級(jí)的核心，處理海量數(shù)據(jù)，包括高度敏感的數(shù)據(jù)，并與各種第三方交換這些數(shù)據(jù)，無(wú)論是OpenAI這樣的AI API還是來(lái)自Hugging Face的內(nèi)部模型。

盡管AI有缺陷，但不可否認(rèn)的是，它在生產(chǎn)力和創(chuàng)新方面具有巨大的潛力。雖然并不完美，但AI代理即將變得更加普遍。根據(jù)Capgemini的一項(xiàng)調(diào)查，82%的科技高管“打算在未來(lái)三年內(nèi)在其組織中整合基于AI的代理——高于目前擁有功能性代理的10%”。

隨著AI代理的日益普及，在其使用它們的重點(diǎn)行業(yè)中，潛在的危險(xiǎn)也在增加。鑒于此，C級(jí)高管面臨著一個(gè)關(guān)鍵問(wèn)題：當(dāng)AI失控時(shí)，誰(shuí)來(lái)負(fù)責(zé)？

AI的激增正在擾亂現(xiàn)代企業(yè)的組織結(jié)構(gòu)。Pearl Meyer的一份報(bào)告顯示，30%的公司選擇將AI相關(guān)的責(zé)任納入現(xiàn)有的高管角色。與此同時(shí)，“32%的公司正在采取去中心化的AI監(jiān)督方法，并期望AI工作由多個(gè)職能部門(mén)的各種領(lǐng)導(dǎo)者負(fù)責(zé)”。

在當(dāng)今大多數(shù)組織中，CISO、CIO和CTO承擔(dān)著AI行為和安全的主要責(zé)任。這可能會(huì)在不同的領(lǐng)導(dǎo)角色之間造成緊張關(guān)系，因?yàn)镃ISO無(wú)法控制AI系統(tǒng)，但他們卻負(fù)責(zé)維護(hù)安全。

由于AI是共享責(zé)任，組織必須采用能夠明確定義問(wèn)責(zé)制并彌合不同領(lǐng)導(dǎo)領(lǐng)域之間差距的策略和工具。

為AI的“黑箱”帶來(lái)透明度

透明度是實(shí)現(xiàn)問(wèn)責(zé)制的重要第一步。作為一名工程師，當(dāng)我解構(gòu)系統(tǒng)的工作原理時(shí)，我天生就感到快樂(lè)。在操作系統(tǒng)和加密領(lǐng)域之間架起橋梁，我了解了如何在這些復(fù)雜的軟件系統(tǒng)之間建立透明度和信任。

但這對(duì)于那些在AI開(kāi)發(fā)前沿的人來(lái)說(shuō)并非易事。傳統(tǒng)的軟件工程傾向于依賴于可以編寫(xiě)和審核的預(yù)定義規(guī)則的確定性系統(tǒng)。相比之下，現(xiàn)代概率生成式AI系統(tǒng)根據(jù)其對(duì)可能性的復(fù)雜和多維計(jì)算做出（通常是不可預(yù)測(cè)的）預(yù)測(cè)。概率系統(tǒng)，就其本質(zhì)而言，是不透明的。

因此，如果AI代理失控并且無(wú)法解釋其決策，那么確定出了什么問(wèn)題可能具有挑戰(zhàn)性（如果不是不可能的話）。那么，負(fù)責(zé)AI系統(tǒng)的領(lǐng)導(dǎo)者如何在這樣一個(gè)不完美的世界中獲得盡可能多的透明度和控制權(quán)呢？AI 的好壞取決于驅(qū)動(dòng)它的數(shù)據(jù)——正如諺語(yǔ)所說(shuō)，“垃圾進(jìn)，垃圾出”——因此，清晰記錄哪些訓(xùn)練數(shù)據(jù)正在為模型提供支持至關(guān)重要。盡可能頻繁地擦除和刪除可能有意或無(wú)意地被納入其建模中的私人信息，也至關(guān)重要。

當(dāng)通過(guò) AI API 部署 AI 時(shí)，團(tuán)隊(duì)必須完整了解其數(shù)據(jù)和應(yīng)用程序行為如何與外部實(shí)體（例如 Open AI）交互。他們需要了解哪些數(shù)據(jù)預(yù)期會(huì)流經(jīng)模型（以及哪些數(shù)據(jù)不會(huì)），并實(shí)時(shí)訪問(wèn)其 AI 代理的運(yùn)行方式，以便能夠立即捕獲和阻止意外行為，防止它們竊取數(shù)據(jù)或使整個(gè)系統(tǒng)癱瘓。

利用技術(shù)增強(qiáng)人工監(jiān)督

一些人認(rèn)為，人類(lèi)需要與 AI 交互才能使其保持問(wèn)責(zé)制，但我們?nèi)绾尾拍鼙苊馊斯けO(jiān)督成為創(chuàng)新的障礙呢？

設(shè)計(jì) AI 與人類(lèi)專家互動(dòng)以增強(qiáng)其能力而不是取代他們是一個(gè)良好的開(kāi)端。然后，團(tuán)隊(duì)必須利用技術(shù)主動(dòng)限制對(duì) AI 代理的訪問(wèn)，以減少或消除惡意破壞的后果。

就像我們?cè)诰W(wǎng)絡(luò)安全環(huán)境中強(qiáng)制執(zhí)行零信任一樣，訪問(wèn)控制和權(quán)限是根據(jù)安全的“最小權(quán)限”模型分配給特定個(gè)人的，同樣也應(yīng)該將“最小權(quán)限”邏輯應(yīng)用于 AI 代理。這樣，AI 代理的任務(wù)就可以被限制，攻擊面也將減小。同時(shí)，在關(guān)鍵時(shí)刻進(jìn)行人工監(jiān)督為最終負(fù)責(zé)其行為的團(tuán)隊(duì)和領(lǐng)導(dǎo)者提供了至關(guān)重要的透明度和控制。

AI 革命正在蓬勃發(fā)展，但我們?nèi)蕴幱谄鸩诫A段。組織必須確定誰(shuí)應(yīng)對(duì) AI 的行為負(fù)責(zé)，這可能意味著彌合 CISO、CIO 和 CTO 之間的差距，或聘用一位完全專注于 AI 的高管。通過(guò)建立問(wèn)責(zé)制，提高透明度，并利用技術(shù)增強(qiáng)人工監(jiān)督，公司將能夠很好地利用 AI 的優(yōu)勢(shì)，安全可靠地推動(dòng)創(chuàng)新。