AI 工程師的三大關(guān)鍵趨勢(shì)包括：使用低代碼或無(wú)代碼工具構(gòu)建 AI 代理，以及結(jié)合 AI 模態(tài)。
譯自3 Key Trends for AI Engineering in the Cloud in 2024，作者 Dan Rowinski。
過(guò)去 20 年的創(chuàng)新為我們帶來(lái)了轉(zhuǎn)折點(diǎn)，創(chuàng)造了全新的工作類別。想想 2006 年 AWS 推出后云架構(gòu)師和開(kāi)發(fā)人員的興起，iPhone 和 Android 興起后的移動(dòng)開(kāi)發(fā)人員，當(dāng)我們終于擁有足夠的數(shù)據(jù)和計(jì)算能力來(lái)使神經(jīng)網(wǎng)絡(luò)發(fā)揮作用時(shí)，機(jī)器學(xué)習(xí)工程師的出現(xiàn)，以及這三種趨勢(shì)融合后數(shù)據(jù)科學(xué)家的出現(xiàn)。
“如果你想在 18 個(gè)月前成為一名 AI 開(kāi)發(fā)人員，你需要克服很大的障礙。[...] 現(xiàn)在我們已經(jīng)到了一個(gè)階段，只要有一個(gè)想法，你就可以在午餐時(shí)間實(shí)現(xiàn)它。”
– Simon Margolis，SADA 的 AI 和 ML 副 CTO
沿著這條演變路徑，我們可能已經(jīng)到達(dá)了另一個(gè)轉(zhuǎn)折點(diǎn)：AI 工程師。AI 工程師在過(guò)去幾年中開(kāi)始流行，并且處于使用大型語(yǔ)言模型和相關(guān)工具來(lái)構(gòu)建生成式 AI 聊天機(jī)器人、代理和其他功能的最前沿。
隨著基礎(chǔ)模型和 AI 工程的成熟，一些趨勢(shì)開(kāi)始出現(xiàn)。我們與Simon Margolis，SADA的 AI 和 ML 副 CTO（一家 Google Cloud 供應(yīng)商）進(jìn)行了交談，了解他們?cè)诋?dāng)前 AI 工程領(lǐng)域看到了什么，以及我們接下來(lái)可能會(huì)看到什么。
“這取決于你在生成式 AI 的整體采用曲線上處于什么位置，”Margolis 說(shuō)。“有些人還在試用，剛開(kāi)始接觸，而有些人早在 ChatGPT 成為家喻戶曉的名字之前就在做生成式 AI 工作。我認(rèn)為，人們?cè)谶@個(gè)范圍內(nèi)的位置與他們的主要趨勢(shì)有很大關(guān)系?！?/p>
總的來(lái)說(shuō)，Margolis 確定了 2024 年年中 AI 工程師的三個(gè)關(guān)鍵趨勢(shì)：1) 能夠使用低代碼或無(wú)代碼或技術(shù)知識(shí)構(gòu)建AI 代理；2) 結(jié)合 AI 模式，例如機(jī)器學(xué)習(xí)和生成式 AI；3) 使用生成式 AI 來(lái)幫助構(gòu)建生成式 AI 代理。
兩個(gè)主要的生成式 AI 平臺(tái)，Google Cloud 和 OpenAI，一直在努力讓 AI 工程師更容易構(gòu)建 AI 代理，而無(wú)需過(guò)多地關(guān)注基礎(chǔ)模型或向量數(shù)據(jù)庫(kù)本身。兩者都推出了構(gòu)建代理的工具，包括 Google Cloud 的Vertex AI中的 Agent Builder 和 OpenAI 的GPTs。
“在早期采用者方面，我們看到的一個(gè)最大增長(zhǎng)點(diǎn)是能夠構(gòu)建生成式代理，而無(wú)需具備深厚的技術(shù)知識(shí)，”Margolis 說(shuō)?！岸鴥赡昵?，你需要對(duì)諸如 Transformer 和 RAG [檢索增強(qiáng)生成] 之類的東西非常了解，并且需要進(jìn)行大量深?yuàn)W的技術(shù)工作?！?/p>
Margolis 指出，雖然在構(gòu)建代理方面存在一些邊緣玩家，但他主要只在野外看到了 Agent Builder 和 GPTs。
“有了像 Agent Builder 和 GPTs 這樣的東西，你不需要是 AI 工程師才能做到這一點(diǎn)?！?/p>
能夠使用較少的技術(shù)知識(shí)構(gòu)建代理的凈效應(yīng)是，將創(chuàng)建代理的想法，以及一些執(zhí)行工作，推向了業(yè)務(wù)線人員，而不是僅僅依賴開(kāi)發(fā)人員。
“在高級(jí)別上，你從某個(gè)系統(tǒng)中獲取信息——一個(gè)專有系統(tǒng)、互聯(lián)網(wǎng)或它們的組合——然后使用它來(lái)告知一個(gè) AI 工具、一個(gè)代理或某種類型的生成式助手，”Margolis 說(shuō)?！斑@與我們一兩年前在 LangChain 中看到的模式相同，你擁有這些邏輯和推理循環(huán)，并且不斷增強(qiáng)輸出，直到它最終為你提供你想要的東西。它只是變得不那么微妙了?！?/p>
“有了像 Agent Builder 和 GPTs 這樣的東西，你不需要是 AI 工程師才能做到這一點(diǎn)。你可以是一個(gè)外行人來(lái)做到這一點(diǎn)。你可以使用純文本或 ClickOps 之類的東西來(lái)做到這一點(diǎn)。在解決方案空間方面，它更具可預(yù)測(cè)性?！?/p>
結(jié)合 AI 模式
將 AI 模式結(jié)合起來(lái)的想法可能對(duì) AI 工程師更具實(shí)際意義。需要注意的是，當(dāng) Margolis 在這種情況下談?wù)撃Ｊ綍r(shí)，他指的是我們可能認(rèn)為的“傳統(tǒng)”機(jī)器學(xué)習(xí)，例如用于推理和預(yù)測(cè)的機(jī)器學(xué)習(xí)，以及基礎(chǔ)模型和生成式 AI 的更新模式之間的區(qū)別。這與生成式 AI 中的模式概念不同，在生成式 AI 中，輸入和輸出取決于媒體，例如文本、音頻、視頻或翻譯。
“以前你會(huì)看到有些人要么在生成式 AI 世界中玩耍，要么在更傳統(tǒng)的 ML 世界中玩耍，圍繞推理和預(yù)測(cè)之類的東西，現(xiàn)在你開(kāi)始看到這兩種東西的融合?！?/p>
“這不是一個(gè)無(wú)代碼解決方案，而是一個(gè)相對(duì)低代碼的解決方案。我不是從頭開(kāi)始構(gòu)建模型。我沒(méi)有用 TensorFlow 編寫(xiě)代碼?！?/p>
Margolis 指出，這就是我們可以看到生成式 AI 的使用，而無(wú)需構(gòu)建特定的 AI 代理或聊天機(jī)器人。他以使用 AI 工具在醫(yī)療保健系統(tǒng)中呈現(xiàn)數(shù)據(jù)的例子為例，在醫(yī)療保健系統(tǒng)中，護(hù)士或醫(yī)生或管理員可能會(huì)輸入有關(guān)患者的多個(gè)數(shù)據(jù)字段，這些數(shù)據(jù)字段由生成式工具編寫(xiě)。然后在同一個(gè)系統(tǒng)中，有 ML 工具帶有推理引擎，這些工具可能會(huì)說(shuō)這是一個(gè)高風(fēng)險(xiǎn)患者等等。
“幾年前，如果我想構(gòu)建一個(gè)像 [醫(yī)療保健示例] 這樣的應(yīng)用程序，我可能需要征求一些精通模型創(chuàng)建的 ML 同事，他們可能需要使用 JAX 或 TensorFlow 為我構(gòu)建一個(gè)傾向模型，”Margolis 說(shuō)?！八麄兛赡苄枰嬲剡M(jìn)入物理 GPU。這需要大量的 ML 工程和數(shù)據(jù)科學(xué)工作。然后在生成方面，也許我可以直接將該輸出輸入到我最喜歡的生成模型的上下文窗口中。但這些是兩種截然不同的技能?！?/p>
Margolis 說(shuō)，像 Google Cloud 的 Vertex 套件（SADA 是 Google Cloud 生成式 AI 的首選合作伙伴）這樣的工具可以幫助彌合機(jī)器學(xué)習(xí)工具和生成式 AI 工具之間的差距。
“現(xiàn)在同一個(gè)工程師可以去 Vertex 創(chuàng)建一個(gè) AutoML 模型，”Margolis 說(shuō)。“這不是一個(gè)無(wú)代碼解決方案，而是一個(gè)相對(duì)低代碼的解決方案。我不是從頭開(kāi)始構(gòu)建模型。我沒(méi)有用 TensorFlow 編寫(xiě)代碼。我沒(méi)有用 JAX 編寫(xiě)代碼。我不處理 GPU。我不處理任何虛擬或系統(tǒng)組件?！?/p>
有關(guān)將生成式 AI 與結(jié)構(gòu)化數(shù)據(jù)結(jié)合使用的更多信息，Margolis 最近在 Medium 上發(fā)表了一篇關(guān)于該主題的有趣文章。
生成式 AI 幫助構(gòu)建生成式 AI
“進(jìn)入的門檻真的降低了，我認(rèn)為這對(duì)每個(gè)人都有好處?！?/p>
我們還沒(méi)有進(jìn)入一個(gè)計(jì)算機(jī)自主構(gòu)建自己的嬰兒計(jì)算機(jī)并編寫(xiě)自己的代碼的世界。然而，AI 工程中一個(gè)有趣的發(fā)展是使用生成式 AI 來(lái)幫助構(gòu)建更多生成式 AI 代理、機(jī)器人和應(yīng)用程序。
“我認(rèn)為這是一個(gè)強(qiáng)大的模式，它使許多人能夠參與到這個(gè)領(lǐng)域，”Margolis 說(shuō)。
他將這種趨勢(shì)比作過(guò)去 10-15 年的拐點(diǎn)，當(dāng)時(shí)開(kāi)發(fā)人員可以輕松地在云中啟動(dòng)虛擬機(jī)（大約在 2010 年），或者當(dāng)構(gòu)建移動(dòng)應(yīng)用程序的門檻在 2014 年左右降低時(shí)。
“我覺(jué)得這和我們?cè)诠苍浦杏龅降摹?，天哪’時(shí)刻一樣，當(dāng)時(shí)我們意識(shí)到，每個(gè)剛開(kāi)始學(xué)習(xí)計(jì)算機(jī)科學(xué)或系統(tǒng)設(shè)計(jì)的學(xué)生，你知道，在 2010 年，突然之間就可以啟動(dòng)服務(wù)器和數(shù)據(jù)庫(kù)，”Margolis 說(shuō)?！叭绻阆朐?18 個(gè)月前成為一名 AI 開(kāi)發(fā)人員，你需要克服一個(gè)很大的障礙。要達(dá)到能夠真正實(shí)現(xiàn)你的想法的程度，需要做很多工作?，F(xiàn)在我們已經(jīng)到了有了一個(gè)想法并實(shí)現(xiàn)它，你可能可以在午餐時(shí)間完成?！?/p>
“進(jìn)入的門檻真的降低了，我認(rèn)為這對(duì)每個(gè)人都有好處。”
