7月11日，網(wǎng)宿科技宣布推出一項(xiàng)全新的AI服務(wù)——邊緣AI網(wǎng)關(guān)，為企業(yè)用戶提供安全、可靠、高性能、易觀察的一體化模型服務(wù)管理方案，助力開發(fā)者的AI構(gòu)建之旅。

網(wǎng)宿科技CDN產(chǎn)品研發(fā)總監(jiān)曾智全表示，AI已經(jīng)成為新一輪創(chuàng)新的焦點(diǎn)，很多企業(yè)都想要使用AI，但缺乏相關(guān)的技術(shù)或經(jīng)驗(yàn)，網(wǎng)宿在業(yè)內(nèi)率先推出邊緣AI網(wǎng)關(guān)，希望幫助企業(yè)更好、更簡單、更安全地應(yīng)用AI。

據(jù)悉，網(wǎng)宿邊緣AI網(wǎng)關(guān)旨在為企業(yè)在模型服務(wù)與AI應(yīng)用之間搭建橋梁，無論是個人開發(fā)者還是企業(yè)，都可以借助網(wǎng)宿邊緣AI網(wǎng)關(guān)，更加簡易地管理和集成模型服務(wù)，從而更好地開展AI應(yīng)用創(chuàng)新。

大模型服務(wù)面臨管理、成本與安全挑戰(zhàn)

近年來，GPT大模型的橫空出世，在全球掀起了大模型競賽，隨之而來的，AI在各行各業(yè)的應(yīng)用加速涌現(xiàn)。如今，在應(yīng)用程序開發(fā)中，集成大模型已經(jīng)成為提升應(yīng)用體驗(yàn)和功能深度的普遍趨勢。

在這種背景下，業(yè)界誕生了一種新的服務(wù)模式，即MaaS（Model as a Service，模型即服務(wù)）。模型提供商通過API接口，將大模型能力出租給第三方企業(yè)使用，允許企業(yè)通過HTTP請求或其他方式與之交互。服務(wù)提供商負(fù)責(zé)模型的更新和維護(hù)，企業(yè)可以直接享受到最新的模型改進(jìn)。

不過，當(dāng)企業(yè)使用多個模型或提供商時，面臨著高昂的AI應(yīng)用成本。而為了最優(yōu)成本地利用各個AI服務(wù)商的模型服務(wù)，企業(yè)又面臨著管理、運(yùn)維難題。如何更好的管控模型使用，降低成本支出，同時清晰地洞察AI使用現(xiàn)狀和服務(wù)問題，成為各個企業(yè)構(gòu)建AI應(yīng)用的內(nèi)在訴求。

另外，需要注意的是，在使用模型服務(wù)的過程中，企業(yè)還面臨著敏感數(shù)據(jù)泄露、內(nèi)容不合規(guī)等風(fēng)險。目前，大多企業(yè)組織還未著手解決AI相關(guān)風(fēng)險，或是正在解決中。

“針對以上種種挑戰(zhàn)，業(yè)界亟需一種可以降低管理和擴(kuò)展模型服務(wù)難度，提升AI可用性和安全性的方案。網(wǎng)宿邊緣AI網(wǎng)關(guān)可以解決這一需求，讓企業(yè)和開發(fā)人員專注于構(gòu)建AI應(yīng)用程序，而不是管理復(fù)雜的集成?！?曾智全表示。

網(wǎng)宿邊緣AI網(wǎng)關(guān)，多模型服務(wù)的可管、可控、可觀察

助力企業(yè)把握科技應(yīng)用創(chuàng)新，一直是網(wǎng)宿科技的使命所在。

曾智全表示，網(wǎng)宿科技在歷次的互聯(lián)網(wǎng)應(yīng)用迭代中，為各類新興應(yīng)用的規(guī)模落地提供了重要的支撐，為全球企業(yè)提供了一站式、高效、安全的服務(wù)保障，我們所沉淀的完備技術(shù)能力以及深厚的場景經(jīng)驗(yàn)，可以復(fù)用于眼下的AI創(chuàng)新浪潮中，與企業(yè)一起在AI時代起跑。

基于對企業(yè)需求的洞察，網(wǎng)宿科技在業(yè)內(nèi)率先打造了網(wǎng)宿邊緣AI網(wǎng)關(guān)，在行業(yè)中開創(chuàng)了新的服務(wù)范式。

具體來看，在一般情況下，企業(yè)管理其所接入的多個大模型，需要提前做一些集成開發(fā)。網(wǎng)宿邊緣AI網(wǎng)關(guān)則提供了一個通用、一體化的解決方案。企業(yè)可通過統(tǒng)一的控制平臺，創(chuàng)建邊緣AI網(wǎng)關(guān)，添加通道，實(shí)現(xiàn)與多AI服務(wù)商模型對接，并且平臺支持多模型服務(wù)的可管、可控、可觀察。

其中，在接入層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提前完成了與多個主流AI服務(wù)商的集成，企業(yè)開發(fā)人員無需頻繁修改代碼，只需在控制臺進(jìn)行網(wǎng)關(guān)配置，一次接入，即可使用多個模型服務(wù)，大大提升接入效率。

在管理層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)支持特殊配置，企業(yè)可以在AI網(wǎng)關(guān)上靈活定義優(yōu)先級、負(fù)載均衡、限速等策略，按需配置不同模型服務(wù)，實(shí)現(xiàn)成本可控或減少濫用，并且企業(yè)可在請求失敗情況下實(shí)現(xiàn)無縫切換，提升AI服務(wù)的可靠性。另外，企業(yè)還可以啟用緩存功能，一旦請求在AI緩存中命中，則不必回到模型提供商，減少模型提供商tokens數(shù)的消耗，降低成本，提高響應(yīng)速度。

在運(yùn)營層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供數(shù)據(jù)可視化功能，聚合來自多個模型提供商的指標(biāo)，支持請求數(shù)、tokens數(shù)、緩存數(shù)、錯誤數(shù)等的分析展示，并提供實(shí)時日志記錄，讓企業(yè)可以觀測和控制模型服務(wù)的使用情況，以優(yōu)化模型服務(wù)策略。

網(wǎng)宿邊緣AI網(wǎng)關(guān)，多模型服務(wù)的安全與性能保障

曾智全進(jìn)一步介紹，在實(shí)現(xiàn)多模型服務(wù)的高效接入與管理的同時，網(wǎng)宿邊緣AI網(wǎng)關(guān)的核心價值，還在于確保模型服務(wù)的安全性、高性能，以及可定制化。

安全性對AI應(yīng)用至關(guān)重要。在安全性方面，企業(yè)可在網(wǎng)宿邊緣AI網(wǎng)關(guān)上配置提示詞過濾規(guī)則或執(zhí)行內(nèi)容安全審計，以確保交互內(nèi)容安全、合規(guī)且尊重用戶。

在服務(wù)性能上，依托網(wǎng)宿強(qiáng)大的全球資源網(wǎng)絡(luò)，用戶就近接入邊緣分布式AI網(wǎng)關(guān)，可以確保訪問的穩(wěn)定性和速度，減少因跨國網(wǎng)絡(luò)波動等異常因素對用戶體驗(yàn)的影響。

尤為值得一提的是，網(wǎng)宿可以支持開發(fā)人員在離用戶最近的邊緣位置實(shí)現(xiàn)一定程度的無服務(wù)化開發(fā)。通過將網(wǎng)宿邊緣AI網(wǎng)關(guān)和網(wǎng)宿邊緣函數(shù)結(jié)合使用，靈活定制一些模型調(diào)用或中間處理邏輯，1小時內(nèi)即可上線服務(wù)，大幅節(jié)省研發(fā)人員時間。

據(jù)悉，目前，網(wǎng)宿邊緣AI網(wǎng)關(guān)已開放限時免費(fèi)測試，以支撐用戶的AI體驗(yàn)。而除此之外，網(wǎng)宿深入企業(yè)應(yīng)用，聚焦特定的AI場景，還打造了邊緣向量數(shù)據(jù)庫、邊緣模型推理服務(wù)等，計劃下一步面向公眾開放。

屆時，企業(yè)可輕松集成公共或自有模型，通過邊緣AI網(wǎng)關(guān)，合理管控模型應(yīng)用，獲知多模型運(yùn)行數(shù)據(jù)，或是與邊緣函數(shù)、邊緣KV存儲、應(yīng)用引擎等組合使用，靈活構(gòu)建和擴(kuò)展邊緣AI應(yīng)用，執(zhí)行智能問答、內(nèi)容創(chuàng)作、檢索增強(qiáng)、圖片識別等AI任務(wù)。

伴隨AI時代發(fā)展，網(wǎng)宿科技在AI領(lǐng)域的能力布局將不斷深化。曾智全表示，網(wǎng)宿科技將持續(xù)構(gòu)建更加敏捷、適應(yīng)性更強(qiáng)、更安全的AI生態(tài)系統(tǒng)，讓更多企業(yè)都能擁抱AI，從AI中獲得創(chuàng)新與增長。