網(wǎng)宿科技發(fā)布邊緣AI網(wǎng)關(guān)，賦能開發(fā)者簡化AI構(gòu)建流程

來源：環(huán)球網(wǎng)

【環(huán)球網(wǎng)科技綜合報道】7月11日，網(wǎng)宿科技宣布正式推出其全新的AI服務(wù)——邊緣AI網(wǎng)關(guān)。

網(wǎng)宿科技CDN產(chǎn)品研發(fā)總監(jiān)曾智全在發(fā)布會上表示，隨著AI成為新一輪創(chuàng)新的焦點，越來越多的企業(yè)希望利用AI技術(shù)來推動業(yè)務(wù)發(fā)展，但往往受限于技術(shù)或經(jīng)驗的缺乏。網(wǎng)宿科技此次推出的邊緣AI網(wǎng)關(guān)，正是為了幫助企業(yè)更簡單、更安全、更有效地應(yīng)用AI技術(shù)。

據(jù)悉，網(wǎng)宿邊緣AI網(wǎng)關(guān)旨在為企業(yè)在模型服務(wù)與AI應(yīng)用之間搭建起一座橋梁。無論是個人開發(fā)者還是大型企業(yè)，都可以通過網(wǎng)宿邊緣AI網(wǎng)關(guān)更加便捷地管理和集成模型服務(wù)，進(jìn)而更好地開展AI應(yīng)用創(chuàng)新。

近年來，隨著GPT等大模型的興起，AI在各行各業(yè)的應(yīng)用加速涌現(xiàn)。集成大模型已成為提升應(yīng)用體驗和功能深度的普遍趨勢。然而，企業(yè)在使用多個模型或提供商時，面臨著高昂的AI應(yīng)用成本以及復(fù)雜的管理和運維難題。如何更好地管控模型使用、降低成本支出，并清晰地洞察AI使用現(xiàn)狀和服務(wù)問題，成為企業(yè)構(gòu)建AI應(yīng)用的內(nèi)在訴求。

此外，企業(yè)在使用模型服務(wù)的過程中，還面臨著敏感數(shù)據(jù)泄露、內(nèi)容不合規(guī)等風(fēng)險。目前，大多數(shù)企業(yè)組織還未著手解決或正在解決這些AI相關(guān)風(fēng)險。

針對這些挑戰(zhàn)，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供了一體化的解決方案。企業(yè)可以通過統(tǒng)一的控制平臺創(chuàng)建邊緣AI網(wǎng)關(guān)，添加通道，實現(xiàn)與多個AI服務(wù)商的模型對接，并且平臺支持多模型服務(wù)的可管、可控、可觀察。

在接入層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)已經(jīng)提前完成了與多個主流AI服務(wù)商的集成。企業(yè)開發(fā)人員無需頻繁修改代碼，只需在控制臺進(jìn)行網(wǎng)關(guān)配置，即可一次接入并使用多個模型服務(wù)，大大提升了接入效率。

在管理層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)支持特殊配置，企業(yè)可以在AI網(wǎng)關(guān)上靈活定義優(yōu)先級、負(fù)載均衡、限速等策略，按需配置不同模型服務(wù)，實現(xiàn)成本可控或減少濫用。同時，企業(yè)還可以在請求失敗情況下實現(xiàn)無縫切換，提升AI服務(wù)的可靠性。另外，啟用緩存功能后，一旦請求在AI緩存中命中，則不必回到模型提供商，從而減少tokens數(shù)的消耗，降低成本并提高響應(yīng)速度。

在運營層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供數(shù)據(jù)可視化功能，聚合來自多個模型提供商的指標(biāo)，并支持請求數(shù)、tokens數(shù)、緩存數(shù)、錯誤數(shù)等的分析展示。同時，提供實時日志記錄，讓企業(yè)可以觀測和控制模型服務(wù)的使用情況，以優(yōu)化模型服務(wù)策略。

除了高效接入與管理外，網(wǎng)宿邊緣AI網(wǎng)關(guān)還注重確保模型服務(wù)的安全性、高性能以及可定制化。在安全性方面，企業(yè)可以在網(wǎng)關(guān)上配置提示詞過濾規(guī)則或執(zhí)行內(nèi)容安全審計，以確保交互內(nèi)容的安全、合規(guī)和尊重用戶。在服務(wù)性能上，依托網(wǎng)宿強大的全球資源網(wǎng)絡(luò)，用戶可以就近接入邊緣分布式AI網(wǎng)關(guān)，確保訪問的穩(wěn)定性和速度。

目前，網(wǎng)宿邊緣AI網(wǎng)關(guān)已開放限時免費測試，以支撐用戶的AI體驗。未來，網(wǎng)宿科技還將深入企業(yè)應(yīng)用，聚焦特定的AI場景，打造更多如邊緣向量數(shù)據(jù)庫、邊緣模型推理服務(wù)等創(chuàng)新產(chǎn)品，計劃面向公眾開放。

屆時，企業(yè)將能夠輕松集成公共或自有模型，通過邊緣AI網(wǎng)關(guān)合理管控模型應(yīng)用，并獲取多模型運行數(shù)據(jù)。同時，他們還可以與邊緣函數(shù)、邊緣KV存儲、應(yīng)用引擎等組合使用，靈活構(gòu)建和擴展邊緣AI應(yīng)用，執(zhí)行智能問答、內(nèi)容創(chuàng)作、檢索增強、圖片識別等多樣化的AI任務(wù)。

隨著AI時代的不斷發(fā)展，網(wǎng)宿科技在AI領(lǐng)域的能力布局將持續(xù)深化。曾智全表示，網(wǎng)宿科技將致力于構(gòu)建更加敏捷、適應(yīng)性更強、更安全的AI生態(tài)系統(tǒng)，讓更多企業(yè)都能擁抱AI，并從中獲得創(chuàng)新與增長。

分布式系統(tǒng)使用網(wǎng)關(guān)到底是好還是壞？

靈魂拷問

?分布式系統(tǒng)的設(shè)計大體上分為中心化和非中心化，像現(xiàn)在流行的微服務(wù)模式，本質(zhì)上是把各種業(yè)務(wù)拆分為獨立的進(jìn)程來實現(xiàn)業(yè)務(wù)的擴展性。伴隨著業(yè)務(wù)的不斷被拆分，整體的系統(tǒng)性能也有所提高，但是系統(tǒng)又往往面臨著中心化的需求，這個世界就是這么有趣，我們不但要非中心化的優(yōu)勢，還要保證中心化的優(yōu)勢。

統(tǒng)一的需求

?說到非中心化需求，最簡單最常見的就是鑒權(quán)，簡單來說就是判斷用戶是否有執(zhí)行某種動作的權(quán)限。以鑒權(quán)為例，當(dāng)有N個微服務(wù)有同樣的鑒權(quán)需求的時候，有以下幾種解決方案：

有人說第一種方案沒人用，是嗎？在服務(wù)數(shù)量不是太多的情況下，據(jù)我所知有很多公司初期都是每個服務(wù)都實現(xiàn)自己的鑒權(quán)，不要說這種做法一無是處，首先在各個團隊技術(shù)棧不同的情況下，這是一個團隊可以快速實現(xiàn)功能的一種解決方案，而且不依賴于任何其他服務(wù)，這意味著這個服務(wù)不會受到別的服務(wù)的影響，這體現(xiàn)的是非中心化最核心的價值之一。

至于第二種解決方案是典型的集中式處理的方案之一，他按照業(yè)務(wù)功能把鑒權(quán)獨立成單獨的服務(wù)，所有使用鑒權(quán)服務(wù)的系統(tǒng)都依賴于這個服務(wù)，所以這個統(tǒng)一的鑒權(quán)服務(wù)需要保證高可用，而且對性能比較敏感，稍有不慎，流量高峰就有可能對整個系統(tǒng)造成致命打擊。但是，還是有不少公司在用這種架構(gòu)模式，你說奇怪不奇怪，正所謂，存在即合理。

至于第三種使用網(wǎng)關(guān)模式，可以說是目前市面上文章吹捧最多的解決方案。當(dāng)然得到廣大程序員的吹捧自然有它的優(yōu)勢，但是請記住，它并非沒有劣勢。

?從上圖清晰的可以看到，來自于客戶端的所有流量都經(jīng)過網(wǎng)關(guān)，所以理論上來講，所有統(tǒng)一化的需求都可以在網(wǎng)關(guān)進(jìn)行實現(xiàn)，這樣每個后端的業(yè)務(wù)服務(wù)代碼都不會有任何的侵入性。至于這些需求最常見的有：

?雖然網(wǎng)關(guān)很香，但是一旦整個系統(tǒng)引入網(wǎng)關(guān)，就會隨之帶來一些問題：

如何引入網(wǎng)關(guān)

?在沒有網(wǎng)關(guān)的時候，系統(tǒng)一般都會有一個無狀態(tài)的web層，這一層的主要作用是根據(jù)業(yè)務(wù)組織后端服務(wù)結(jié)果來響應(yīng)客戶端的請求，例如：一個訂單詳情的請求，web層會同時請求訂單服務(wù)來查詢訂單信息，請求用戶服務(wù)來查詢下單人信息，請求商戶服務(wù)來查詢商家信息，然后把這些信息組合成客戶端想要的數(shù)據(jù)格式，然后返回客戶端數(shù)據(jù)。

?

如果做鑒權(quán)，限流等操作，同樣也是做在這個web層，在引入了網(wǎng)關(guān)之后，這個web層到底還要不要呢？不同的公司有不同的做法，不過我還是建議保留web層，用它來做服務(wù)的聚合層，這樣整體架構(gòu)就變成了這樣

網(wǎng)關(guān)和負(fù)載均衡

?通過以上闡述可以看到，網(wǎng)關(guān)在部署架構(gòu)上和負(fù)載均衡器很像，但是它們其實是兩種東西。雖然它們都會承載統(tǒng)一的入口流量，但是負(fù)載均衡器只是單純的對請求的轉(zhuǎn)發(fā)，而網(wǎng)關(guān)除了對請求的轉(zhuǎn)發(fā)之外，更重要的職責(zé)是統(tǒng)一的業(yè)務(wù)處理，就像鑒權(quán)，限流，降級等。

?所以從功能角度來說，網(wǎng)關(guān)幾乎可以代替負(fù)載均衡器。

寫在最后

?你的系統(tǒng)是否需要網(wǎng)關(guān)不僅僅要看系統(tǒng)的需求，還要看公司的整體技術(shù)運維能力，畢竟一旦引入網(wǎng)關(guān)，它對技術(shù)上的要求比較高，而且對高可用和性能比較敏感。但是網(wǎng)關(guān)對于那些統(tǒng)一化的需求有著天然的優(yōu)勢，無論是鑒權(quán)，還是服務(wù)的治理，所以很多公司引入了網(wǎng)關(guān)。無論是采用自建還是開源來實現(xiàn)網(wǎng)關(guān)，我們都要考慮它的擴展性?，F(xiàn)在比較流行的網(wǎng)關(guān)有：Kong，Zuul，Tyk 等，詳細(xì)信息可以參見它們的官網(wǎng)。

?題外話

我這里有java進(jìn)階架構(gòu)vip學(xué)習(xí)資料，包含內(nèi)容有：Java工程化、高性能及分布式、性能調(diào)優(yōu)、Spring，MyBatis，Netty源碼分析、線程并發(fā)、JVM、微服務(wù)、算法和大數(shù)據(jù)等多個知識點。需要獲取這些內(nèi)容的朋友。

關(guān)注＋轉(zhuǎn)發(fā)后 私信 “ 111 ” 即可100%無套路免費獲取。

相關(guān)問答

1.鏈路層協(xié)議網(wǎng)關(guān)鏈路層協(xié)議網(wǎng)關(guān)可以提供局域網(wǎng)到局域網(wǎng)的轉(zhuǎn)換,通常被稱為翻譯網(wǎng)橋而不是協(xié)議網(wǎng)關(guān)。在使用不同幀類型或不同時鐘頻率的局域網(wǎng)間互連時就需要...

Java微服務(wù)和分布式之前一直說,但是對于其中的內(nèi)在含義沒有深究,就一般理解的基于Dubbo+Zookeeper的分布式架構(gòu)和基于SpringBoot+SpringCloud微服務(wù)...

RestCloud配置中心RestCloud配置中心是由谷云科技完全自主研發(fā)的配置中心產(chǎn)品,RestCloud配置中心的定位是面向大中型企業(yè)分布式部署架構(gòu)時的配置中心解決方案...

網(wǎng)關(guān)既可以用于廣域網(wǎng)互連,也可以用于局域網(wǎng)互連。對于普通用戶來說,網(wǎng)關(guān)就是運營商交換機上端口地址,即家庭網(wǎng)絡(luò)將外聯(lián)數(shù)據(jù)包發(fā)送到的目的地。DNS(DomainNa...

它增加了一個我們必須開發(fā)、部署和維護的高可用組件。還有一個風(fēng)險是,API網(wǎng)關(guān)變成了開發(fā)瓶頸。簡單來說,在我們期望的去中心化和全分布式架構(gòu)中,網(wǎng)關(guān)又成了...

學(xué)習(xí)編程的時候,看的是“如鵬網(wǎng)”的《這樣學(xué)Java不枯燥》視頻教程。課程體系的設(shè)置可以極大的激發(fā)對編程的興趣,通過開發(fā)超級瑪麗,飛機大戰(zhàn),吃金幣,連連看...所...

專...杭州加密矩陣科技有限公司成立于2018年5月,是工信部審核通過的全國第二批區(qū)塊鏈公司。成立兩年以來擁有四項發(fā)明專利,目前已成為國內(nèi)綜合實力較強的專...

SpringCloud基于SpringBoot,為微服務(wù)體系開發(fā)中的架構(gòu)問題,提供了一整完套的解決方案,包括:服務(wù)注冊與發(fā)現(xiàn),服務(wù)消費,服務(wù)保護與熔斷,網(wǎng)關(guān),分布式調(diào)用...服...

Java作為目前最流行的編程語言,得到了大量程序員和大量互聯(lián)網(wǎng)公司的青睞,BAT、華為、字節(jié)跳動等大廠都有Java相關(guān)的項目。Java的流行得益于它成熟的生態(tài)和框架...

(三)重點任務(wù)一是研究和部署農(nóng)業(yè)物聯(lián)網(wǎng)公共服務(wù)平臺。面向農(nóng)業(yè)物聯(lián)網(wǎng)重大行業(yè)應(yīng)用,重點突破多源信息融合、海量信息分布式管理、智能信息服務(wù)等關(guān)鍵...一是研...