Gemensam lösning möjliggör AI-analys i realtid av massiva datamängder, samtidigt som strömförbrukning och latens minskar.
Som en del av initiativet Innovative Optical and Wireless Network (IOWN) har NTT Corporation (NTT) och Red Hat, i samarbete med NVIDIA och Fujitsu, skapat en lösning för att förbättra och utöka potentialen för realtidsanalys av artificiell intelligens (AI) vid kanten.
Med teknik utvecklad av IOWN Global Forum och byggd på Red Hat OpenShift, ledande applikationsplattform för hybrida moln som drivs av Kubernetes, har denna lösning fått ett erkännande från IOWN Global Forums Proof of Concept (PoC) för dess verkliga genomförbarhet och tillämpningsområden.
Eftersom AI, avkänningsteknik och nätverksinnovation fortsätter att växa, kommer det vara avgörande att använda AI-analys för att utvärdera och prioritera data vid nätverkskanten, särskilt eftersom datakällorna utvidgas nästan dagligen. Trots fördelarna kan omfattande användning av AI-analys vara långsam och komplicerad, samt generera högre underhållskostnader och mjukvaruuppdateringar för att integrera nya AI-modeller och ny hårdvara. I och med framväxten av edge computing på mer avlägsna platser, kan AI-analys placeras närmare sensorerna, vilket minskar latens och ökar bandbredd.
Denna lösning innefattar IOWN All-Photonics Network (APN) och teknologier för acceleration av datapipelines i IOWN Data-Centric Infrastructure (DCI). NTT:s accelererade datapipeline för AI använder Remote Direct Memory Access (RDMA) över APN för effektiv insamling och bearbetning av stora mängder sensordata vid kanten. Genom användning av teknik för container-orkestrering från Red Hat OpenShift uppnås ökad flexibilitet för hantering av arbetsbelastningar inom den påskyndade datapipelinen över geografiskt distribuerade och avlägsna datacenter. NTT och Red Hat har framgångsrikt visat att denna lösning effektivt minskar strömförbrukningen, samtidigt som den bibehåller låg latens för realtidsanalys av AI vid kanten.
En förstudie (PoC) utvärderade en AI-analysplattform i realtid med Yokosuka City som bas för sensorinstallation och Musashino City som fjärrdatacenter, båda anslutna via APN. Resultatet visade en minskning av fördröjningen för insamling av sensordata för AI-analys med 60% jämfört med konventionella AI-inferensarbeten, även vid användning av ett stort antal kameror. Dessutom påvisade IOWN PoC-testningen att strömförbrukningen för AI-analys per kamera vid kanten kunde minskas med 40%, jämfört med konventionell teknik. Den realtidsbaserade AI-analysplattformen möjliggör skalning av GPU:n för att hantera fler kameror utan att CPU:n blir en flaskhals. Enligt en preliminär beräkning förväntas strömförbrukningen kunna minskas ytterligare med 60%, förutsatt att 1 000 kameror kan integreras. Här är några av höjdpunkterna i förstudien (PoC) för denna lösning:
- Accelererad datapipeline för AI-inferens, som tillhandahålls av NTT, använder RDMA över APN för att direkt hämta storskalig sensordata från lokala platser till minnet i en accelerator i ett fjärrdatacenter. Detta minskar kostnaderna för protokollhantering i det konventionella nätverket. Därefter utförs databearbetning av AI-inferens i acceleratorn med lägre CPU-kontrollerande kostnader, vilket förbättrar energieffektiviteten i AI-inferens.
- Storskalig realtidsanalys av AI-data, driven av Red Hat OpenShift, kan stödja Kubernetes-operatörerför att förenkla implementeringen av hårdvarubaserade acceleratorer (GPU:er, DPU:er, etc.). Det möjliggör förbättrad flexibilitet och enklare distribution över olika webbplatser, inklusive fjärrdatacenter.
- Denna PoC använder NVIDIA A100 Tensor Core GPU och NVIDIA ConnectX-6 NIC för AI-inferens.
Denna lösning möjliggör intelligent AI-teknik, vilken hjälper företag att skala på ett hållbart sätt. Med denna lösning kan organisationer dra nytta av:
Minskade omkostnader i samband med insamling av stora mängder data;- Förbättrad datainsamling som kan delas mellan storstadsområden och fjärrdatacenter för snabbare AI-analys;
- Förmågan att utnyttja lokalt tillgänglig och potentiellt förnybar energi, såsom sol eller vind;
- Ökad områdeshanteringssäkerhet med videokameror som fungerar som sensorenheter.
Stödjande citat:
Chris Wright, chief technology officer och senior vice president för Global Engineering vid Red Hat samt styrelseledamot för IOWN Global Forum
”Under de senaste åren har vi arbetat som en del av IOWN Global Forum för att skapa förutsättningar för AI-innovation som drivs av öppen källkod och leverera teknologier som hjälper oss att göra smartare val för framtiden. Detta är ett viktigt och spännande arbete, och dessa resultat hjälper till att bevisa att vi kan bygga AI-aktiverade lösningar som är hållbara och innovativa för företag över hela världen. Med Red Hat OpenShift kan vi hjälpa NTT att gränslöst tillhandahålla storskalig AI-dataanalys i realtid.”
Katsuhiko Kawazoe, senior executive vice president för NTT och ordförande för IOWN Global Forum
”NTT Group, i stort samarbete med partners, accelererar utvecklingen av IOWN för att uppnå ett hållbart samhälle. Denna IOWN PoC är ett viktigt steg framåt mot grön datoranvändning för AI, som stöder kollektiv intelligens av AI. Vi förbättrar ytterligare IOWN:s energieffektivitet genom att tillämpa Photonics-Electronics Convergence-teknologier på en datorinfrastruktur. Vi strävar efter att realisera den hållbara framtiden för nettonollutsläpp med IOWN.”
Kenichi Sakai, senior vice VD för Fujitsu LTD, Infrastructure System Business Unit
”Vi har bidragit till förverkligandet av ett hållbart och smartare samhälle genom att använda våra serverteknologier, inklusive PRIMERGY CDI (Composable Disaggregated Infrastructure), som möjliggör disaggregerad databehandling. Dessa PoC-resultat visar att IOWN:s genomförbarhet har ökat mot kommersialiseringen 2026 och att IOWN har en potential för AI-applikationer. Fujitsu möjliggör högre prestanda och energieffektivitet med PRIMERGY CDIs kompositbarhet och fortsätter att bidra till förverkligandet av IOWNs datorinfrastruktur.”
Ronnie Vasishta, senior vice president för telekom, NVIDIA
”Efterfrågan på AI-inferencing växer, och telco edge har där en avgörande roll att spela. NVIDIA har samarbetat med NTT och IOWN för att kombinera APN-nätverket med en påskyndad pipeline för databehandling och AI, som visar upp datorseende och bildbehandlingsteknik som har både låg latens och är strömsnål.”
