Oracle kör framgångsrikt storskaliga AI-modeller i sitt moln och utökar sitt utbud av molntjänster markant med en rad nya Oracle Cloud Infrastructure-instanser med nästa generations grafikprocessorer från NVIDIA och processorer från Ampere Computing.
Många företag efterfrågar Oracles andra generationens moln för att köra sina AI-modeller.
Därför har Oracle arbetat med att installera mer AI-beräkningskraft och utöka sitt utbud av AI-molntjänster i Oracle Cloud Infrastructure (OCI), som drivs av de senaste grafikprocessorerna från NVIDIA och processorerna från Ampere Computing. Detta gör högpresterande databehandling för bland annat AI-användning mycket mer tillgänglig, meddelade Oracle under företagets CloudWorld-evenemang i veckan.
Efterfrågan är så stor att Oracle har tecknat kontrakt för drygt 40 miljarder kronor under detta kvartal, vilket är dubbelt så mycket som förra kvartalet.
Framöver kommer OCI också att erbjuda Bare Metal-instanser med NVIDIA H100-grafikprocessorer, vilket kan bidra till att förkorta tiden det tar att träna stora AI-modeller för exempelvis natural language processing- och recommendation-system. Organisationer som använder NVIDIA H100 Tensor Core-grafikprocessorer kommer att få upp till 30 gånger bättre prestanda för AI-inferensanvändning och 4 gånger bättre prestanda för träning av AI-modeller jämfört med den förra generationen NVIDIA A100 Tensor Core.
OCI Supercluster gör det möjligt att köra massiva arbetsbelastningar, inklusive träning av AI-modeller kopplade till tiotusentals NVIDIA H100-grafikprocessorer via ett högpresterande klusternätverk med ultralåg latens och hög bandbredd.
70 procent bättre på finjustering av AI
OCI Compute Bare Metal-instanser kommer också att drivas av NVIDIA L40S-grafikprocessorer och är ett bra alternativ för arbetsbelastningar som AI-inferens eller träning av små till medelstora AI-modeller. Dessa instanser har testats för att leverera upp till 20 procent bättre prestanda för generativa AI-arbetsbelastningar och upp till 70 procent bättre finjustering av modeller jämfört med den förra generationen NVIDIA A100.
Dessutom kommer framtida OCI Compute A2-instanser att bestå av AmpereOne-processorer med branschledande pris/prestanda och det högsta antalet tillgängliga processorkärnor per CPU i branschen: så många som 320 kärnor i bare metal-formen och upp till 156 kärnor i den flexibla VM-formen. Dessa kan användas för en rad allmänna molnarbetsbelastningar, inklusive körning av webbservrar, transkodning av video och hantering av CPU-baserade AI-inferensförfrågningar.
OCI först på marknaden
Oracle är tidigt ute på marknaden med molntjänster som är utformade specifikt för att stödja utvecklingen och användningen av AI. Företaget anser att det är väl positionerat för att vara ledande i cloud computing-branschen i takt med att marknaden växer:
”OCI var en av de första molnleverantörerna som erbjöd bare metal-instanser, vilket är en viktig del av vår förmåga att göra högpresterande databehandling mer tillgänglig för organisationer överallt. Genom att ge tillgång till processorer från NVIDIA och Ampere Computing i OCI ger vi våra kunder den prestanda, effektivitet och flexibilitet de behöver i sin molninfrastruktur för att driva allt från allmänna arbetsbelastningar hela vägen upp till högpresterande AI-projekt”, säger Donald Lu, senior vice president, software development, Oracle Cloud Infrastructure.
”Samarbetet mellan NVIDIA och Oracle bidrar till att demokratisera tillgången på banbrytande grafikprocessorer i Oracle Cloud Infrastructure”, säger Ian Buck, vice president for Hyperscale and High Performance Computing, NVIDIA. ”NVIDIA H100- och L40S-grafikkort i OCI kommer att möjliggöra AI-innovation med oöverträffad prestanda, skalbarhet och säkerhet för kunder i alla vertikaler.”
”Oracle var den första leverantören av molntjänster som distribuerade beräkningsinstanser baserade på Ampere-processorer globalt”, säger Jeff Wittich, Chief Product Officer, Ampere Computing. ”Denna nya generation av Ampere A2-baserade instanser i Oracle Cloud Infrastructure kommer att ge upp till branschledande 320 kärnor per instans för ännu bättre prestanda, användning och skalning.”
