MosaicML, vars plattform används för att utveckla och träna stora, komplexa generativa AI-modeller, upplever upp till 50 procent snabbare prestanda och kostnadsbesparingar på upp till 80 procent jämfört med andra molnleverantörer.
MosaicML, en mjukvaruutvecklare som erbjuder infrastruktur och verktyg för att bygga maskininlärningsmodeller i stor skala, har valt Oracle Cloud Infrastructure (OCI) som sin föredragna molninfrastruktur för att hjälpa organisationer att utvinna mer värde från sina data.
Med OCI:s högpresterande AI-infrastruktur har MosaicML upplevt upp till 50 procent snabbare prestanda och kostnadsbesparingar på upp till 80 procent jämfört med andra molnleverantörer.
“Hundratals organisationer förlitar sig på MosaicML:s plattform för att utveckla och träna stora, komplexa generativa AI-modeller. Vi tillhandahåller de komplexa systemen och hårdvaran så att våra kunder kan fokusera på att bygga och distribuera sina egna högpresterande modeller”, säger Naveen Rao, VD och medgrundare av MosaicML.
“Vi valde OCI eftersom vi anser att det är den bästa grunden för MosaicML. När man tränar modeller med enorma datamängder i molnet räknas varje minut – och med OCI betalar vi mindre än med andra molnleverantörer och kan skala nästan linjärt tack vare hur Oracle har konfigurerat interconnects.”
MosaicML hjälper organisationer att göra träning och tolkning av AI-modeller mer effektiv och tillgänglig med sina modelleringsfunktioner. För att skala upp sin verksamhet och möta den växande efterfrågan på AI-tjänster valde MosaicML OCI. Med OCI har MosaicML fått tillgång till de senaste NVIDIA GPU:erna, en interconnect med mycket hög bandbredd mellan noderna och stora beräkningsinstanser som kan skalas till tusentals GPU:er. Detta har gjort det möjligt för MosaicML att hjälpa företag och nystartade företag att arbeta med AI-modeller, inklusive Twelve Labs.
Twelve Labs är ett AI-startup som bygger grundläggande modeller för multimodal videoförståelse. Genom att utnyttja MosaicMLs plattform som körs på OCI och OCIs AI-infrastruktur har Twelve Labs kunnat skala och distribuera sina AI-modeller effektivt för att hjälpa användare att enkelt söka, klassificera och mer effektivt utnyttja sina videodata för olika applikationer.
“Kombinationen av MosaicML och Oracle har gett oss den perfekta partnern som hjälper oss att hantera enorma kapaciteter i hög hastighet och hålla jämna steg med vår långsiktiga tillväxt”, säger Jae Lee, grundare och VD för Twelve Labs. “Med MosaicML kan vi effektivt hantera våra stora AI-kluster, medan OCI:s AI-infrastruktur säkerställer att vi inte behöver kompromissa med hastigheten, vilket har sparat oss tusentals timmar och tiotusentals dollar i effektivitet.”
OCI erbjuder flera alternativ för AI, inklusive AI-infrastruktur. OCI Compute virtuella maskiner och ’bare metal’ GPU-instanser kan driva applikationer inom naturlig språkbehandling, rekommendationssystem och mycket mer. För att träna stora, komplexa modeller som språkmodeller (LLM) i stor skala tillhandahåller OCI Supercluster klusternätverk med ultralåg latens, HPC-lagring och OCI Compute ’bare metal’-instanser med NVIDIA GPU:er. OCI Compute-instanserna är anslutna via ett högpresterande Ethernet-nätverk med RoCE v2 (RDMA over Converged Ethernet v2).
Bandbredden för NVIDIA A100 Tensor Core GPU:er som tillhandahålls av OCI överträffar alternativen med 4-16 gånger, vilket i sin tur minskar tiden och kostnaden för maskininlärning.
“Vi ser att många AI-företag kommer till OCI för att köra generativa AI-modeller eftersom vi kan köra dem snabbare och mer ekonomiskt än andra molnleverantörer. Det är inte ovanligt att träna en modell med 10 miljarder parametrar på några timmar med OCI, medan det tar flera dagar på andra plattformar”, säger Greg Pavlik, senior vice president på Oracle. “OCI:s arkitektur och icke-blockerande nätverksdesign med låg latens är fundamentalt annorlunda än något annat på marknaden.”
MosaicML valde Oracle under Q3 FY2022.
