Idag avslöjade AMD de senaste accelerator- och nätverkslösningarna som kommer att driva nästa generations AI-infrastruktur: AMD Instinct MI325X-acceleratorer, AMD Pensando Pollara 400 NIC och AMD Pensando Salina DPU.
AMD Instinct MI325X-acceleratorer sätter en ny standard för prestanda för Gen AI-modeller och datacenter.
AMD Instinct MI325X-acceleratorerma är byggda på AMD CDNA 3-arkitektur och har designats för prestanda och effektivitet för krävande AI-uppgifter som omfattar grundmodellträning, finjustering och inferens. Tillsammans gör dessa produkter det möjligt för AMD-kunder och partners att skapa högpresterande och optimerade AI-lösningar på system-, rack- och datacenternivå.
”Vi fortsätter att leverera enligt vår roadmap och erbjuder kunder den prestanda de behöver och de valmöjligheter de vill ha för att snabbt få ut AI-infrastruktur i stor skala på marknaden,” sa Forrest Norrod, Executive Vice President och General Manager för Data Center Solutions Business Group, AMD.
AMD Instinct MI325X utökar ledande AI-prestanda
AMD Instinct MI325X-acceleratorer levererar branschledande minneskapacitet och bandbredd, med 256 GB HBM3E som stödjer 6,0 TB/s, vilket erbjuder 1,8x mer kapacitet och 1,3x mer bandbredd än H2001. AMD Instinct MI325X erbjuder också 1,3x högre teoretisk maxprestanda för FP16 och FP8 beräkningar jämfört med H200.
Denna ledande minnes- och beräkningskraft kan ge upp till 1,3x bättre inferensprestanda på Mistral 7B vid FP16, 1,2x bättre inferensprestanda på Llama 3.1 70B vid FP8 och 1,4x bättre inferensprestanda på Mixtral 8x7B vid FP16 jämfört med H200.
Produktionen av AMD Instinct MI325X-acceleratorer påbörjas under Q4 2024 och förväntas ha bred systemtillgänglighet från ett stort antal plattformsleverantörer, inklusive Dell Technologies, Eviden, Gigabyte, Hewlett Packard Enterprise, Lenovo, Supermicro och andra från och med Q1 2025.
AMD förhandsvisade även nästa generations AMD Instinct MI350-serie av acceleratorer. Baserade på AMD CDNA 4-arkitektur, är AMD Instinct MI350-seriens acceleratorer designade för att leverera en 35x förbättring av inferensprestanda jämfört med AMD CDNA 3-baserade acceleratorer.
AMD Instinct MI350-serien kommer att fortsätta driva sitt ledarskap inom minneskapacitet med upp till 288 GB HBM3E-minne per accelerator. AMD Instinct MI350-seriens acceleratorer är planerade att vara tillgängliga under andra halvan av 2025.
AMD Nästa-Generations AI-nätverk
AMD utnyttjar den mest använda programmerbara DPU för hyperskalare för att driva nästa generations AI-nätverk. Uppdelat i två delar: front-end, som levererar data och information till en AI-kluster, och back-end, som hanterar datatransfer mellan acceleratorer och kluster, är AI-nätverk avgörande för att säkerställa att CPU och acceleratorer används effektivt i AI-infrastruktur.
För att effektivt hantera dessa två nätverk och driva hög prestanda, skalbarhet och effektivitet över hela systemet introducerade AMD AMD Pensando Salina DPU för front-end och AMD Pensando Pollara 400, branschens första Ultra Ethernet Consortium (UEC)-redo AI NIC, för back-end.
AMD Pensando Salina DPU är den tredje generationen av världens mest presterande och programmerbara DPU, med upp till 2x prestanda, bandbredd och skalbarhet jämfört med föregående generation. Med stöd för 400G genomströmning för snabba dataöverföringshastigheter, är AMD Pensando Salina DPU en kritisk komponent i AI front-end nätverkskluster, och optimerar prestanda, effektivitet, säkerhet och skalbarhet för datadrivna AI-applikationer.
Den UEC-redo AMD Pensando Pollara 400, driven av AMD P4 Programmerbar motor, är branschens första UEC-redo AI NIC. Den stöder nästa generations RDMA-programvara och backas upp av ett öppet nätverksekosystem. AMD Pensando Pollara 400 är avgörande för att tillhandahålla prestanda, skalbarhet och effektivitet för accelerator-till-accelerator-kommunikation i back-end-nätverk.
Både AMD Pensando Salina DPU och AMD Pensando Pollara 400 testas med kunder under Q4 2024 och förväntas vara tillgängliga under första halvan av 2025.
AMD AI-programvara levererar nya möjligheter för generativ AI
AMD fortsätter att investera i att driva programvarufunktioner och det öppna ekosystemet för att leverera kraftfulla nya funktioner och kapaciteter i den öppna programvarustacken AMD ROCm.
Inom det öppna programvarusamhället driver AMD stöd för AMD-beräkningsmotorer i de mest använda AI-ramverken, biblioteken och modellerna, inklusive PyTorch, Triton, Hugging Face och många andra. Detta arbete resulterar i omedelbar prestanda och stöd med AMD Instinct-acceleratorer på populära generativa AI-modeller som Stable Diffusion 3, Meta Llama 3, 3.1 och 3.2 samt över en miljon modeller på Hugging Face.
Utöver gemenskapen fortsätter AMD att förbättra sin öppna programvarustack ROCm, genom att införa de senaste funktionerna för att stödja ledande träning och inferens på generativa AI-arbetsbelastningar. ROCm 6.2 inkluderar nu stöd för kritiska AI-funktioner som FP8-datatyp, Flash Attention 3, Kernel Fusion och mer. Med dessa nya tillägg ger ROCm 6.2, jämfört med ROCm 6.0, upp till 2,4x förbättrad prestanda på inferens och 1,8x på träning för en mängd olika LLM.
Ytterligare information
- Läs mer om AMD Next Generation AI Networking här
- Läs mer om AMD Instinct Accelerators här
- Besök AMD Advancing AI: 2024 eventsida här
Om AMD
For more than 50 years AMD has driven innovation in high-performance computing, graphics, and visualization technologies. Billions of people, leading Fortune 500 businesses, and cutting-edge scientific research institutions around the world rely on AMD technology daily to improve how they live, work, and play. AMD employees are focused on building leadership high-performance and adaptive products that push the boundaries of what is possible. For more information about how AMD is enabling today and inspiring tomorrow, visit the AMD (NASDAQ: AMD) website, blog, LinkedIn, and X pages.
