Snowflake har precis meddelat att de ingår partnerskap med Meta.
Partnerskapet innebär att man nu kan erbjuda kunder enkel, effektiv och pålitlig, sömlös access till Metas nyaste modeller inom AI Data Cloud.
Snowflake Cortex AI kommer innefatta samlingen stora flerspråkiga språkmodeller i Llama 3:1 (öppen källkod). Syftet är att förenkla användandet och skapandet av kraftfulla skalbara AI-applikationer för företag.
Snowflakes samarbete med Meta möjliggör inferens i realtid med hög kapacitet i Metas mest kraftfulla stora språkmodell med öppen källkod: Llama 3:1 405B. Snowflakes branschledande forskningsteam inom AI har optimerat Llama 3.1 405B för både inferens och finjustering, stöd för ett massivt 128K kontextfönster från dag ett, samtidigt som det möjliggör inferens i realtid med upp till 3x lägre end-to-end-latens och 1,4xhögre genomströmning än befintliga lösningar med öppen källkod. Dessutom möjliggörs finjustering av den massiva modellen med hjälp av bara en enda GPU-nod – något som eliminerar kostnader och komplexitet för utvecklare och användare.
– Snowflakes världsledande forskningsgrupp inom AI banar väg för hur företag och communityt för öppen källkod kan nyttja toppmoderna öppna modeller som Llama 3.1 405B för inferens och finjustering på ett sätt som maximerar effektiviteten, säger Vivek Raghunathan, VP för AI Engineering på Snowflake. Vi levererar inte bara Metas banbrytande modeller direkt till våra kunder genom Snowflake Cortex AI. Vi förser företag och AI-fältet med ny forskning och öppen källkod som stödjer 128K kontextfönster, multinod-inferens, pipeline-parallelism, 8-bitars flyttalskvantisering och mer därtill, för att främja AI för hela ekosystemet.
Snowflakes forskningsteam inom AI fortsätter sitt banbrytande arbete inom innovativ öppen källkod.
I samband med lanseringen av Llama 3.1 405B öppnar de nu källkoden hos deras massiv LLM inferens och finjustering av systemoptimeringstacken. Detta innebär en ny toppnivå för inferens- och finjusteringssystem för modeller med öppen källkod och flera hundra miljarder parametrar. Parallellt har forskningsteamet också utvecklat och optimerat infrastrukturen för finjustering, inklusive modelldestillation, säkerhetsräcken, RAG (retrieval augmented generation) och syntetisk datagenerering, för att verksamheter enkelt ska kunna komma i gång med användningen inom Cortex AI.
För Snowflake och deras kunder är säkerheten inom AI av yttersta vikt.
Det innebär att man nu gör Snowflake Cortex Guard tillgängligare, för ytterligare skydd mot skadligt innehåll för stora språkmodellsapplikationer och andra tillgångar byggda i Cortex AI – antingen med Metas senaste modeller eller stora språkmodeller som tillhandahålls av andra ledande leverantörer, så som AI21 Labs, Google, Mistral AI, Reka eller Snowflake själva. Cortex Guard nyttjar Metas Llama Guard 2, vilket tillgängliggör pålitlig AI för verksamheter så att de kan se till att modellerna som används är säkra.
