MosaicML, hvis platform bruges til at udvikle og træne store, komplekse generative AI-modeller, oplever op til 50 pct. hurtigere ydeevne og omkostningsbesparelser på op til 80 pct. sammenlignet med andre cloud-udbydere.
MosaicML, en softwareudvikler, der tilbyder infrastruktur og værktøjer til at opbygge maskinlæringsmodeller i stor skala, har valgt Oracle Cloud Infrastructure (OCI) som sin foretrukne Cloud-infrastruktur til at hjælpe virksomheder med at udvinde mere værdi fra deres data.
Med OCI’s højtydende AI-infrastruktur har MosaicML oplevet op til 50 pct. hurtigere ydeevne og omkostningsbesparelser på op til 80 pct. sammenlignet med andre cloud-udbydere.
“Hundreder af organisationer stoler på MosaicML’s platform til at udvikle og træne store, komplekse generative AI-modeller. Vi leverer de komplekse systemer og hardware, så vores kunder kan fokusere på at opbygge og implementere deres egne højtydende modeller,” siger Naveen Rao, administrerende direktør og medstifter af MosaicML.
“Vi valgte OCI, da vi tror, det er den bedste grundlag for MosaicML. Når vi træner modeller med enorme datamængder i skyen, tæller hvert minut – og med OCI betaler vi mindre end med andre cloud-udbydere og kan næsten lineært skalere på grund af den måde, Oracle har konfigureret sine interconnects på.”
MosaicML hjælper organisationer med at gøre træning og fortolkning af AI-modeller mere effektiv og tilgængelig med sine modeltræningsfærdigheder. For at skalere sin virksomhed og imødekomme den stigende efterspørgsel efter AI-tjenester valgte MosaicML OCI. Med OCI har MosaicML fået adgang til de nyeste NVIDIA GPU’er, en meget høj båndbredde-interconnect mellem knudepunkter og store computerblokstørrelser til skalering til tusinder af GPU’er. Dette har gjort det muligt for MosaicML at hjælpe virksomheder og startups med at operere med AI-modeller, herunder Twelve Labs.
Twelve Labs er en AI-startup, der bygger grundlagsmodeller til multimodal videoforståelse. Ved at udnytte MosaicML’s platform, der kører på OCI og OCI’s AI-infrastruktur, har Twelve Labs kunnet skalere og implementere deres AI-modeller effektivt for at hjælpe brugerne med ubesværet søgning, klassificering og mere effektiv udnyttelse af deres videodata til forskellige applikationer.
“Kombinationen af MosaicML og Oracle har givet os den perfekte samarbejdspartner til at hjælpe os med at håndtere enorme kapaciteter med høj hastighed og følge vores langsigtet vækst,” siger Jae Lee, stifter og administrerende direktør for Twelve Labs. “MosaicML gør os i stand til effektivt at administrere vores store AI-klynger, mens OCI’s AI-infrastruktur sikrer, at vi ikke behøver at gå på kompromis med hastigheden, hvilket har sparet os tusindvis af timer og titusindvis af dollars i effektivitet.”
OCI tilbyder flere muligheder for AI, herunder AI-infrastruktur. OCI Compute virtuelle maskiner og ’bare metal’ GPU-instanser kan drive applikationer inden for computer vision, naturlig sprogbehandling, anbefalingssystemer og mere. Til træning af store, komplekse modeller som sprogmodeller (LLM) i stor skala, leverer OCI Supercluster ultralav-latens klynge-netværk, HPC-lagring og OCI Compute ’bare metal’-instanser med NVIDIA GPU’er. OCI Compute-instanser er forbundet via et højtydende Ethernet-netværk ved hjælp af RoCE v2 (RDMA over Converged Ethernet v2). Båndbredden på NVIDIA A100 Tensor Core GPU’er leveret af OCI overstiger alternativer med 4X-16X, hvilket igen reducerer tiden og omkostningerne ved maskinlærings-træning.
“Vi ser mange AI-virksomheder komme til OCI for at køre generative AI-modeller, fordi vi kan køre dem hurtigere og mere økonomisk end andre cloud-udbydere. Det er ikke usædvanligt at træne en model med 10 milliarder parametre på timer med OCI, hvor det tager dagevis på andre platforme,” siger Greg Pavlik, senior vice president hos Oracle. “OCIs arkitektur og ikke-blokerende, lavlatens-netværksdesign er fundamentalt anderledes end noget andet på markedet.”
