Red Hat lancerer Red Hat AI 3 – optimeret AI-inferens åbner for agentbaseret AI i stor skala

Red Hats hybride AI-platform effektiviserer arbejdsgange, leverer kraftfuld inferens og baner vej for agentbaseret AI i stor skala – så IT-teams kan innovere hurtigere.

Red Hat, den førende leverandør af open source-løsninger, lancerer nu Red Hat AI 3, en ny generation af Red Hats AI-platform for virksomheder.

Ved at kombinere de seneste innovationer i Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) og Red Hat OpenShift AI gør platformen det enklere at skabe højeffektiv AI-inferens i stor skala. Det betyder, at det bliver nemmere for virksomheder at gå fra proof-of-concept til produktion og at styrke samarbejdet omkring AI-drevne applikationer.

Når virksomheder går fra at eksperimentere med AI til at opskalere anvendelsen, står de over for store udfordringer i form af databeskyttelse, omkostningskontrol og håndtering af forskellige modeller. Ifølge rapporten The GenAI Divide: State of AI in Business (udgivet af MIT NANDA) mislykkes hele 95 % af virksomhederne med at opnå målbare økonomiske resultater – trods samlede investeringer på omkring 40 milliarder dollars.

Red Hat AI 3 adresserer disse udfordringer ved at give CIO’er og IT-ledere en samlet platform til at maksimere deres investeringer i accelererende computerteknologier. Løsningen muliggør hurtig skalering og implementering af AI-arbejdsgange i hybride miljøer med flere leverandører – samtidig med at den styrker samarbejdet omkring nye generationer af agentbaserede AI-arbejdsgange. Red Hat AI 3 er bygget på åbne standarder og understøtter alle modeller på alle acceleratorer, fra datacentre til offentlige skyer, selvstændige AI-miljøer samt edge-baserede løsninger.

Fra træning til brug i den virkelige verden – skiftet til AI-inferens for virksomheder

I takt med, at AI bliver en del af produktionen og driften i virksomheder, skifter fokus fra modeltræning til inferens, den praktiske fase af AI for virksomheder. Red Hat AI 3 muliggør skalerbar og omkostningseffektiv inferens ved at bygge videre på succesfulde community-projekter som vLLM og llm-d, kombineret med modeloptimeringsløsninger til produktionsparat drift af store sprogmodeller (LLM).

For at hjælpe CIO’er med at få størst værdi ud af deres hardwareacceleration introducerer Red Hat OpenShift AI 3.0 llm-d, som redefinerer, hvordan LLM’er kører native på Kubernetes. llm-d muliggør intelligent distribueret inferens ved at kombinere Kubernetes-orkestrering med vLLM-ydeevne og ved at kombinere vigtige open source-teknologier såsom Kubernetes Gateway API Inference Extension, NVIDIA Dynamo Low Latency Data Transfer (NIXL) og DeepEP Mixture of Experts (MoE) Communication Library.  Det betyder, at virksomheder får mulighed for at: 

• reducere omkostninger og øge effektiviteten med modulær serving, som giver højere ydeevne pr. investeret krone.
• opnå enkel og pålidelig drift gennem veldefinerede “Well-lit Paths”, der forenkler og optimerer implementeringen af ​​modeller i stor skala på Kubernetes.
• maksimere fleksibiliteten med platformsuafhængig understøttelse til implementering af LLM-inferens på en række hardwareacceleratorer, herunder NVIDIA og AMD.

 llm-d bygger videre på vLLM og optimerer det fra at være en selvstændig, højtydende inferensmotor til at blive et distribueret og skalerbart system med en forudsigelig ydeevne, målbar ROI og effektiv infrastrukturplanlægning. Alle forbedringerne er direkte målrettet de udfordringer, der er forbundet med at håndtere meget variable LLM-arbejdsgange og med at implementere meget store modeller, såsom Mixture-of-Experts (MoE)-modeller.

En fælles platform for AI-samarbejde

Red Hat AI 3 tilbyder en fleksibel og samlet platform, som er designet til at bygge produktionsparate og generative AI-løsninger. Ved at forene arbejdsgange og fremme samarbejde giver den både platforms- og AI-engineers de nødvendige værktøjer til at realisere deres AI-strategi og til at skalere fra proof-of-concept til produktion og drift. Flere nye funktioner fokuserer på at levere den produktivitet og effektivitet, som kræves for at opskalere fra proof-of-concept. Det gælder blandt andet følgende:

• Model as a Service (MaaS) – bygger på distribueret inferens og gør det muligt for IT-teams at fungere som deres egne MaaS-udbydere. Fælles modeller kan stilles til rådighed centralt for AI-udviklere og applikationer efter behov. Det giver bedre kontrol med omkostninger og understøtter user cases, der ikke kan køres i cloudbaserede  AI-tjenester på grund af privatlivs- eller datahensyn.
• AI Hub – giver platform engineers mulighed for at udforske, implementere og administrere centrale AI-ressourcer. Det fungerer som en central hub med et kurateret modelkatalog, validerede og optimerede generative AI-modeller, med life cycle management og et miljø til konfiguration og overvågning af alle AI-ressourcer i OpenShift AI.
• Gen AI Studio – skaber et praktisk miljø, hvor AI-engineers kan arbejde direkte med modeller og hurtigt lave prototyper af generative AI-applikationer. AI Assets Endpoint gør det nemt at finde og bruge tilgængelige modeller og MCP-servere, mens det indbyggede Playground-miljø tillader at eksperimentere med modeller, teste prompts og finjustere parametre til for eksempel chat og Retrieval-Augmented Generation (RAG).
• Validerede og optimerede modeller – Red Hat leverer nye, validerede og optimerede modeller, som muliggør nemmere udvikling. Det kuraterede udvalg omfatter populære open source-modeller som OpenAI’s gpt-oss, DeepSeek-R1, samt specialiserede modeller som Whisper til tale-til-tekst og Voxtral Mini til stemmestyrede agenter.

“Når virksomheder går fra at eksperimentere med AI til at opskalere og anvende AI i deres produktion, møder de nye udfordringer i form af kompleksitet, omkostninger og kontrol. Med Red Hat AI 3 tilbyder vi en open source-platform, som minimerer disse barrierer for virksomhederne. Gennem nye funktioner som distribueret inferens med llm-d og ved at tilbyde et fundament for agentbaseret AI, gør vi IT-teams i stand til trygt at operationalisere næste generations AI – på deres egne præmisser og på den infrastruktur, de selv ønsker,” siger Joe Fernandes, vice president og general manager for AI Business Unit, Red Hat.

Få mere at vide:

• Bliv klogere på Red Hat AI 3
• Læs bloggen om Red Hat AI 3
• Se webinaret om nyheder og fremtidsplaner for Red Hat AI
• Få indsigt i, hvordan Red Hats partnere driver AI-innovationen fremad