Microsoft schaalt Maia op: chips worden de basis voor inferentie in Azure

Op 12 oktober meldde Microsoft dat het de Azure Maia-familie opschaalt tot meerdere gigawatt vanaf 2027. Het bedrijf noemt Maia 200 onderdeel van de bestaande infrastructuur voor inferentie in productie: de chip verwerkt workloads van Microsoft, waaronder Copilot, evenals modellen van OpenAI, eigen MAI-modellen en modelreeksen met open gewichten. Volgens de planning van het bedrijf volgen GitHub Copilot en Microsoft Foundry vóór eind 2026. De productie-uitrol van Maia 300 staat gepland voor 2027. Microsoft wil Maia de belangrijkste inferentiesystemen voor zijn producten en diensten maken, binnen een open, heterogene infrastructuur met verschillende modellen en soorten silicium. In de aankondiging gaf het bedrijf geen tijdschema voor de beschikbaarheid van Maia voor Azure-klanten.

Microsoft meldt dat Maia 200 wordt uitgerold in de Verenigde Staten, Europa en Australië. Voor de ingebouwde AI-functies van Teams, Copilot en Cowork geeft het bedrijf een afzonderlijke schatting: tot 1,7 keer meer tokens per watt dan toonaangevende GPU-infrastructuur. Dit cijfer geldt voor de door Microsoft genoemde diensten en de omstandigheden waarin het bedrijf die exploiteert.

Maia 300 is ontworpen voor inferentie en lange contexten

Microsoft positioneert Maia 300 voor veeleisende inferentie: de verwerking van lange contexten, dialoogtaken waarbij latentie van belang is en meerstapsagentenscenario's. Het bedrijf beschrijft een architectuur die rekenkracht, geheugenbandbreedte, netwerkverkeer en energieverbruik in balans brengt. Microsoft wijst dataverplaatsing aan als knelpunt in grote inferentiesystemen; de softwaregedefinieerde data-architectuur moet volgens het bedrijf de benutting van reken-, netwerk- en geheugenresources verbeteren.

Een rack met 96 Maia 300-accelerators is ontworpen voor 27,6 TB HBM en een totale geheugenbandbreedte van 1,7 PB/s bij een opgegeven vermogen van 167 kW. Volgens Microsoft kan een volledige configuratie met 96 accelerators tot zeven keer zoveel totale tokenbandbreedte op rackniveau leveren als Maia 200. Daarnaast voorspelt het bedrijf 40% meer tokens per megawatt dan met toonaangevende GPU-systemen. Deze ramingen hebben betrekking op de toekomstige configuratie; de productie-uitrol van Maia 300 staat gepland voor 2027.

Wat de inzet op eigen accelerators betekent

Met een eigen accelerator kan een cloudprovider chips, netwerken, software en serviceworkloads gezamenlijk ontwerpen. Microsoft noemt Maia als voorbeeld van zo'n ontwerp, afgestemd op modellen en toepassingen die op grote schaal draaien. Voor de cloudactiviteiten kan deze aanpak de keuze aan infrastructuur voor inferentie uitbreiden en helpen meer AI-verzoeken binnen de capaciteit van datacenters af te handelen. In de aankondiging maakte het bedrijf niet bekend welke gevolgen dit heeft voor Azure-prijzen of voor de beschikbaarheid van de chip voor klanttoepassingen.

Teams die nu infrastructuur kiezen, moeten onderscheid maken tussen de huidige productieworkloads van Maia 200 en het toekomstige Maia 300. Microsoft heeft geen tijdschema bekendgemaakt voor de beschikbaarheid van Maia 300 voor klanten, noch een lijst met specifieke clouddiensten of tarieven. Bij het plannen van de implementatie is het verstandig de beschikbaarheid van de accelerator voor het gewenste model en de gewenste dienst, de regio, latentie en kosten van de specifieke workload te controleren.

Microsoft vermeldt voor Maia 300 acht HBM4-stacks, een piekgeheugenbandbreedte van 18 TB/s bij een TDP van 950 W en rekenchiplets op het TSMC N2P-proces. Het systeem bevat ook afzonderlijke blokken voor berekeningen, geheugencontrollers en invoer en uitvoer. Voor opschaling van rack tot datacenter maakt het gebruik van een Ethernet-netwerk. Het bedrijf beschreef de architectuurdetails in een technisch artikel over Maia 300. De gepubliceerde informatie laat zien hoe Microsoft naast GPU-infrastructuur eigen accelerators voor inferentie ontwikkelt.