ИИ-чип Microsoft Maia 300 выходит с колоссальными 288 ГБ памяти HBM4 и пропускной способностью 18 ТБ/с

Microsoft официально представила Maia 300, свой новейший ИИ-ускоритель собственной разработки, призванный снизить зависимость компании от оборудования Nvidia и AMD. Он появился вскоре после того, как OpenAI представила свой собственный чип Jalapeno.  Новый чип пришёл на смену Maia 200, выпущенному ранее в этом году. Первый чип Maia, Maia 100, появился в 2023 году. 

Maia 300 использует многочиплетную архитектуру с основным вычислительным блоком, изготовленным по передовому техпроцессу TSMC N2P (2 нм). В корпус также входят отдельные чиплеты памяти и ввода-вывода, что позволяет Microsoft производить разные компоненты по техпроцессам, соответствующим их требованиям. По данным Reuters, часть вспомогательных чипов изготавливается по менее дорогому 3-нм техпроцессу.

Ускоритель обеспечивает вычислительную производительность до 13,8 PFLOPS в формате FP4 и 6,9 PFLOPS в формате FP8. Номинальная мощность его SoC составляет 950 Вт, что значительно выше показателя Maia 200 в 750 Вт. Microsoft оснастила Maia 300 восемью стеками HBM4, обеспечивающими в общей сложности 288 ГБ памяти и пропускную способность 18 ТБ/с. Каждый стек имеет ёмкость 36 ГБ, а память HBM4 работает со скоростью 9 Гбит/с на контакт. Для сравнения, Maia 200 оснащён 216 ГБ памяти HBM3E с пропускной способностью 7 ТБ/с, что делает новый ускоритель полезным для задач инференса с высокими требованиями к памяти.

Microsoft также усовершенствовала возможности межсоединений ускорителя. Maia 300 обеспечивает двунаправленную пропускную способность 3,2 ТБ/с при вертикальном масштабировании и использует двухуровневую сеть на базе Ethernet со специализированным транспортным протоколом для ИИ. Одна стойка вмещает 96 ускорителей Maia 300, а архитектура вертикального масштабирования поддерживает кластеры, содержащие примерно 12 000 ускорителей.

Помимо технических характеристик, Microsoft заявляет, что Maia 300 может выдавать на 40% больше токенов на мегаватт, чем ведущие ИИ-системы на базе GPU. По имеющимся данным, полностью укомплектованная конфигурация из 96 ускорителей обеспечивает до семи раз более высокую производительность по токенам на уровне стойки, чем Maia 200. Однако компания не предоставила достаточно подробностей о конкурирующих конфигурациях GPU, чтобы можно было независимо оценить масштаб её преимущества в эффективности.

Microsoft намерена начать развёртывание Maia 300 в производственных средах в 2027 году и в перспективе планирует увеличить мощность инфраструктуры до нескольких гигаватт. Reuters сообщает, что в следующем году компания может развернуть более миллиона чипов Maia 300, что подчёркивает её стремление снизить зависимость от сторонних ИИ-ускорителей.