Китай представил SpikingBrain 1.0, вдохновленный мозгом LLM, работающий на отечественных чипах MetaX

Институт автоматизации Китайской академии наук в Пекине недавно представил свою новейшую большую языковую модель SpikingBrain 1.0. Эта LLM, как утверждается, является первой в мире "мозгоподобной" LLM, разработанной для того, чтобы потреблять значительно меньше энергии, чем обычные системы ИИ, такие как ChatGPT. Вместо того, чтобы полагаться на аппаратное обеспечение Nvidia, он работает полностью на чипах MetaX китайского производства, что знаменует собой значительный прогресс в области нейроморфных вычислений.

В системе используется технология "шиповых вычислений", которая имитирует характер стрельбы нейронов в человеческом мозге. Эта технология позволяет активировать только необходимые нейроны, а не всю сеть, как в традиционных моделях. Такой событийно-ориентированный подход также позволяет системе быть энергоэффективной, снижая потребление энергии. Кроме того, по сравнению с обычными системами, система может обучаться на мизерных двух процентах обучающих данных. Были разработаны две версии: одна с 7 миллиардами, а другая с 76 миллиардами параметров.

Исследователи сообщают, что в некоторых задачах производительность системы в 100 раз выше, чем у традиционных моделей. Так, меньшая модель отвечает на запрос с 4 миллионами слов как минимум в 100 раз быстрее, чем стандартные системы. Кроме того, при генерации первого токена скорость работы модели в 26,5 раз выше, чем у обычных архитектур трансформеров. Новая модель была обучена примерно на 150 миллиардах маркеров, что составляет лишь малую часть типичных требований для обычных систем. Несмотря на столь ограниченное количество обучающих данных, система все еще демонстрирует результаты, сравнимые с другими популярными альтернативами с открытым исходным кодом.

Новая система имеет стратегическое значение для Китая, учитывая, что LLM работает полностью в рамках китайской экосистемы ИИ, используя платформу чипов MetaX. Это становится особенно важным, поскольку США ужесточают контроль за экспортом передовых чипов ИИ. Исследование также демонстрирует, что можно обучить эффективную большую модель на платформах, не относящихся к Nvidia. Ведущий исследователь Ли Гуоци (Li Guoqi) также отмечает оптимизацию для китайской архитектуры чипов. Потенциальные области применения таких систем включают юридические документы, медицинские записи и даже научное моделирование.

Команда выложила меньшую версию модели в открытый доступ, а большая версия доступна только для публичного тестирования на демонстрационном сайте. Исследование также опубликовано в виде не рецензируемой статьи в репозитории arXiv, поэтому лучше всего воспринимать все эти заявления с долей соли. Тем не менее, этот прорыв может проложить путь к созданию более энергоэффективных систем ИИ и продвинуть подходы к вычислениям, вдохновленным мозгом.