Moonshot AI выпускает Kimi K2: бесплатный, более умный конкурент DeepSeek

Компания Moonshot AI выпустила Kimi K2, большую языковую модель искусственного интеллекта, бесплатно под лицензией MIT https://github.com/MoonshotAI/Kimi-K2/blob/main/LICENSE. LLM сразу же вошла в десятку самых мощных моделей ИИ в мире на доске лидеров текстовой арены LMSys. Kimi K2 занял более высокое место, чем DeepSeek, другой бесплатный ИИ, который привлек внимание всего мира своей мощью и свободным лицензированием, когда он был когда он был выпущен в конце 2024 года.

Kimi K2 - это модель смеси экспертов (MoE) с одним триллионом параметров (1T), контекстным окном 128K и 384 экспертами, использующими подмножество из 32 миллиардов активированных параметров. ИИ был разработан для использования в ИИ-агентах, специализирующихся на автономном решении проблем, рассуждениях и использовании инструментов, что позволяет применять его для решения сложных задач и поиска ответов на бизнес-проблемы высокого уровня.

Ввиду ограниченности данных для обучения использованию инструментов в реальном мире, обучение Kimi K2 проводилось с использованием комбинации реальных и симулированных условий. Кроме того, в процессе обучения ИИ использовал механизм самооценки, позволяющий ему самостоятельно определять, были ли его задачи выполнены адекватно или нет во время обучения. Оптимизатор MuonClip был разработан для решения проблемы стабильности обучения, обнаруженной в оптимизаторе Muon для нейронных сетей https://kellerjordan.github.io/posts/muon/что позволило быстро провести успешное предварительное обучение Kimi K2 на 15,5T токенах.

Читателям, заинтересованным в разработке Kimi K2 для использования в бизнесе, потребуется не менее 1 ТБ памяти для хранения модели и кластер из не менее 16 графических процессоров Nvidia H20/H200 прежде чем скачать ее бесплатно с сайта Hugging Face. Домашние пользователи могут легко запустить дистиллированную версию DeepSeek на графических процессорах Nvidia с 12 ГБ или более памяти, как эта карта на Amazon, в ожидании дистиллированной версии Kimi K2.

Потребители могут бесплатно пообщаться с чат-ботом Kimi здесь, а разработчики программного обеспечения могут заплатить за использование Kimi через его API здесь.