Новая система MIT позволяет маленьким моделям ИИ превосходить гигантов в решении сложных задач

В то время как большие языковые модели прекрасно справляются с такими задачами, как творческое письмо и базовая математика, они часто спотыкаются, когда сталкиваются со сложными, требующими соблюдения правил задачами, такими как судоку или строгое планирование маршрута. Чтобы устранить этот пробел, группа исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) под руководством Габриэля Гранда представила новую систему под названием DisCIPL (Distributional Constraints by Inference Programming with Language Models).

Система работает на основе иерархии "менеджер-работник". Большая модель "босса" сначала действует как планировщик, разрабатывая стратегию решения запроса пользователя. Затем он поручает конкретные компоненты задачи более мелким и эффективным моделям-последователям.

Чтобы команда не сбивалась с пути, босс передает инструкции с помощью LLaMPPL, специализированного языка программирования, разработанного для того, чтобы направлять модели к точным результатам. Если модель-последователь отклоняется от ограничений - например, использует неправильную формулировку в структурированном стихотворении - главная модель вмешивается, чтобы исправить это.

Такой подход дал впечатляющие результаты. Согласно отчету исследователей, в тестах, включающих такие задачи, как написание предложений по грантам или составление списка продуктов, система DisCIPL дала более точные ответы, чем GPT-4o от OpenAI, и сравнялась по точности со специализированной моделью рассуждений o1. Что еще более примечательно, она делала это с гораздо большей эффективностью. Переложив тяжелую работу на более мелкие модели, система сократила длительность рассуждений примерно на 40% и снизила затраты более чем на 80% по сравнению с конкурентами.

Команда считает, что этот метод предлагает устойчивый путь развития ИИ, доказывая, что координация небольших моделей может быть гораздо более эффективной - и энергосберегающей - чем опора исключительно на массивные, энергоемкие системы.