GuppyLM: Любой может обучить этот крошечный ИИ

В то время как модели ИИ становятся все больше, дороже и непрозрачнее, GuppyLM идет в противоположном направлении - по своему замыслу. Этот небольшой проект с открытым исходным кодом представляет собой языковую модель, имеющую всего около 8,7 миллионов параметров, что намного меньше, чем у современных флагманских моделей, и она идентифицирует себя как рыбка по имени Гуппи. Гуппи знает только жизнь в аквариуме. Цель не в том, чтобы конкурировать с ChatGPT или другими крупными моделями. Вместо этого GuppyLM призвана показать, что LLM не обязательно должна быть загадочной - и что ее обучение не обязательно требует экспертных знаний.

GuppyLM была обучена на 60 000 синтетических разговоров. С точки зрения содержания, модель очень ограничена, но именно это делает ее удивительно последовательной. Гуппи говорит короткими строчными предложениями и не понимает человеческих абстракций, таких как политика, деньги или телефоны. Поскольку эта индивидуальность прочно встроена в модель, Гуппи всегда остается в рамках своей рыбьей перспективы. На GitHub также предлагает браузерную демонстрацию, в которой модель запускается локально в браузере. В качестве альтернативы, предварительно обученную версию можно запустить через Colab или запустить локально с помощью Python. Те, кто хочет пойти еще дальше, могут даже обучить свою собственную мини-LLM непосредственно с помощью подготовленного блокнота Colab - среды программирования на основе браузера.

Сам процесс обучения относительно прост. Модель получает большое количество пар примеров, состоящих из входного сигнала и соответствующего ответа. В предварительно обученной модели GuppyLM это приветствия, вопросы о еде, воде, свете, сне или смысле жизни - все с точки зрения маленькой рыбки. Из этих примеров модель узнает, какой токен должен быть следующим. Проще говоря, лексемы - это небольшие текстовые единицы, на которые разбиваются слова. Во время каждого шага обучения модель сравнивает свое предсказание с желаемым ответом и соответствующим образом корректирует свои внутренние веса. Таким образом, GuppyLM постепенно учится тому, как должна говорить рыба.