В этом видео Mrwhosetheboss протестировал Grok (Grok 3), Gemini (2.5 Pro), ChatGPT (GPT-4o) и Perplexity (Sonar Pro). На протяжении всего видео он ясно дал понять, что впечатлен производительностью Grok. Grok начал очень хорошо, немного сбавил обороты, а затем вернулся и занял вторую позицию после ChatGPT. Справедливости ради стоит отметить, что ChatGPT и Gemini повысили свои баллы благодаря функции, которой остальным просто не хватает - генерации видео.
Чтобы начать тест, Mrwhosetheboss проверил способности моделей к решению реальных задач: он дал каждой модели ИИ следующее задание: Я вожу Honda Civic 2017 года, сколько чемоданов Aerolite 29" Hard Shell (79x58x31 см) я смогу уместить в багажнике? Ответ Грока был самым простым, так как он правильно ответил "2", ChatGPT и Gemini заявили, что теоретически может поместиться 3, но практически - 2. Недоумение сошло с рельсов и занялось простой математикой, забыв о том, что рассматриваемый предмет не бесформенный, и в результате получилось "3 или 4"
В следующем вопросе он не стал облегчать задачу чатботу - он попросил совета по приготовлению торта. Вместе с запросом он загрузил изображение с 5 предметами, один из которых не используется для приготовления тортов - банка сушеных белых грибов - все модели, кроме одной, попались в ловушку. ChatGPT определил ее как банку с молотыми специями, Gemini сказал, что это банка с хрустящим жареным луком, Perplexity окрестил ее растворимым кофе, а Grok правильно определил ее как банку с сушеными грибами из Waitrose. Вот изображение, которое он загрузил:
Двигаясь дальше, он тестировал их на математику, рекомендации товаров, бухгалтерский учет, перевод языка, логическое мышление и т.д. Одна вещь была для них универсальной - галлюцинации - каждая из моделей демонстрировала определенный уровень галлюцинаций в какой-то момент (моменты) в видео; они уверенно говорили о вещах, которых просто не существовало. Вот как в итоге расположились все ИИ:
- ChatGPT (29 баллов)
- Grok (24 балла)
- Близнецы (22 балла)
- Недоумение (19 очков)
Искусственный интеллект помог сделать большинство задач менее обременительными, особенно после появления LLM. Книга "Искусственный интеллект" (цена $19,88 на Amazon) - одна из тех книг, которые пытаются помочь людям воспользоваться преимуществами искусственного интеллекта.