Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 буквально запутались и не смогли решить поставленные задачи — пишет Mash.
Провёл эксперимент профессор Зии Цзэн из Калифорнийского университета в Сан-Диего. Цель — изучить слабые места моделей ИИ и понять, как улучшить нейронки. Для этого использовали настольную ролевуху Dungeons & Dragons, созданную в 1974 году.
Для работы Цзэн и его команда сделали платформу D&D Agents. Система функционирует как симулятор, где модели взаимодействуют друг с другом или с людьми через цифровые инструменты, ограничивая свободное общение.
Команда протестировала Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 в 27 боевых сценариях, оценивая их по эффективности и планированию. Claude 3.5 Haiku показал на первых этапах лучшую надёжность и использование инструментов, GPT-4o — высокую производительность, но меньшую последовательность. А DeepSeek-V3 буквально показал ни бе ни ме.
Под конец все начали бажить. Цзэн заявил: «Это говорит о том, что современные технологии всё ещё с трудом справляются с поддержанием точной ментальной карты ситуации при длительном взаимодействии». И добавил: «Человек пока что круче, чем бездушные машины, — он может фантазировать, запоминать и действовать нестандартно».
Источник: Mash
Фото: Изображение от FreePik
Читайте также: Стало известно, за какую сумму сегодня можно снять квартиру в Москве
