Исследование показало, что вероятность ошибки ИИ-агента в комплексных задачах достигает 63%
ИИ-агенты, используемые для автоматизации комплексных задач, часто допускают ошибки, частота которых усиливается с увеличением числа шагов, пишет Business Insider. Исследование Patronus AI, стартапа, помогающего компаниям оценивать и оптимизировать технологии искусственного интеллекта, показывают, что вероятность сбоя достигает 63% при 100 шагах, что увеличивает риск для компаний потерять клиентов.
В реальных условиях, где информация может быть неполной, ошибка возникает с вероятностью до 20% на каждом этапе, отметил эксперт ScaleAI Квинтин Ау.
«Если ИИ-агенту нужно выполнить пять действий, чтобы завершить задачу, вероятность того, что он выполнит каждый шаг правильно, составляет всего 32%», — добавил он.
Глава DeepMind Демис Хассабис сравнил этот эффект со «сложным процентом», указав, что при 5 тыс. шагов вероятность выполнения задачи становится почти случайной.
Для снижения рисков компании внедряют защитные механизмы — фильтры и правила, которые выявляют и устраняют неточности. По словам главы Patronus AI Ананда Каннаппана, такие меры, как дополнительные проверки, могут предотвратить сбои или заставить ИИ-агента повторить попытку.
