Почти 43% попыток искусственного интеллекта подобрать товар закончились неудачей. При этом более половины ошибочных попыток завершились решением совершить покупку. К таким выводам пришла Visa, протестировав 22 модели ИИ в реальных для покупателей сценариях выбора товаров.

Visa представила результаты исследования Visa Agentic Commerce Benchmark, посвящённого способности искусственного интеллекта самостоятельно выбирать товары с учётом потребностей покупателей.

В тестировании участвовали 22 ИИ-модели от 12 разработчиков. Им предложили 15 сценариев, включая выбор телевизоров, ноутбуков и бытовых устройств.

В отличие от обычного поиска товаров, ИИ должен был самостоятельно выяснить предпочтения покупателя в процессе диалога, определить подходящие характеристики и принять решение о покупке. Если подходящего товара не находилось, система должна была отказаться от приобретения.

Результаты показали, что ИИ успешно справлялся лишь с 57,2% попыток. В остальных 42,8% случаев модели допускали ошибки.

При этом в 54% неудачных попыток искусственный интеллект всё равно принимал решение о покупке, даже если выбранный товар не соответствовал требованиям клиента или система не выяснила все его потребности.

Разница между результатами моделей оказалась значительной. Наиболее успешные системы справлялись с 82,2% заданий, тогда как худшие показывали результат всего 28,9%.

Отдельной проблемой стала нестабильность решений. Каждой модели предоставляли три попытки выполнить один и тот же сценарий. Все три завершались успешно лишь в 34,2% случаев.

Лучшие результаты демонстрировали модели, которые задавали покупателям больше уточняющих вопросов. Их средняя успешность достигала 70,2%, тогда как у систем, хуже выявлявших потребности клиентов, показатель составлял 44,4%.

Покупатели пока не готовы полностью доверять ИИ свои деньги

Руководитель глобального направления роста Visa Рубайл Бирвадкер отметил, что ИИ-агенты способны открыть новую эпоху электронной коммерции, однако ключевым условием их массового распространения остаётся доверие пользователей.

Согласно другому исследованию Visa, опубликованному в сентябре, 72% американских потребителей уже пользовались ИИ-помощниками. Однако только 23% готовы доверить искусственному интеллекту проведение платёжных операций от своего имени.

В компании считают, что для массового внедрения покупок через ИИ необходимо повысить точность рекомендаций и стабильность принимаемых решений.

Visa планирует расширить тестирование на новые категории товаров, а также включить в него непосредственно оформление заказов и платежей.

Пока исследование оценивало способность моделей выявлять потребности клиента и принимать правильное решение о покупке, а не проведение реальных платёжных транзакций.

Результаты показывают, что развитие агентной электронной коммерции будет зависеть не только от возможностей искусственного интеллекта, но и от его способности последовательно выполнять требования покупателей.