Владелец британского онлайн-магазина рассказал на Reddit, как его собственный чат-бот несанкционированно выдал покупателю скидку в 80% на большую покупку.
Пользователь под псевдонимом PerfectHumor216 рассказал, что некий покупатель около часа общался с чат-ботом онлайн-магазина. Сам чат-бот должен лишь помогать покупателям ориентироваться в ассортименте товара.
Покупатель явно целенаправленно пытался добиться скидки, так как долго общаться с ИИ о математике и процентах, после чего фактически манипуляциями вынудил бота сгенерировать купон на скидку в 25%, а затем увеличить её до 80%.
Обнаружив ошибку, владелец отменил заказ и вернул деньги клиенту, но тот теперь угрожает судом.
Клиент общался с ИИ и сумел убедить его предоставить скидку в 25%, а затем договорился с ИИ о скидке в 80%.
Затем он разместил заказ на товары на тысячи фунтов. Получается, я потеряю тысячи только на материальных затратах.
Я написал своему клиенту с просьбой отменить заказ, и он ответил, что подаст на меня в суд по мелким искам, если я не выполню заказ. Мне дали 3 дня на ответ.
Возврат средств уже состоялся.
Чат-бот не должен принимать финансовые решения. Он должен отвечать на вопросы клиентов с 18:00 до 9:00, когда меня нет рядом.
Всё прекрасно работало более 6 месяцев, а потом этот парень потратил час, общаясь с устройством, уговорил его показать, насколько хорошо оно разбирается в математике и процентах, перевёл разговор на процентные скидки от теоретического заказа, а затем сделал вид, что впечатлён им.
Затем чат-бот сгенерировал для него совершенно фальшивый скидочный код и предложение скидки в 25%, которая позже увеличилась до 80%, пытаясь произвести на него впечатление.
Прецедент довольно необычный. Он демонстрирует слабые места чат-ботов, предугадать которые заранее попросту невозможно.