Голосовые и фото в продажах: их понимает бот

Клиент присылает голосовое на сорок секунд, а следом прикрепляет фото с подписью «вот такое надо». Для человека это норма. Для большинства ботов наступает тупик: кнопочный сценарий ломается, потому что в нём нет кнопки «послушать голосовое». Голосовые сообщения в продажах давно стали обычным делом. Если бот их не понимает, диалог обрывается на самом интересном месте. Разберём способы работы с этим.

Почему клиенты всё чаще пишут голосом и фото

Печатать долго и неудобно, особенно с телефона на ходу. Проще зажать кнопку и наговорить текст, либо сфотографировать товар, бирку, размер, поломку, да и вообще любую вещь. Для клиента это естественно: он общается с бизнесом точно так же, как с друзьями в мессенджере.

Бизнесу это выгодно: в голосовом сообщении и на фотографии часто содержится больше информации, чем в сухом тексте. Возникает только одна проблема: такую информацию нужно уметь принимать и понимать.

Чем это ломает обычных ботов и менеджеров

Кнопочный бот рассчитан на выбор из меню. На голосовое сообщение он в лучшем случае отвечает «не понял, выберите пункт». На фотографию реакция аналогичная. Клиент чувствует игнорирование своих запросов и уходит.

Выглядит такой провал примерно следующим образом:

Клиент: (голосовое 0:38) «Привет, мне бы вот эту штуку, что в прошлый раз брал, но размером побольше…»

Кнопочный бот: Извините, я вас не понял. Выберите пункт меню: 1. Каталог, 2. Оплата, 3. Оператор.

Клиент: (уходит)

С менеджерами возникает другая проблема: голосовые сообщения приходится переслушивать, фотографии нужно внимательно изучать, причем делать это в потоке десятков диалогов. Часть информации теряется, ответы приходят с задержкой. Разницу между сценарным ботом и настоящим ИИ-агентом мы разбирали отдельно: чат-бот против ИИ-агента для продаж.

Расшифровка голосовых: речь → текст → ответ

Finebot распознаёт голосовые сообщения: аудио клиента расшифровывается в текст, после чего ИИ-агент работает с ним как с обычным сообщением. Он понимает запрос, ищет товар и отвечает по делу. Распознавание голосовых сообщений встроено в общий поток, поэтому клиенту не нужно ничего дублировать текстом.

Для клиента это выглядит просто: наговорил вопрос и сразу получил осмысленный ответ, а не просьбу продублировать текст письменно.

Клиент: (голосовое 0:25) «Здравствуйте, ищу подарок жене, бюджет где-то до двадцати пяти тысяч ₸, что посоветуете?»

Бот: Добрый день! В пределах двадцати пяти тысяч ₸ есть несколько хороших вариантов: вот пара популярных… Подсказать под конкретный повод?

Расшифровка аудио происходит прямо в диалоге без дополнительных шагов и переключений.

Понимание фото: что прислал клиент

С изображениями работает аналогичная логика. ИИ-агент понимает фото: видит содержимое картинки и учитывает это в разговоре. Клиент присылает снимок желаемого товара или фотографию с нужным размером, после чего бот опирается на визуальные данные, а не отвечает в пустоту.

Клиент: (фото) Вот такое надо, есть похожее?

Бот: Вижу: это модель в бежевом цвете с круглым основанием. У нас есть близкие варианты в такой форме, показать?

Это исключает множество тупиковых ситуаций, где раньше обязательно требовался живой человек. Теперь на просьбу показать ассортимент клиент присылает фотографию нужного товара, и диалог успешно продолжается.

Как это встроено в диалог и сделку

Главное преимущество заключается в том, что распознавание не работает как отдельная функция. Голосовое сообщение и фотография служат лишь дополнительными способами выразить потребность внутри единого диалога, ведущего к сделке.

Бот расшифровывает голосовое сообщение, понимает запрос, находит товар в каталоге и затем создаёт сделку или зовет менеджера. Весь процесс идёт в едином потоке без использования сторонних инструментов. Это работает даже при отправке информации частями: сначала голосовое, следом фото, а затем текстовая приписка. ИИ-агент объединяет идущие подряд сообщения и отвечает один раз на всю мысль вместо отправки реакции на каждую отдельную реплику.

Путь ИИ-агента от первого сообщения до закрытия сделки мы описали в статье как ИИ-агент ведёт сделку. Полная логика работы представлена в разделе как это работает.

Память подключается и к голосу, и к фото

Распознавание работает не в вакууме: оно опирается на тот же контекст, что и текстовый диалог. Если в карточке клиента уже зафиксированы прошлые покупки, ИИ-агент учитывает их даже при получении голосового запроса или картинки. Клиент может сказать «хочу как в прошлый раз, но побольше», после чего бот легко поймёт суть запроса благодаря сохраненной истории обращений.

Это особенно важно для повторных продаж, поскольку человеку не нужно заново описывать свои предыдущие заказы. Голосовое сообщение или фото становятся удобным способом продолжить знакомый разговор без необходимости начинать всё с нуля.

Почему это снимает нагрузку с менеджеров

Голосовые сообщения и фотографии остаются самой утомительной частью ручной работы в переписке. Каждое аудио нужно переслушать, причем часто не с первого раза, а каждое фото необходимо открыть и изучить прямо в потоке десятков диалогов. Когда первичную обработку выполняет ИИ-агент, менеджер подключается уже к расшифрованному и понятному запросу. Ему больше не приходится тратить время на прослушивание и выяснение потребностей.

Особенно это заметно в нишах, где клиенты часто отправляют медиафайлы: ищут товары по примерам, заказывают ремонт по снимку поломки или просят сделать «как на картинке». Там, где раньше обработка каждого сообщения требовала участия живого сотрудника, теперь типовые случаи обрабатываются автоматически, оставляя людям только действительно сложные задачи.

Ограничения и где нужен человек

Обойдемся без иллюзий. Распознавание голоса и понимание фотографий являются мощными инструментами, но они не всесильны. При очень шумной записи, неразборчивой речи, плохом качестве картинки или в сложном техническом случае гораздо честнее передать диалог менеджеру вместо попыток угадать запрос.

В таблице наглядно показано разделение задач: где ИИ-агент справляется самостоятельно, а в каких ситуациях зовет человека:

Finebot действует именно так: при недостатке уверенности или в нестандартной ситуации ИИ-агент зовет живого человека и передаёт ему весь контекст. Это не недостаток системы, а грамотное распределение задач, при котором ИИ берёт на себя массу рутины, оставляя сложные вопросы специалисту. Хорошо видно этот принцип на примере доставки: ИИ-бот для доставки.

Важно отметить работу этой границы в пользу клиента. Намного лучше честно подключить человека к неразборчивой записи, чем уверенно ответить невпопад и завести диалог в тупик. При передаче обращения клиент ничего не теряет: вся распознанная ИИ-агентом информация уходит менеджеру вместе с диалогом, поэтому сотруднику не приходится заново переслушивать аудио или разбирать изображения.

Распознавание уже настроено: с вашей стороны ничего не требуется

Мы самостоятельно включаем и настраиваем расшифровку голосовых сообщений и понимание изображений при запуске под ключ, поэтому отдельных действий от вас не требуется. С первого дня ИИ-агент принимает аудио и фотографии как обычные текстовые сообщения. Клиент наговаривает запрос или отправляет снимок, после чего ИИ-агент мгновенно всё анализирует и продолжает разговор в рамках текущей сделки. Система также безошибочно определяет ситуации для перевода диалога на сотрудника: шумная запись, плохое фото или сложный случай.

Посмотреть работу системы вживую можно в разделах возможностей и демо.

Частые вопросы

Понимает ли бот голосовые сообщения от клиентов? Да. Finebot распознаёт аудио: оно расшифровывается в текст, затем ИИ-агент работает с ним как с обычным сообщением. Он понимает запрос, ищет товар и отвечает по существу. Клиенту не нужно ничего дублировать письменно.

Что происходит, когда клиент присылает фотографию? ИИ-агент понимает содержимое фотографии и учитывает визуальные данные в разговоре. Если клиент присылает снимок товара для примера или фото с нужным размером, бот опирается на изображение и подбирает близкие варианты из каталога.

А если запись шумная или фото плохого качества? Распознавание не обладает магическими свойствами: при неразборчивой речи, сильном шуме или некачественном снимке ИИ-агент передаст диалог менеджеру вместо попыток угадать запрос. Благодаря этому клиент защищен от ошибочных ответов, а сложные случаи всегда разбирает квалифицированный сотрудник.

Нужно ли клиенту дополнительно что-то нажимать для понимания ботом голоса или фото? Нет. Голосовые сообщения и фотографии обрабатываются прямо в диалоге как обычный текст, без дополнительных шагов и переключений. Для клиента процесс выглядит так же естественно, как переписка с живым менеджером.

Если хотите проверить систему на своих голосовых сообщениях и фотографиях, напишите нам в WhatsApp, и мы покажем всё на живой платформе.