Применение машинного обучения для автоматической классификации обращений поступающих на первую линию поддержки

Волков Р.В.  

выпускник группы MBA CIO-48

Школы IT-менеджмента 

РАНХиГС при Президенте РФ

Осуществление эффективной послепродажной поддержки клиентов является важной составляющей конкурентной стратегией, которая оказывает существенное влияние на лояльность клиентов. Часто нам самим приходится сталкиваться с ситуацией, когда, позвонив в call-центрв течении десятка минут мы слышим фразу «Ваш звонок очень важен для нас, оставайтесь на линии, оператор обязательно ответит в течении XXX минут». Если на решение простого вопроса уходит много времени, часы, а иногда и дни, то очевидно, что клиент в дальнейшем будет избегать пользоваться услугами или продуктами такой Компании и предпочтёт обратиться к конкурентам, у которых поддержка организована на более высоком уровне.

Поддержка пользователей в большинстве крупных Компаниях организована по 3-х уровневой схеме, на первом уровне все обращения классифицируются и самые простые из них решаются сразу, без передачи на следующие линии поддержки. Разделение поддержки на несколько уровней позволяет существенно сократить затраты, за счет того, что большинство вопросов может быть решено без привлечения высококвалифицированных сотрудников. Но у такой схемы организации поддержки есть и минусы, и главным из них является низкая скорость решения вопросов, которые не могут быть решены на 1-й линии. Очень часть на решение таких вопросов уходят часы, а иногда и дни.В большинстве случаев это означает что если клиент обратился со сложным вопросом и требуется привлечение сотрудников 2-й линии, то клиент уже не дождется решения и ему придется обращаться повторно или ждать обратной связи по его обращению, что безусловно снижает лояльность клиентов.

Внедрение машинного обучения для классификации автоматической классификации позволяет достичь следующих целей:

1.      Сократить затраты на поддержку

2.      Сократить время на закрытие обращения

Цель по сокращению затрат достигается за счет того, что ML (MachineLeaning - машинное обучение) позволит сократить количество сотрудников в поддержке, т.к. задача по классификации обращений будет решаться с помощью специализированных алгоритмов. А сокращение времени на закрытие обращений достигается за счет сокращения времени между регистрацией обращения и передачей его на 2-ю линию поддержки.

Рассмотрим основные этапы подготовки данных для построения модели.

Этап 1. Определим какие данные нам нужны для классификации обращений.

Нам потребуются тексты обращений/заявок и классификатор, который был проставлен вручную сотрудниками 1-й линии поддержки. Все эти данные можно выгрузить из ПО ServiceDesk.

Этап 2. Определим какие алгоритмы будем использовать для построения модели

Т.к. мы работаем с текстом, для этой задачи лучше всего подходят следующие алгоритмы:

1.      Мешок слов

2.      Расширение признаков за счет составления биграмм (в «мешок слов» также добавляются все комбинации слов из текстов заявок, которые находится рядом друг с другом)

3.      Нормализация слов русского языка. Например, кошками -> кошка, бежал -> бежать, телефоны -> телефон.

4.      Совершенствование признаков с помощью tf-idf

5.      Наивный байесовский классификатор

Этап 3. Определение критериев оценки качества модели

Для определения качества построенной модели разделим массив заявок на два непересекающихся списка в пропорции 80% для обучения и 20% для тестирования. При тестировании основным критерием будет - совпадение классификатора, который был присвоен вручную с тем который был рассчитан с помощью алгоритмов ML.

Рассмотрим основные подходы, позволяющие улучшить качество прогнозирования:

1. Сокращение размера классификатора. В качестве основного варианта оптимизации можно предложить изменить структуру классификаторы и сделать его 4-х уровневым. 1-й и 2-й уровень - определяет тип обращений и выбирается заявителем самостоятельно, пример показан на рисунках 15 и 16. Для элементов 3-его уровня строятся отдельные модели обучения, их количество будет равняться кол-во элементов на 2-м уровне. Таким образом нам удастся достигнуть цели, что в каждом модели будет не более 50 элементов. На 4-м уровне классификатора размещаются элементы, которые проставляются сотрудниками 2-й и 3-й линии поддержки по результатам проведенного анализа и устранения проблемы.

2. Проверка орфографии + словарь терминов. Анализ текста обращений обычно показывает что в нем содержится большоеколичество орфографических ошибок, а также очень часто используются специфичные сокращения, например: «дн.средства», «ден.средства», «денежные сред.», «д.средства», «ден.ср» и др на самом деле означает денежные средства. Внедрение модуля проверки орфографии безусловно улучшит качество прогнозирования, а вот для работы с сокращениями нужен другой подход –  словарь, который позволит конвертировать сокращения в полной форму, перед тем как текст обращения буде передан специализированным алгоритмам.

3. Исключение дублей из классификатора. В самом классификаторе может быть большое количество сходных по смыслу элементов, например, «Ошибка в кассовых документах» и «Не совпадают значения наличных денежных средств в кассе и в учетной системе». Если нет четких критериев для их разделения таких классификаторов, то сотрудники 1-й линии поддержки будут выбирать его случайным образом или исходя из личных предпочтений, что негативно повлияет на качество построения модели при использованииподхода «обучения с учителем».

4. Использование оптического распознавания. Извлечение текстов ошибок, из скриншотов, которые прикрепляются к обращениямпозволит выделить больше ключевой информации, которая относится к предмету проблему, а значит повысит качество построения модели и прогнозирования.

Выводы: Внедрение машинного обучения для автоматической классификации обращений позволит передать компьютеру выполнение рутинных операций, что не только сокращает затраты на осуществление поддержки клиентов, но и намного уменьшает время,необходимое для решения проблемы и закрытия обращений, что в свою очередь дает Компании конкурентное преимущество по сравнению с другими участниками рынка.