Способы увеличения продаж мультиканального федерального ритейлера c помощью технологий Data Mining

Котов С.Ю.
выпускник группы MBA CIO-33
Школа IT-менеджмента
АНХ при Правительстве РФ

Известную классическую фразу «Если раньше темпы развития человечества определялись доступной ему энергией, то теперь – доступной ему информацией» сегодня можно сказать, заменив одно слово - «Если раньше темпы развития человечества определялись доступной ему энергией, то теперь – доступными ему знаниями».  Это верно и для многих предприятий, которые вынуждены выживать в условиях постоянно изменяющейся окружающей среды.

Мы живем в мире постоянно наращивающих свою скорость потоков информации, нескончаемые ряды нулей и единиц, проходящие через современные информационные системы предприятий частично оседают в их корпоративных хранилищах данных, оставляя некий слепок реальности. Насколько ценны эти данные и информация на ее основе сама по себе? Каким образом из них можно извлечь знания? Будут ли они полезны при принятии управленческих решений? Какие затраты может понести предприятие, чтобы внедрить данную технологию? Какую пользу могут принести технологии и инструменты глубинного анализа данных? На эти, а так же многие другие вопросы мы постараемся получить ответы в данной работе.

Data Mining (добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

 2012 ______    2013 ______

Рис. 1. Динамика развертывания аналитических инструментов/инструментов Big Data или процессов предприятиями в 2012-2013 году по направлениям.

В чем, собственно, заключается проблема, почему для анализа данных нельзя использовать бизнес-аналитиков с их традиционными статистическими и математическими инструментами?

• Ограничение коры головного мозга человека при анализе больших объемов (от 100 Терабайт) разнородных данных, при использовании более 25 входных переменных с приемлемой скоростью. Бизнес-аналитик просто не в состоянии даже в полу-автоматизированном  режиме обработать такие колоссальные массивы данных, выявить качественные взаимосвязи, построить правдоподобную модель, проверить ее.
• Ограничение аналитических инструментов (статистический регрессионный анализ, нейронные сети предпоследнего поколения и т.п.). Большинство статистических методов для выявления существующих взаимосвязей в массиве данных используют концепцию усреднения по выборке, приводящую к операциям над несуществующими величинами, тогда как Data Mining оперирует реальными значениями.

В чем отличие Data Mining от инструментов оперативной аналитической обработки данных  OLAP (online analytical processing)?
Традиционные методы анализа данных (статистические методы) и OLAP в основном ориентированы на проверку заранее сформулированных гипотез и на «грубый» разведочный анализ, составляющий основу оперативной аналитической обработки данных, в то время как Data Mining базируется на поиске неочевидных закономерностей.

Новейшие инструменты Data Mining позволяют находить такие закономерности с минимальным участием человека и даже, в некоторых случаях, почти самостоятельно строить гипотезы о взаимосвязях.

Поскольку именно формулировка гипотезы относительно зависимостей является самой сложной задачей, преимущество Data Mining по сравнению с другими методами анализа является довольно очевидным. Инструменты OLAP больше подходят для понимания ретроспективных данных, а Data Mining опирается на ретроспективные данные для прогнозирования ситуации.

Как это работает?

• Консолидация данных из различных источников в информационном хранилище->
•  Формулирование общих вопросов, постановка конкретной задачи->
• Выборка анализируемых данных из хранилища для анализа в аналитической системе->
• Подготовка данных к анализу (очистка от шумов, аномальных значений) проверка на достоверность, непротиворечивость->
•  Трансформация данных под решение определенной задачи (исключение незначащих факторов, снижение размерности входных данных, нормализация, обогащение) ->
• Выбор наиболее подходящего инструмента для анализа в контексте задачи->
• Анализ ->
• Интерпретация и проверка результатов анализа.

Где лучше применить технологию Data-Mining?
Области, где применение технологии Data Mining, скорее будут успешными, имеют следующие особенности:

• Требуют решений, основанных на знаниях;
• Имеют динамично изменяющуюся окружающую среду;
• Имеют доступные, достаточные и значимые данные;
• Дают несомненную измеряемую выгоду от правильных решений.

Какие выгоды несет предприятию внедрение технологий Data Mining?

Опыт многих предприятий показывает, что отдача от использования Data Mining может быть довольно существенной, а порой, даже изменить расстановку сил на каком-либо рынке. Ставший уже хрестоматийным, но от этого не потерявший свою наглядность  пример, - годовая экономия около 700 тыс. долларов за счет внедрения Data Mining в сети универсамов «Tesco» в Великобритании за счет целого комплекса мероприятий, которые опирались на достоверные знаниях о клиенте.

Бизнес достаточно быстро осознал, что с помощью методов Data Mining он может получить ощутимые преимущества в конкурентной борьбе.

Итак, мы пришли к выводу, что:

При определенном уровне зрелости предприятия, уровня развития его информационных систем, после проведения первичной автоматизации оно переходит от учетных систем к системам управления предприятием, а от них к системам поддержки принятия решений, системам углубленного анализа данных и поиска знаний.

Результатом этого анализа данных должно явиться знание, которое обладает рядом характеристик и позволит предприятию получить преимущество на рынке (увеличить продажи путем повышения лояльности клиентов, фокусировки на более точных предложениях, продуктах, прогнозирование оттока и т.д.)

Объектом исследования аттестационной работы являются данные о продажах сети современного быстроразвивающегося предприятия в сфере розничной и онлайн торговли непродовольственными товарами.

Целью аттестационной работы является выявление практически полезных знаний, которые могут применяться для увеличения продаж.

Инструменты – знания добываются посредством использования инструмента Data Mining Deductor Academic версии 5.3, примененного на данных из хранилища за период c конец 2011 по 3 кв 2013 г.

Задачи, выполняемые для достижения цели работы:

Теоретическая часть:

• Обосновать актуальность и значимость темы
• Раскрыть основные понятия data-mining, обзорно представить аналитические инструменты и методы.

Практическая часть:

• Кратко описать бизнес предприятия
• Поставить бизнес-вопросы, помогающие увеличить товарооборот предприятия
• Описать формат, свойства и т.п. накапливаемых данных.
• Выбрать и применить инструмент Data-Mining на данных предприятия
• Получить знания, сделать соответствующие выводы