Методы интеллектуального анализа данных для выявления зависимостей и прогнозирования макроэкономических показателей

Бондаренко И.В.
Выпускник группы ITM-27
Школа IT-менеджмента
РАНХиГС при Президенте РФ

Задача интеллектуального анализа данных в данный момент является особенно актуальной, так как мы живем в эпоху данных. Одна только Нью-Йоркская фондовая биржа генерирует около 1 терабайта коммерческих данных в день.

Однако, сами по себе данные не несут в себе большой пользы, если не извлекать из них смысл. Именно этим и занимается интеллектуальный анализ данных – извлекает из данных пользу.

Обратимся к определению: Data Mining (рус.,  добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

В своей работе я погружусь в методы  интеллектуального анализа данных и опробую их на практике. Таким образом, поставлены следующие задачи:

- освоить базовые навыки интеллектуального анализа данных

-выявить зависимости между различными показателями

-по данным 1998-2013гг, спрогнозировать средний курс доллара на 2014г, сравнить с реальным показателем

-провести сравнительный анализ существующих методик прогнозирования и выявления корреляций

-исследовать весь цикл работы с точки зрения менеджера: от поиска данных в Интернет до создания отчета с зависимостями показателей, и прогнозом значения одного из показателей. Выявить наиболее затратные по времени участки работы.

К составлению прогноза курса $ и к выявлению зависимостей между макроэкономическими показателями я отнесся как к проекту.  Соответственно, необходимо было выявить основные риски, и как можно раньше свести их к минимуму.

Основным риском, безусловно, было получение очевидно необъективного прогноза курса доллара на 14г, что привело бы к переделыванию всей работы заново: от поиска данных в Интернет до анализа этих данных.

Из теории проектного управления следует, что риски необходимо снижать как можно раньше. Таким образом, задача прогнозирования была приоритетнее  задачи выявления зависимостей между макроэкономическими показателями.

Прогноз строится следующим образом: данные из таблицы подавались на вход аналитической программе Weka. Программа выдавала математическую формулу, в которую подставлялись значения показателей за 14г. Если прогноз не устраивал – можно было удалять данные за некоторые годы (если они кажутся дисперсионными (не соответствующими общей картине)), либо удалять данные по целым показателям за все годы, если этот показатель кажется малозначимым.

Сначала в работу была взята найденная на англоязычном сайте таблица с макроэкономическими данными, в нее вручную добавлялись следующие показатели: средняя цена на нефть, золото, показатели инфляции. В полученную для прогноза формулу вошли показатели, смысл которых я, как непрофессиональный экономист, не понимал. Соответственно, оценить на адекватность формулу я не мог. Было принято решение отказаться от этой таблицы данных.

Были сделаны следующие выводы:

- при работе с данными не следует цепляться за промежуточный результат, всегда нужно быть готовым отказаться от проделанной работы и начать все заново

-лучше понимать предметную область, а также смысл показателей: иначе ими невозможно управлять

На следующем этапе была взята таблица с данными с сайта Росстата. Смысл всех показателей, в нее входящих, был понятен: ВВП, безработица, инвестиции в экономику, цены на нефть, инфляция. Данные были поданы на вход программе Weka, после чего была получена формула для курса $: цена на нефть в нее входила с положительным коэффициентом (чем больше цена на нефть – тем выше курс доллара). За счет этого, формула была оценена негативно, было принято решение удалить данные за один год – 1998. Выражаясь языком анализа данных, был удален «выброс» - сильно дисперсионное значение.

На новом наборе данных была получена следующая формула:

Наибольший вклад в формулу дает значение инвестиций в основной капитал, что вполне логично. Для 14г формула дала хороший результат: 33.5 рублей за 1$. В таблице он равен 38, за 13г = 31.8. Удалось угадать повышение, н