Применение Business Intelligence в государственной статистике

Проблемы и задачи современной статистики

В декабре 2007 года вступил в силу Федеральный закон об официальном статистическом учете и системе государственной статистики в Российской Федерации (№282-ФЗ от 29 ноября 2007 г.). Впервые в истории страны на законодательном уровне были определены правовые основы единой государственной политики в сфере официального статистического учета.

Закон содержит множество новаций в части сбора, обработки, публикации и обеспечения конфиденциальности информации. Особый акцент сделан на обеспечение информационных потребностей не только государства, но и общества в полной, достоверной, научно обоснованной и своевременной статической информации.

Удовлетворение потребностей средств массовой информации, населения, научной общественности, коммерческих организаций и предпринимателей, международных организаций в статистической информации по закону – важнейшая задача Федеральной службы государственной статистики.

По словам экс-руководителя Федеральной службы государственной статистики Соколина В.Л. нынешний порядок управления системой государственной статистики не в полной мере обеспечивает своевременность, достоверность и полноту официальной статистической информации (выступление в Госдуме, сентябрь 2007 года).

Помимо снижения объема статистических работ по сравнению с советским периодом и недостаточно отрегулированным законодательством основной проблемой современной российской статистики является то, что фактически она вынуждена действовать в принципиально новых по сравнению с недавним прошлым экономических условиях.

За время экономических реформ радикально повысилась сложность хозяйственных процессов. В разы увеличилось количество требуемых статистических цифр. Существенно возросло количество потребителей статистической отчетности. Часть прежних показателей потеряли экономический смысл. Возникла потребность в дополнительных срезах и точках зрения на данные статистической отчетности.
Действующая система статистики, доставшаяся в наследство от советских времен, при всех ее достоинствах и недостатках не способна адекватно отражать реалии времени. Появилась необходимость в принципиально новых подходах к сбору, обработке и публикации данных статистики.

Основные нарекания вызывает система классификации статистических показателей. Существующая система классификации создавалась, когда еще не было компьютеров, и ориентирована на публикацию данных статистики в основном в виде бумажных справок и отчетов.
Показатели статистики выстроены в линейный список, включающий как элементарные (атомарные) величины, так и агрегаты (результаты суммирования). Все уровни агрегации и все уровни детализации рассматриваются как самостоятельные показатели. Перечень агрегатов жестко фиксирован.

Система рассчитана на достаточно ограниченный перечень показателей и статичность информационных разрезов, т.е. предусматривает небольшой и заранее предопределенный спектр информационных запросов.

Новые статистические потребности не могут быть удовлетворены на основе старых подходов:
1. С увеличением количества показателей в них становится достаточно сложно ориентироваться, и требуется введение дополнительных систем навигации.
2. Результаты вычислений абсолютно не прозрачны, и не проверяемы сторонним наблюдателем.
3. Невозможно получить дополнительные срезы и итоги, непредусмотренные официальным классификатором.

Проблема усугубляется тем, что для решения своих задач министерства и ведомства постоянно расширяют и видоизменяют общегосударственные классификаторы под собственные нужды, а также разрабатывают собственные, локальные системы классификации, совершенно не согласованно. В результате в каждом министерстве появляются свои версии классификаторов, которые несопоставимые с другими.

Еще одной предпосылкой активного развития систем публикации государственной статистики является вступивший в силу с 1 января 2010 года Федеральный закон об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления (№8-ФЗ от 9 февраля 2009 г.). Согласно закону все граждане Российской Федерации, а также юридические лица и общественные объединения, вправе получать достоверную информацию о деятельности любого органа власти.

В соответствии с государственной стратегией развития информационных технологий и построения информационного общества одним из ключевых каналов доступа к информации определен Интернет. По закону каждый государственный орган, включая региональные подразделения должен иметь в сети Интернет официальный сайт, где в открытом доступе размещается информация для всех категорий граждан, юридических лиц и прочих пользователей.

В состав публикуемой информации в обязательном порядке должны входить статические данные о деятельности государственного органа, в том числе статистические данные и показатели, характеризующие состояние и динамику развития экономической, социальной и иных сфер жизнедеятельности, регулирование которых отнесено к полномочиям данного органа.

Механизмы публикации статистики

Традиционно в государственном секторе использовалось несколько способов публикации статистических данных:

1. Файлы. Статистические данные помещаются в файлы одного из распространенных форматов (MS Excel, MS Word, Adobe PDF) и выкладываются на страницы сайта для загрузки. Пользователь скачивает файлы и просматривает их в автономном режиме на своем персональном компьютере.
2. Статические html-страницы. Статистические данные помещают на html-страницу, как правило, в виде статичной таблицы, графиков в формате рисунков. Пользователь просматривает данные на такой странице.
3. Запросные системы. Статические данные хранятся в базе данных. Пользователю предоставляется web-интерфейс, в котором он может выбрать набор данных, интересующие его числовые значения и измерения, задать условия фильтрации и взаимное расположение полей. После этого выполняется запрос к базе данных и генерируется статическая hrml-страница, которая предоставляется пользователю для просмотра. В таких системах, как правило, можно также экспортировать данные в формат MS Excel или CSV (текстовый формат, с разделителем).

Недостатки этих методов публикации:

1. Файлы и HTML-страницы. Файлы отражают видение авторов таблиц и графиков и могут не удовлетворять потребности пользователя. При этом пользователь не может изменить уровень детализации данных, аналитическую разрезность и форму представления. Файлы форматов Adobe PDF и MS Word затрудняют использование данных для дальнейших вычислений. Скопировать данные из них непросто, поскольку они имеют строчный формат. Файлы MS Excel могут быть сформатированы самыми разными способами, в частности в виде отчетов или в виде временных рядов. В первом случае, для загрузки данных в программы, требуется вручную транспонировать таблицу, например, когда годы расположены в виде колонок. Во втором случае данные сложно анализировать визуально. Данные в HTML-таблицах также имеют строчный формат и, в случае, если применяются разделители тысяч, цифры приходится после копирования преобразовывать.
2. Запросные системы. Запросные системы, или «параметрические отчеты», имеют существенные достоинства по сравнению с методами, описанными выше. Они дают пользователю некоторую степень свободы в определении формата данных, фильтрации, степени детальности данных и т.д. Недостаток таких систем состоит в том, что после определения параметров он получает неинтерактивные html-таблицы, которыми уже не может управлять. Повторные запросы занимают заметное время.

Публикация данных с помощью Business Intelligence

В качестве нового метода публикации данных Федеральная служба государственной статистики одной из первых в мире выбрала Business Intelligence (BI). Инструмент OLAP (Online Analytical Processing), относящийся к классу BI, предлагает принципиально новую парадигму работы с данными. Ее основные особенности:

1. Высокая интерактивность. Данные отображаются в виде интерактивных таблиц, графиков, карт, приборов и других визуальных средств, каждое из которых совмещает сами данные и элементы управления ими. Так что пользователь, получив набор данных, может изменять степень детальности, порядок агрегации, фильтровать данные, используя в качестве элементов управления сам визуальный инструмент. При этом изменения выполняются почти мгновенно. Это позволяет пользователю выполнять очень большое количество итераций, изменяющих набор данных, в поиске ответов, на интересующие его вопросы. Этот метод особенно удобен для работы в режиме «исследования», когда пользователь точно не знает, что именно он хочет получить в результате своей работы.
2. Наглядность. BI инструменты предлагают множество способов иллюстрирования цифр визуальными образами, которые делают абстрактные наборы чисел более понятными, «говорящими за себя». Например, данные отображаются в форме графиков и диаграмм, картограмм, градусников, приборов, напоминающих автомобильные. В таблице числа изменяют атрибуты отображения в зависимости от своих значений. Например, «плохие числа» как рост цен, падение численности населения, могут показываться красным цветом, а «хорошие» – зеленым. При этом степень качества может иллюстрироваться плотностью цвета. «Наилучшие» числа будут темно-зелеными, а наихудшие – «темно-красными». Метод, когда числа не показываются вовсе, а вместо них отображаются клетки таблицы, раскрашенные в различные цвета, объясняемые в легенде, называется цветовой картой (color map) и все более широко применяется в работе аналитиков, для отображения данных в цифровых панелях руководителей.
3. Высокая скорость создания отчетов. Техника создания BI-отчетов аналогична способу работы с ними при просмотре данных. Она также строится на идее высокой интерактивности. Автор отчетов настраивает новый отчет без программирования, в визуальном высоко интерактивном конструкторе, немедленно реагирующем на действия человека и отображающего результат настройки отчета вместе с живыми данными. Такой способ позволяет опытным путем искать наилучший способ отображения данных. Дополнительным, очень важным достоинством такого подхода является возможность избегать трудоемкого этапа проектирования отчетов на бумаге, а также упрощает согласование и отладку отчетов, поскольку человек, утверждающий отчет видит его в реальной форме, а не в виде схематичного проекта, а автор отчета может очень быстро исправить замечания. Таким образом, утверждение отчета у специалиста или руководителя также может происходить высоко итерационно, что не только повышает производительность труда, но и повышает качество конечного результата.

Несмотря на все более широкое применение BI-инструментов в бизнесе, в государственном управлении они применяются реже, а при публикации статистики, эти инструменты до сих пор не применялись совсем.

Это связано с двумя основными причинами:

1. Непригодностью лицензионной политики большинства вендоров Business Intelligence платформ, когда лицензируется именованный пользователь. Очевидно, что такая политика делает невозможной публикацию статистической информации для широких кругов пользователей.
2. Отсутствием в распространенных BI-продуктах специфических алгоритмов, характерных для государственной статистики. Статистика отличается от бизнес-данных пропусками данных, смешением в одном наборе данных разной степени агрегированности, например, итогов по России и данных по регионам, при том, что итог по России не обязательно равен сумме регионов. Смешением в одном временном ряду данных в различных единицах измерения, так, что повороты таблицы приводят к появлению чисел, не имеющих смысла.

Однако, в связи с тем, что задача публикации официальной статистики при помощи BI-технологий Росстатом решается впервые в мире, в процессе создания системы web-публикации и настройки отчетов обнаруживались новые ситуации, требующие нестандартных решений.

Автоматизированная система подготовки и публикации статистических данных

Наглядным примером, который иллюстрирует новые возможности предоставления статистических данных конечным потребителям посредством использования преимуществ технологии оперативной аналитической обработки данных, является перевод части статистических публикаций из набора несвязанных файлов в формате MS Word в интерактивную web-публикацию.

В результате объединения показателей, представленных в разных разрезах и с разной периодичностью в разрозненных информационных ресурсах, пользователям были предоставлены качественно новые возможности для сопоставления и анализа в динамике различных данных.

Среди основных преимуществ можно выделить:
• Возможность отбирать интересующие показатели, проводить их сопоставление с нужной степенью детализации, в том числе, с помощью графиков и диаграмм.
• Возможность сравнивать данные по отдельным регионам и РФ в целом.
• Возможность самостоятельно настраивать как табличный, так и графический вид представления данных, выбирать нужный срез представления.
• Цветовая индикация негативных/позитивных отклонений.
• Высокая наглядность данных за счет интеграции геоинформационных данных с интерактивной аналитикой в онлайн режиме.

Особенности внедрения BI систем в государственном секторе

Внедрение системы класса Business Intelligence для публикации статистических данных является отчасти инновационным проектом, и потому обладает определенными особенностями и сложностями.

Одной из таких особенностей можно считать сложившуюся парадигму мышления, когда всю историю Росстат занимается сбором и предоставлением точной статистической информации, а аналитическая обработка отдается другим министерствам и ведомствам, например, Министерству экономического развития. Поэтому и не возникает необходимости в применении специальных инструментальных средств, предоставляющих аналитические возможности конечным потребителям информации.

То же наблюдается и в других странах. Если посмотреть на развитие механизмов публикации, первое, что бросается в глаза, это технологическая отсталость статистических органов. До сих пор во всем мире используются устаревшие механизмы, т.е. информация предоставляется конечному пользователю в абсолютно неудобном и не наглядном варианте, в виде сухих цифр, которые рядовым обывателям мало о чем говорят.

Простой пример, многие страны ежегодно публикуют информацию о численности населения. Отчет представляет собой большую таблицу, в которой для различных территориальных единиц приведены голые цифры. Пользоваться этой таблицей совершенно неудобно, также она мало презентабельна и не позволяет провести какой-либо поверхностный анализ данных.

Применение же новых технологий в виде интерактивных OLAP-отчетов позволяет конечному пользователю, смотреть на данные уже предметно, пытаться их анализировать, исследовать тенденции. Также у пользователя появляется возможность строить интересуемые его представления, например, сколько в центральных регионах проживает мужчин призывного возраста, когда задаются определенные фильтры и таблица автоматически перестраивается, а на карте градиентом закрашиваются соответствующие территории.

Другой важной особенностью можно считать сопротивление изменением. Каждое изменение, которое затрагивает сложившиеся в процессе работы привычки и стандарты, зачастую воспринимается работниками негативно. Особенно это вызвано расширением функциональных обязанностей и дополнительным увеличением нагрузки при сохраненном уровне мотивации.

Государственные организации не стремятся давать ответа, почему выбирается то или иное решение или путь развития, что создает у сотрудников ощущения смутности целей и естественного желания не идти туда, не знаю куда. Сотрудники противятся не столько вмешательству в жизнь чего-то нового, сколько потере контроля над существующим порядком вещей, а также возможным скрытым последствиям.

При реализации подобных проектов руководителю необходима группа единомышленников, преданных идее и способных развивать новые направление деятельности. В отличие от бизнеса, материальное вознаграждение не является основным сплачивающим фактором. Поэтому между руководителем проекта и участниками проекта со стороны государства должен возникать особый вид личных отношений, подразумевающий глубокое уважение, дружеское расположение и готовность оказать друг другу взаимную услугу или одолжение. Он требует постоянной работы обеих сторон по поддержанию и развитию этих отношений. Государственные служащие предпочитают работать только с теми, кого они лично знают и кому они доверяют. Поэтому любое будущее проектное взаимодействие начинается с ритуала построения доверительных отношений.

Подводя итог всему вышесказанному, можно надеяться, что органы официального статистического учета последуют примеру Росстата в плане развития механизмов предоставления информации с помощью современных аналитических средств, и тенденция распространится не только в России, но и за рубежом.

Copyright © 2010 Семенов С.В.