Аркадий рассказывает историю Кирсанова-старшего в ответ на резкие высказывания...
![Павел Петрович Кирсанов: характеристика персонажа](https://i2.wp.com/xn----8sbiecm6bhdx8i.xn--p1ai/sites/default/files/resize/images/shkolnikam/Pavel_Petrovich_Kirsanov_1-280x296.jpg)
В современном мире существуют определенные классы программного обеспечения, которое ориентированно в основном на корпоративный сегмент (крупный и средний бизнес) и соответственно не имеет широкого распространения. Но некоторые программные комплексы имеют достаточно интересные функции, которые можно применить не только в сфере мелкого бизнеса, но и в качестве персонального инструмента. Вот об одном из таких программных комплексов и пойдет речь в данной статье.
Основная цель этой статьи, показать вам как сделать свой первый «Hello World» (по аналогии с программированием) в IBM Cognos BI.
Также хочу отметить, что я имею большой опыт написания пошаговых инструкций со скриншотами каждого шага. Но эта статья не будет очередной пошаговой инструкцией, здесь я хочу показать концепцию работы с системой, а не сделать еще один мануал.
Тут конечно можно возразить, что-то в духе «я и обычным SQL запросами отлично анализирую статистику» или «встроенных функций Excel вполне достаточно чтобы проанализировать всю домашнюю бухгалтерию», но «все познается в сравнении». Как показывает практика, гораздо проще просто натаскать мышкой нужные элементы данных и получить результат в готовом виде, чем возится с написанием SQL запросов или перенастраиванием функций Excel.
Опять-таки, все написанное это лично мое мнение, с которым вы не обязаны соглашаться.
Концептуальная архитектура комплекса IBM Cognos BI (схема получилась весьма громоздкой)
Как видно на схеме выше, в тестовой базе данных содержится 3 иерархических измерения: «Группа товара -> Товар», «Континент -> Страна -> Город -> Торговая точка», «Год -> Полугодие -> Квартал -> Месяц -> Дата»; 2 плоских (одномерных) измерения: «Кассир», «Региональный руководитель»; и 2 таблицы фактов: «Продажи», «План продаж».
Причем измерение «Кассир» расположено в одной из таблиц фактов в денормализованном виде, а измерение «Региональный руководитель» привязано к уровню «Страна» измерения «Торговая точка» связью «многие ко многим» (подразумевается, что один руководитель может управлять разными странами).
Итак, как я уже писал ранее, метаданные – это описание источника данных. В IBM Cognos BI. Фундаментом метаданных являются объекты «Query Subject» и связи между ними. Объект «Query Subject» это синоним «View» из реляционных СУБД. Т. е. в основе «Query Subject» стоит запрос к СУБД, определяющий структуру объекта источника, а связи между «Query Subject» это описание логического взаимодействия между этими запросами.
Для создания метаданных в IBM Cognos BI используется отдельное приложение IBM Cognos Framework Manager (единственное не Web приложение в комплексе IBM Cognos BI). После запуска Framework Manager будет предложено создать новый проект (необходимо будет ввести наименование проекта и его расположение в локальной файловой системе).
Следует понимать, что проект Framework Manager (также именуемый как модель Framework Manager) это набор локальных файлов, с которыми работает локальная программа, а пакет метаданных это результат, который располагается на IBM Cognos BI сервере (если проводить аналогию с программированием, то проект – это исходный код, а пакет – это скомпилированное приложение). На базе одного проекта Framework Manager можно создать несколько наборов пакетов.
После того как проект Framework Manager создан, лучше всего начать работу с запуска мастера импорта метаданных (Action -> Run Metadata Wizard …). Мастер импорта предложит выбрать существующий источник данных или создать новый и позволит выбрать необходимые объекты для импорта. В простейшем случае (например, когда источником данных является файл Excel, который в 99,9% случаев содержит данные в денормализованном виде) нужно будет полям объекта «Query Subject» задать правильный тип использования (атрибут «Usage») и на этом работу с моделью Framework Manager можно заканчивать и приступать к формированию и публикации пакета метаданных. В более сложном варианте (как в нашем тестовом примере), необходимо будет проверить правильность импортированных связей между объектами «Query Subject», исправить некорректные и добавить недостающие. В более профессиональных вариантах есть возможность создавать вычисляемые поля, менять структуру «Query Subject», сформировать многомерное (multidimensional) представление, определить алгоритмы безопасности и т.д.
Чтобы создать метапакет необходимо в Framework Manager, в разделе «Packages» вызвать контекстное меню и выбрать пункт «Create -> Package», после чего появится мастер создания метапакета. После того как метапакет будет создан, система сразу предложит его опубликовать на сервере. Начинающему пользователю можно сильно не вникать опции мастера публикации пакетов (просто нажимать кнопку Next и Publish). Единственно что, на последней вкладке (где будет не кнопка Next, а кнопка Publish) будет птичка «Verify package before publish», она определяет проверять ли метапакет на наличие логических неоднозначностей перед публикацией и отображает список этих неоднозначностей, если они буду найдены. Настоятельно рекомендую никогда не пропускать этот шаг и исправлять все найденные неоднозначности перед публикацией.
Лично я предпочитаю для всех BI задач использовать инструмент IBM Cognos Report Studio. Это наиболее универсальный инструмент, позволяющий строить отчеты фактически любой сложности и в тоже время предоставляет относительно удобные инструменты для быстрого анализа данных.
Предположим, что нам необходимо создать быстрый отчет, содержащий факт продаж в разрезе страны, товарной группы и периодичностью в квартал. Этот достаточно простой отчет можно сделать, выполнив следующие шаги:
После запуска отчета на выполнение, получится примерно такой результат.
Глядя на получившийся отчет можно смело сказать, что оформлен он откровенно плохо, числа не отформатированы, экономический смысл откровенно сомнителен и т. д. Но все эти недостатки оформления можно убрать путем задания свойств соответствующих элементов настроек, а чтобы экономический смысл был более интересен, можно, например, сделать план/факт анализ.
Например, чтобы сделать отчет, показанный ниже (на готовых метаданных) я, как специалист с опытом, потратил где-то 20-30 минут.
А чтобы его полностью переоформить в темную цветовую схему, я потратил где-то еще 10 минут.
Также я совсем не затронул некоторые интересные механизмы и функции (например, механизм представления реляционного источника данных как многомерного), но это из-за того, что количество необходимого материала (минимум теории и минимум практики) потянет на отдельную статью.
24.04.2003 Валерий Артемьев
Термин «business intelligence» существует сравнительно давно, хотя у нас он мало употребляется из-за отсутствия адекватного перевода и четкого понимания, что, впрочем, характерно и для Запада. Попытаемся разобраться в его сути.
В русском языке слово «интеллект» однозначно понимается, как мыслительная способность человека. На первый взгляд неплохой перевод для термина Business intelligence предложен в «интеллектуальный анализ данных», но сразу возникает вопрос, а имеется ли "неинтеллектуальный анализ данных".
На неопределенность обсуждаемого термина повлияла многозначность английского слова «intelligence»:
В русском языке слово «интеллект» однозначно понимается, как мыслительная способность человека. На первый взгляд неплохой перевод для термина Business intelligence предложен в «интеллектуальный анализ данных», но сразу возникает вопрос, а имеется ли «неинтеллектуальный анализ данных». Пути языка неисповедимы, поэтому будем использовать и оригинал на английском и кальку «бизнес-интеллект».
Впервые термин «business intelligence» был введен в обращение аналитиками Gartner в конце 1980-х годов, как «пользователецентрический процесс, который включает доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Позже в 1996 году появилось уточнение - «инструменты для анализа данных, построения отчетов и запросов могут помочь бизнес-пользователям преодолеть море данных для того, чтобы синтезировать из них значимую информацию, - сегодня эти инструменты в совокупности попадают в категорию, называемую бизнес-интеллект (Business Intelligence)».
Согласно первоначальным определениям, BI - это процесс анализа информации, выработки интуиции и понимания для улучшенного и неформального принятия решений бизнес-пользователями, а также инструменты для извлечения из данных значимой для бизнеса информации. Надо отметить, что большинство определений трактуют «business intelligence» как процесс, технологии, методы и средства извлечения и представления знаний.
За последние 10 лет менялись названия и содержание информационно-аналитических систем от информационных систем руководителя (executive information systems, EIS) до систем поддержки принятия решений (decision support systems, DSS) и сейчас до систем бизнес-интеллекта.
Во времена больших ЭВМ и миникомпьютеров, когда у большинства пользователей не было прямого доступа к компьютерам, организации зависели от своих подразделений ИТ, которые обеспечивали их стандартными и параметрическими отчетами. Но чтобы получить отчеты, отличные от стандартных, пользователям нужно было заказывать их разработку и ждать в течение нескольких дней или недель.
Приложения EIS были настроены на нужды руководителей и менеджеров и давали возможность получать основную агрегированную информацию о состоянии их бизнеса в виде таблиц или диаграмм. Обычно они включали регламентные запросы с набором параметров. Такие пакеты обычно разрабатывались силами своих подразделений ИТ. Для получения дополнительной информации и проведения дальнейшего анализа применялись другие приложения или создавались по заказу запросы или отчеты на SQL.
Приложения DSS первого поколения были пакетами прикладных программ с динамической генерацией SQL-скриптов по типу запрашиваемой пользователем информации. Они позволяли аналитикам получать информацию из реляционных БД, не требуя знания SQL. В отличие от EIS приложения DSS могут отвечать на широкий спектр вопросов бизнеса, имеют несколько вариантов представления отчетов и определенные возможности форматирования. Однако гибкость таких пакетов все же была ограничена из-за ориентации на конкретный набор задач.
С приходом ПК и локальных сетей следующее поколение приложений DSS строится уже на основе BI и позволяет пользователю-непрограммисту легко и оперативно извлекать информацию из различных источников, формировать собственные настраиваемые отчеты или графические представления, проводить многомерный анализ данных. Развитие систем бизнес-интеллекта прошло путь от «толстых» клиентов до Web-приложений, в которых пользователь ведет исследование с помощью браузера и может работать удаленно. Можно также создавать сценарии «что если» и коллективно просматривать и обновлять информацию.
Хотя пользователи корпоративной BI-информации традиционно находятся внутри предприятия, с распространением Web для электронного бизнеса, B2B, CRM и SCM BI-пользователи могут быть и внешними по отношению к предприятию , а в B2C, C2B и на торговых площадках пользователями BI являются пользователи Internet.
Концепция, методы и средства хранилища данных (Data warehousing) определяют подходы и обеспечивают интеграцию, очистку, ретроспективное хранение информации, предназначенной для анализа , отвечают на вопрос «Как подготовить информацию для анализа?». Технология бизнес-интеллекта определяет методы и средства доступа и оперативного анализа информации в терминах предметной области. BI-средства не обязательно должны работать в инфраструктуре хранилища данных, но в этом случае проблема очистки и согласования данных возлагается на них, причем осуществлять эти операции придется на лету или же предварительно, но для обособленного информационного ресурса. Кроме того, есть эффект влияния на производительность и надежность оперативной системы обработки транзакций. Вот почему хорошей корпоративной практикой является выделение транзакционной и аналитической составляющих и применение для второй различных решений по хранилищу данных. Основные стыки идут не только на уровне информации, но и на уровне метаданных. В случае хранилища данных можно обеспечить централизованное управление метаданными.
Следует отметить, что часто термином «хранилище данных» обозначают систему поддержки принятия решений DSS или информационно-аналитическую систему, основанные на технологиях хранилища данных и бизнес-интеллекта .
Сегодня категории BI-продуктов включают: BI-инструменты и BI-приложения. Первые, в свою очередь, делятся на: генераторы запросов и отчетов; развитые BI-инструменты, - прежде всего инструменты оперативной аналитической обработки (online analytical processing, OLAP); корпоративные BI-наборы (enterprise BI suites, EBIS); BI-платформы. Главная часть BI-инструментов делится на корпоративные BI-наборы и BI-платформы. Средства генерации запросов и отчетов в большой степени поглощаются и замещаются корпоративными BI-наборами. Многомерные OLAP-механизмы или серверы, а также реляционные OLAP-механизмы являются BI-инструментами и инфраструктурой для BI-платформ. Большинство BI-инструментов применяются конечными пользователями для доступа, анализа и генерации отчетов по данным, которые чаще всего располагаются в хранилище, витринах данных или оперативных складах данных. Разработчики приложений используют BI-платформы для создания и внедрения BI-приложений, которые не рассматриваются как BI-инструменты. Примером BI-приложения является информационная система руководителя EIS.
Генераторы запросов и отчетов - типично «настольные» инструменты, предоставляющие пользователям доступ к базам данных, выполняющие некоторый анализ и формирующие отчеты. Запросы могут быть как незапланированными (ad hoc), так и иметь регламентный характер. Имеются системы генерации отчетов (как правило, серверные), которые поддерживают регламентные запросы и отчеты. Настольные генераторы запросов и отчетов расширены также некоторыми облегченными возможностями OLAP. Развитые инструменты этой категории объединяют в себе возможности пакетной генерации регламентных отчетов и настольных генераторов запросов, рассылки отчетов и их оперативного обновления, образуя так называемую корпоративную отчетность (corporate reporting) . В ее арсенал входят сервер отчетов, средства рассылки, публикации отчетов на Web, механизм извещения о событиях или отклонениях (alerts). Характерные представители - Crystal Reports, Cognos Impromptu и Actuate e.Reporting Suite.
Инструменты OLAP являются аналитическими инструментами, которые первоначально были основаны на многомерных базах данных (МБД) .
МБД - это базы данных, сконструированные специально для поддержки анализа количественных данных с множеством измерений, содержат данные в «чисто» многомерной форме. Большинство приложений включают измерение времени, другие измерения могут касаться географии, организационных единиц, клиентов, продуктов и др. OLAP позволяет организовать измерения в виде иерархии. Данные представлены в виде гиперкубов (кубов) - логических и физических моделей показателей, коллективно использующих измерения, а также иерархии в этих измерениях. Некоторые данные предварительно агрегированы в БД, другие рассчитываются «на лету».
Средства OLAP позволяют исследовать данные по различным измерениям . Пользователи могут выбрать, какие показатели анализировать, какие измерения и как отображать в кросс-таблице, обменять строки и столбцы «pivoting», затем сделать срезы и вырезки («slice&dice»), чтобы сконцентрироваться на определенной комбинации размерностей. Можно изменять детальность данных, двигаясь по уровням с помощью детализации и укрупнения «drill down/ roll up», а также кросс-детализации «drill across» через другие измерения.
Для поддержки МБД используются OLAP-серверы , оптимизированные для многомерного анализа и поставляемые с аналитическими возможностями. Они обеспечивают хорошую производительность, но обычно требуют много времени для загрузки и расширения МБД. Поставляются с возможностью «reach-through», позволяя перейти от агрегатов к деталям в реляционных БД. Классический OLAP-сервер - Hyperion Essbase Server.
Сегодня реляционные СУБД применяются для эмуляции МБД и поддерживают многомерный анализ . OLAP для реляционных БД (ROLAP) имеет преимущество по масштабируемости и гибкости, но проигрывает по производительности многомерному OLAP (MOLAP), хотя существуют методы повышения производительности, наподобие схемы «звезда». Несмотря на то что МБД являются по-прежнему наиболее подходящими для оперативной аналитической обработки, сейчас эту возможность встраивают в реляционные СУБД или расширяют их (например, MS Analysis Services или ORACLE OLAP Services - это не то же самое, что ROLAP). Также существует гибридная оперативная аналитическая обработка данных (HOLAP) для гибридных продуктов, которые могут хранить многомерные данные естественным образом, а также в реляционном представлении. Доступ к МБД осуществляется с помощью API для генерации многомерных запросов, тогда как к реляционным БД доступ производится посредством запросов на SQL. Примером ROLAP-сервера является Microstrategy7i Server.
Настольные OLAP-инструменты (например, BusinessObjects Explorer, Cognos PowerPlay, MS Data Analyzer), встроенные сейчас в EBIS, облегчают конечным пользователям просмотр и манипулирование многомерными данными, которые могут поступать из серверных ресурсов данных ROLAP или MOLAP. Некоторые из этих продуктов имеют возможность загружать кубы, так что они могут работать автономно. Как часть EBIS эти настольные инструменты оснащены возможностями серверной обработки, которые выходят за пределы их традиционных возможностей, но не конкурируют с MOLAP-инструментами. Настольные инструменты по сравнению с MOLAP-средствами имеют небольшую производительность и аналитическую мощь. Нередко обеспечивается интерфейс через Excel, например, MS Eхcel2000/OLAP PTS, BusinessQuery for Excel. Практически все OLAP-инструменты имеют Web-расширения (Business Objects WebIntelligence к примеру), для некоторых они являются базовыми.
EBIS - естественный путь для предоставления BI-инструментов, которые ранее поставлялись в виде разрозненных продуктов. Эти наборы интегрируются в наборы инструментов генерации запросов, отчетов и OLAP. Корпоративные BI-наборы должны иметь масштабируемость и распространяться не только на внутренних пользователей, но и на ключевых заказчиков, поставщиков и др. Продукты BI-наборов должны помогать администраторам при внедрении и управлении BI без добавления новых ресурсов. Из-за тесного родства Web и корпоративных BI-наборов некоторые поставщики описывают свои BI-наборы как BI-порталы. Эти портальные предложения обеспечивают подмножество возможностей EBIS с помощью Web-браузера, однако поставщики постоянно увеличивают их функциональность, приближая ее к возможностям инструментов для «толстых» клиентов. Типичные EBIS поставляют Business Objects и Cognos.
BI-платформы предлагают наборы инструментов для создания, внедрения, поддержки и сопровождения BI-приложений. Имеются насыщенные данными приложения с «заказными» интерфейсами конечного пользователя, организованные вокруг специфических бизнес-проблем, с целевым анализом и моделями. BI-платформы, хотя и не так быстро растут и широко используются как EBIS, являются важным сегментом благодаря ожидаемому и уже происходящему росту BI-приложений. Стараниями поставщиков реляционных СУБД, создающих OLAP-расширения своих СУБД, многие поставщики платформ, которые предоставили многомерные СУБД для OLAP, чтобы выжить были вынуждены мигрировать в область BI-приложений. Семейства продуктов СУБД, обеспечивающие возможности BI, действительно подталкивают рост рынка BI-платформ. Отчасти это происходит благодаря большей активности ряда поставщиков СУБД. Рассматривая различные инструменты, видим, что EBIS являются высоко функциональными средствами, но они не имеют такого большого значения, как BI-платформы или заказные BI-приложения. Зато BI-платформы обычно не так функционально полны, как корпоративные BI-наборы. При выборе BI-платформ нужно учитывать следующие характеристики: модульность, распределенную архитектуру, поддержку стандартов XML, OLE DB for OLAP, LDAP, CORBA, COM/DCOM и обеспечение работы в Web. Они должны также обеспечивать функциональность, специфическую для бизнес-интеллекта, а именно: доступ к БД (SQL), манипулирование многомерными данными, функции моделирования, статистический анализ и деловую графику. Эту категорию продуктов представляют фирмы Microsoft, SAS Institute, ORACLE, SAP и другие.
В приложения бизнес-интеллекта часто встроены BI-инструменты (OLAP, генераторы запросов и отчетов, средства моделирования, статистического анализа, визуализации и data mining). Многие BI-приложения извлекают данные из ERP-приложений. BI-приложения обычно ориентированы на конкретную функцию организации или задачу, такие как анализ и прогноз продаж, финансовое бюджетирование, прогнозирование, анализ рисков, анализ тенденций, «churn analysis» в телекоммуникациях и т.п. Они могут применяться и более широко как в случае приложений управления эффективностью предприятия (enterprise perfomance management) или системы сбалансированных показателей (balanced scorecard).
Разведка данных (data mining) представляет собой процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий . Она выполняется путем тщательного исследования данных с использованием технологий распознавания шаблонов, а также статистических и математических методов. При разведке данных многократно выполняются различные операции и преобразования над сырыми данными (отбор признаков, стратификация, кластеризация, визуализация и регрессия), которые предназначены: 1) для нахождения представлений, которые являются интуитивно понятными для людей, которые, в свою очередь, лучше понимают бизнес-процессы, лежащие в основе их деятельности; 2) для нахождения моделей, которые могут предсказать результат или значение определенных ситуаций, используя исторические или субъективные данные.
В отличие от использования OLAP разведка данных в значительно меньшей степени направляется пользователем, вместо этого полагается на специализированные алгоритмы, которые устанавливают соотношение информации и помогают распознать важные (и ранее неизвестные) тенденции, свободные от предвзятости и предположений пользователя.
Кроме перечисленных инструментов, в состав BI могут входить следующие средства анализа : пакеты статистического анализа и анализ временных рядов и оценки рисков; средства моделирования; пакеты для нейронных сетей; средства нечеткой логики и экспертные системы.
Дополнительно нужно отметить средства для графического оформления результатов : средства деловой и научно-технической графики; «приборные доски», средства аналитической картографии и топологических карт; средства визуализации многомерных данных.
Корпоративная BI-архитектура должна быть разработана после того, как определены BI-потребности пользователей, но до выбора BI-инструментов. Архитектура Business Intelligence определяет компоненты доставки BI-информации и компоненты BI-технологии (рис.1). После определения профилей использования BI-информации, может быть спроектирована архитектура доставки информации, основанная на этих профилях и на требуемом типе внедрения. Это может быть любая смесь настольных клиентов с сетевым подключением, настольных клиентов и сервера, тонких клиентов на основе Web и других мобильных вычислительных устройств. Архитектура доставки информации определит пользовательские интерфейсы, которые часто являются порталами с возможностью персонализации.
Рис.1. Архитектура Business intelligence
Архитектура BI-технологии определяет инфраструктуру и компоненты, необходимые для поддержки внедрения, эксплуатации и администрирования BI-инструментов и приложений, а также связи этих компонентов. Прочная архитектура BI-технологии будет состоять из двух важных слоев: инфраструктуры и прикладных сервисов (или функциональности). Инфраструктурный слой включает информационные ресурсы, администрирование и сети. На этом слое данные собираются, интегрируются и становятся доступными. Хранилище данных является одним из возможных компонентов инфраструктурного слоя. Для использования BI в оперативных системах может потребоваться оперативный склад данных (operational data store, ODS), возможно связанный с корпоративными структурами workflow. Прикладные сервисы включают все BI-сервисы, такие как механизмы запросов, анализа, генерации отчетов и визуализации, а также средства безопасности и метаданные.
Помимо традиционных решений по хранилищам данных Oracle9i и MS SQL Server2000, растет число применений хранилищ ERP, например, SAP BW для R/3, или PeopleSoft Enterprise Warehouse с BI-приложениями Enterprise Performance Management. Однако в обоих случаях функциональность привязана к конкретным системам ERP, а следовательно ограничена.
Быстро растет применение ROLAP для хранения BI-информации, из-за удобства реляционных СУБД для приложений с очень большими базами детальных данных и благодаря включению возможностей OLAP в СУБД. Использование МБД и OLAP остается неизменным и наиболее преобладающим, т.к. они обеспечивают лучшую производительность и функциональность там, где важны агрегированные данные и сложные аналитические расчеты.
Неудивительно, что при дороговизне двухзвенных клиент-серверных структур доступ к BI все чаще происходит через Web. Центр тяжести перемещается на сервер, отражая тот факт, что важным элементом является доступ к корпоративной BI-информации, автономные же ПК явно недостаточно функциональны. Популярна и растет доставка BI-отчетов по электронной почте, а мобильные и беспроводные способы доставки пока распространяются медленно.
Большинство BI-инструментов, представленных на рынке, используют слой метаданных или репозиторий. Бизнес-метаданные включают определения данных, которые хранятся в источниках данных, в терминах предметной области. Они также могут содержать правила и вычисления, которые должны быть определены для этого бизнеса. Кроме того, существуют технические метаданные для доступа к физическим данным. CASE-средства, реляционные СУБД, средства извлечения, преобразования и загрузки данных используют метаданные. При создании хранилища и витрин данных часто можно автоматически извлечь метаданные из источников данных, но иногда пользователям самим приходится доставать метаданные. Так, возможна сложная ситуация с несколькими репозиториями, существующими в одной организации. Отсутствие общих метаданных для инструментов - из-за отсутствия стандартов для метаданных - серьезная проблема для подразделений ИТ.
Возможности пользователя по ведению многоаспектного оперативного анализа информации в терминах предметной области для поддержки принятия бизнес решений быстро расширяются. Параллельное движение от информационной анархии или диктатуры к информационной демократии расширяет контингент пользователей business intelligence. На первое место выходит потребность гибкого доступа к корпоративным данным, а не просто потребность решить конкретную функциональную задачу. Снижается прямая зависимость от подразделений ИТ, изготавливающих по заказу отчеты или запросы. Возможен переход от статических регламентных отчетов к «живому отчету», а наиболее продвинутые аналитики получают возможность проводить кросс-тематический анализ и построение сводных отчетов с нуля, имея семантических слой, описывающий все показатели и разрезы корпоративной информации. Эти же средства могут использовать программисты для быстрого создания регламентных, параметрических отчетов. Web-доступ к BI (как к статическому, так и к динамическому контенту) позволит обеспечить реальное корпоративное информационное пространство и коллективную работу сотрудников.
Основным риском является слишком быстрые изменения в технологии BI, использование непроверенных решений и средств. Нужно отслеживать поставщиков, оценивать их устойчивость, направления развития, регулярно пробовать новые средства, проводить типизацию и унификацию BI. Другой риск связан с качеством данных - если они должным образом не преобразованы, не очищены и не консолидированы, то никакие «навороченные» возможности BI-инструментов или приложений не смогут увеличить достоверность данных. Ряд проблем могут возникнуть из-за не согласованности метаданных. В рамках большой корпорации эти вопросы решаются на инфраструктурном уровне путем создания корпоративного хранилища данных и централизованного управления метаданными. Создание хранилища поможет навести порядок в номенклатуре собираемых показателей, сборе данных, их распространении и санкционировании доступа. Сама BI-технология не в состоянии решить комплексно эти проблемы, а пренебрежение ими возвращает к информационной анархии и «силосным ямам данных» .
В соответствии с пресловутыми магическими квадратами Gartner технологическими лидерами EBIS являются сегодня Business Objects и Cognos, на границе между лидерами и претендентами - Information Builders, а Microsoft и Oracle - в претендентах. У одной нет самостоятельного OLAP-клиента, а используется функциональность сводной таблицы Excel200x, и нет генератора отчетов, у другой - пока нет замены для Oracle Express Analyzer. В группе «провидцев» выделяются Crystal Decisions на границе с лидерами. Также следует отметить Actuate и MicroStrategy.
Для BI-платформ практически нет лидеров, что свидетельствует о незрелости технологий и рынка. На границе этой области находится пока только Microsoft за счет решений по встраиванию OLAP-сервисов в MS SQL Server и развития их до аналитического сервера. Среди других претендентов - SAS Institute, далее плотную группу образуют Oracle, PeopleSoft и SAP. Hyperion в буквальном смысле на перепутье - SAS и Hyperion потеряли лидирующие позиции 2000 года. Среди провидцев следует отметить MicroStrategy. К сожалению, Crystal Decisions пока выступает как нишевой игрок.
Среди BI-инструментов наибольший рост испытывают EBIS, что отражает усилившуюся конкуренцию в сегодняшней экономике. Использование инструментов для генерации запросов и отчетов, анализа данных снижается, организации обновляют их и заменяют корпоративными BI-наборами. Основные инструменты (незапланированные запросы, отчетность и основной OLAP-анализ) все еще остаются наиболее распространенными, удовлетворяя большинство потребностей. Также растет применение OLAP и других развитых BI-инструментов, подобных технологии data mining. Однако автономные инструменты data mining исчезают, эта технология поглощается и включается в другие BI-инструменты, например, в расширения СУБД.
Ожидается, что в течение 5 лет такие возможности, как XML для анализа (XML/A), BI Web-сервисы, совместная работа, беспроводные и мобильные коммуникации объединятся в виде сетей бизнес-интеллекта (BI networks), которые будут дополнены средствами мониторинга бизнес деятельности (Business activity monitoring, BAM).
XML для анализа. XML/A первоначально появился как коммуникационный протокол между разными BI-слоями (клиент, аналитический сервер, сервер БД). У XML/A имеются серьезные проблемы производительности - он создает большие накладные расходы и пока применим лишь для «облегченного» OLAP-клиента. Однако если эти проблемы будут решены, XML/A мог бы стать единым языком общения (lingua franca) между различными BI-средами, пересекая множество доменов, поставщиков и технологий, таким образом поддерживая BI networks.
BI Web-сервисы. Поставщики часто идентифицируют продукты EBIS как BI-порталы, потому что версии этих продуктов для Web обеспечивают точку входа к корпоративной информации. Фактически зачастую эти BI-порталы поддерживают также связи с неструктурированной информацией, хотя обычно для этого требуется некая система интеграции. Все более и более продукты EBIS фокусируются на внешних составляющих корпорации (extranet e-business intelligence). Новая компонентная архитектура SOA, ориентированная на сервисы (службы), является развитием серверов приложений и корпоративных порталов. Эта новация связана также с технологиями J2EE и.NET. BI Web-сервисы делают BI-инструменты открытыми компонентами с известными интерфейсами и доступными во всех видах сетей. Увеличивается число поставщиков BI-продуктов, которые реализуют их в виде Web-служб, но чаще под соусом порталов.
Совместная работа. Добавление аннотаций к отчетам и разделение результатов анализа между несколькими пользователями возможно со времен EIS, однако сейчас эта функциональность популярна и во многие BI-приложения добавлены возможности workflow. Ожидается, что пользователи смогут работать одновременно с одной моделью или будет обеспечена связь разных BI-приложений в реальном времени.
Беспроводной и мобильный бизнес-интеллект. Другая устойчивая тенденция по доставке BI-информации видна у поставщиков, дающим возможность BI-продуктам доставлять отчеты посредством мобильной технологии, включая персональных электронных помощников PDA, Internet-телефонов и пейджеров.
Мониторинг бизнес-деятельности. Новая технология BAM является по существу операционным BI и сочетает интеграцию приложений реального времени с возможностями бизнес-интеллекта. Используя транзакционные данные, извлеченные из систем обработки транзакций в реальном времени, BI-инструменты анализируют эти данные и выдают предупреждения о критических событиях и информацию операционным пользователям, принимающим непосредственные решения.
Валерий Артемьев (avi @cbr.ru) - советник директора Главного центра информатизации Банка России (Москва).
Бизнес-аналитика, или BI, - это общий термин, подразумевающий под собой разнообразные программные продукты и приложения, созданные для анализа первичных данных организации.
Бизнес-анализ как деятельность состоит из нескольких связанных между собой процессов:
Компании используют BI для принятия обоснованных решений, сокращения издержек и поиска новых перспектив для бизнеса. BI - это нечто большее, чем обычная корпоративная отчетность или некий набор инструментов для получения информации из учетных систем предприятия. IT-директора используют бизнес аналитику, чтобы выявить неэффективные бизнес-процессы, которые «созрели» для перестройки.
Используя современные инструменты бизнес-анализа, бизнесмены могут начать анализировать данные самостоятельно и не ждать, пока IT-департамент сформирует сложные и запутанные отчеты. Такая демократизация доступа к информации дает пользователям возможность подкреплять реальными цифрами свои бизнес-решения, которые в обратном случае были бы основаны на интуиции и случайностях.
Несмотря на то что системы BI достаточно перспективны, их внедрение может быть затруднено техническими и «культурными» проблемами. Менеджерам необходимо обеспечивать четкие и согласованные данные для BI приложений, чтобы пользователи могли им доверять.
Ресторанные сети (например, Hardee’s, Wendy’s, Ruby Tuesday и T.G.I. Friday’s) активно используют системы бизнес-аналитики. BI крайне полезен им для принятия стратегически важных решений. Какие новые продукты добавить в меню, какие блюда исключить, какие неэффективно работающие точки закрыть и т.д. Они также используют BI для таких тактических вопросов, как пересмотр договоров с поставщиками продуктов и выявление путей совершенствования неэффективных процессов. Поскольку ресторанные сети сильно ориентированы на свои внутренние бизнес-процессы и поскольку BI занимает в контроле этих процессов центральное место, помогая управлять предприятиями, рестораны, среди всех отраслей, входят в элитную группу компаний, которые получают реальную выгоду от этих систем.
Бизнес-аналитика является одним из ключевых компонентов BI. Этот компонент важен для достижения успеха компании из любой отрасли.
В секторе розничной торговли Wal-Mart широко применяет анализ данных и кластерный анализ для того, чтобы сохранять свое доминирующее положение в секторе. Harrah’s изменил основы своей политики конкурентной борьбы в игральном бизнесе, сделав упор на анализ лояльности клиентов и уровня обслуживания, вместо поддержания мега-казино. Amazon и Yahoo - это не просто крупные веб-проекты, они активно используют бизнес-аналитику и общий подход «протестируй и пойми» для налаживания своих бизнес-процессов. Capital One проводит более 30 000 экспериментов ежегодно для выявления целевой аудитории и оценки предложений по кредитным картам.
Общая вовлеченность сотрудников жизненно необходима для успеха BI-проектов, поскольку каждый, кто задействован в процессе, должен обладать полным доступом к информации, чтобы иметь возможность изменить способы и методы своей работы. BI-проекты должны начинаться с высшего руководства, а следующей группой пользователей должны быть менеджеры по продажам. Их основная обязанность - наращивать продажи, и заработная плата часто зависит от того, насколько хорошо они это делают. Поэтому они гораздо быстрее воспримут любой инструмент, способный помочь им в работе, при условии, что этот инструмент легко использовать и что они доверяют получаемой с его помощью информации.
Вы можете заказать свой пилотный проект на платформе для бизнес-анализа.
Используя BI-системы, сотрудники корректируют работу над индивидуальными и групповыми задачами, что ведет к более эффективной работе команд продавцов. Когда руководители отделов продаж видят существенную разницу показателей нескольких отделов, они стараются довести «отстающие» отделы до того уровня, на котором работают «лидирующие».
Внедрив бизнес-аналитику в отделах продаж, можно продолжать внедрение уже в других департаментах организации. Положительный опыт продавцов будет способствовать переходу на новые технологии других сотрудников.
Перед внедрением BI-системы, компаниям следует проанализировать механизмы принятия управленческих решений и понять, какая информация необходима руководителям для более обоснованного и оперативного принятия этих решений. Также желательно проанализировать, в каком виде руководители предпочитают получать информацию (в качестве отчетов, графиков, онлайн, в бумажной форме). Уточнение данных процессов покажет, какую информацию компании необходимо получить, анализировать и консолидировать в своих BI-системах.
Качественные BI-системы должны предоставлять пользователям контекст. Недостаточно просто составлять отчеты о том, какими были продажи вчера и какими - год назад в этот же день. Система должна давать возможность понять, какие факторы привели именно к такому значению объема продаж в один день и другому - в тот же день год назад.
Подобно многим IT проектам, внедрение BI не окупится, если пользователи будут чувствовать «угрозу» или скептически относиться к этой технологии и в результате откажутся от ее использования. BI, будучи внедренной в «стратегических» целях, должна, по идее, фундаментальным образом изменить функционирование компании и процесс принятия решений, поэтому руководителям IT-департаментов необходимо с особым вниманием подходить к мнениям и реакциям пользователей.
Крупное препятствие на пути к успеху BI-систем - сопротивление пользователей. Среди прочих возможных проблем - необходимость «просеивать» большие объемы нерелевантной информации, а также данные неудовлетворительного качества.
Ключ к получению значимых результатов от работы BI-систем - это стандартизированные данные. Данные являются фундаментальным компонентом любой BI системы. Компаниям необходимо привести свои хранилища данных в строгий порядок прежде, чем они смогут начать извлекать необходимую информацию и доверять полученным результатам. Без стандартизации данных есть риск получать некорректные результаты.
Еще одной проблемой может стать некорректное понимание роли аналитической системы. BI- инструменты стали более гибкими и удобными для пользователей, однако основная их роль по-прежнему - составление отчетов. Не стоит ждать от них автоматизированного управления бизнес-процессами. Впрочем, определенные изменения в этом направлении все же намечаются.
Третьим препятствием при трансформации бизнес-процессов с использованием BI системы является недостаточное понимание компаниями собственных бизнес-процессов. Как следствие, компании просто не понимают, как можно эти процессы улучшить. Если процесс не оказывает прямого влияния на прибыль или компания не собирается стандартизировать процессы во всех своих подразделениях, внедрение BI системы может оказаться неэффективным. Компаниям необходимо понимать все виды деятельности и все функции, которые составляют отдельный бизнес-процесс. Также важно знать, как передается информация и данные через несколько разных процессов, и как данные передаются между бизнес-пользователями, и то, как люди используют эти данные для осуществления своих задач в рамках конкретного процесса. Если стоит цель оптимизировать работу сотрудников, все это необходимо понять еще перед тем, как запустить BI-проект.
Большое количество BI-приложений помогло компаниям с лихвой отбить вложенные средства. Системы бизнес-аналитики используются для изучения способов сокращения издержек, выявления новых возможностей для развития бизнеса, представления ERP-данных в наглядной форме, а также для быстрого реагирования на изменение спроса и оптимизации цен.
Кроме повышения доступности данных, BI может предоставить компаниям больше преимуществ во время переговоров, упрощая оценку отношений с поставщиками и клиентами.
В рамках предприятия существует множество возможностей экономить деньги путем оптимизации бизнес-процессов и процесса принятия решений в целом. BI способен эффективно помогать в совершенствовании этих процессов, проливая свет на допущенные в них промахи. Например, сотрудники одной компании в Альбукерке использовали BI для определения путей сокращения использования мобильных телефонов, работы в сверхурочные часы и других текущих расходов, сэкономив для организации $2 миллиона за три года. Также, с помощью BI-решений, Toyota осознала, что вдвое переплатила своим перевозчикам общей суммой $812 000 в 2000 г. Использование BI-систем для обнаружения дефектов в бизнес-процессах ставит компанию в более выгодное положение, давая конкурентное преимущество перед компаниями, которые используют BI просто для того, чтобы отслеживать происходящее.
И помните, BI - это нечто большее, чем поддержка принимаемых решений. Благодаря развитию технологий и тому, как их внедряют руководители IT-департаментов, системы бизнес-анализа обладают потенциалом трансформировать организации. IT-директора, которые успешно используют BI для улучшения бизнес-процессов, вносят гораздо более значимый вклад в деятельность свой организации, руководители, внедряющие базовые инструменты составления отчетов.
По материалам www.cio.com
Внедрение BI-технологий в различные программные продукты является новым и перспективным подходом к управлению данными и знаниями компании.
Впервые о таком понятии, как «business intelligence» заговорили в 1958 году. Ханс Питер Лун в своей статье «Возможность понимания связей между представленными фактами» сделал первые попытки дать определение этому понятию. В 1989 году Говард Дреснер определил «business intelligence», как инструмент описания процесса, включающего в себя доступ к информации и ее анализ «для улучшения принятия бизнес-решений с использованием систем на основе бизнес-данных».
Институт Исследования Хранилищ данных (The Data Warehousing Institute , TDWI) определяет BI, как средство, которое "имеет отношение к процессу превращения данных в знания, а знаний в действия бизнеса для получения выгоды» и «Является деятельностью конечного пользователя, которую облегчают различные аналитические и групповые инструменты и приложения, а также инфраструктура хранилища данных».
С каждым годом количество информационных систем, построенных на основе BI-технологии, растет.
Согласно первоначальным определениям, BI - это процесс интеллектуального анализа информации, выработки интуиции и понимания для улучшенного и неформального принятия решений бизнес-пользователями, а также инструменты для извлечения из данных значимой для бизнеса информации. Надо отметить, что большинство определений трактуют «business intelligence» как процесс, технологии, методы и средства извлечения и представления знаний.
Business Intelligence (BI) - это процесс, технологии, методы и средства исследования, анализа, извлечения и представления информации и знаний, необходимые для принятия улучшенного, неформального управленческого решения. Часто сами бизнес-знания также называют BI, хотя это и не совсем правильно.
Технологии BI помогают конечному пользователю в его деятельности и в основе данной технологии лежит организация доступа пользователей к информации и знаниям компании, а также анализ бизнес данных. Знания, основанные на данных (data-based knowledge), получаются из данных с использованием инструментов BI и процесса создания и ведения хранилища данных.
BI порождает итерационный процесс бизнес-пользователя, включающий доступ к данным и их анализ, и тем самым проявление интуиции, формирование заключений, нахождение взаимосвязей, чтобы эффективно изменять предприятие в положительную сторону.
· процесс интеллектуального превращения данных в информацию и информации в знания для поддержки принятия решений
· методы и средства сбора и объединения данных с использованием методов искусственного интеллекта
· методы и средства обеспечения интеллектуального доступа к информации и знаниям
· инструмент для углубленного интеллектуального анализа данных бизнеса
В процессе преобразования информации в знания в роли структур хранения данных выступают хранилища данных, а для представления этого знания пользователям инструменты BI. BI помогает конечному пользователю, в том числе и не обладающего широкими знаниями в области ИТ, получить доступ к огромному количеству бизнес-данных для синтезирования из них информации и дальнейшего углубленного, детального анализа.
Сегодня BI-инструменты превращаются в нечто гораздо большее, чем просто анализ данных с помощью OLAP. Несмотря на то, что многие организации продолжают использовать OLAP-инструменты в качестве генераторов отчетов, все большее число компаний начинают обращаться к различным технологиям BI, получая конкурентное и стратегическое преимущества.
По мере того, как компании, пытаясь улучшить взаимодействие с клиентами и поставщиками, преобразуют свой бизнес, применяя технологии электронной коммерции, автоматизированные клиентские места и интегрированные цепи поставок, только технологии BI смогут помочь понять операции электронного бизнеса. Мир е-бизнеса - это сфера "продвинутого", стратегического BI. Кликстрим-анализ и Web-аналитика бесполезны, если они не интегрированы с оперативной информацией и данными о клиенте.
Первое поколение BI-инструментов было предназначено для реализации требований, предъявляемых бизнес-подразделениями: осуществлять текущий контроль. Эти требования включали обеспечение бизнес-менеджеров и других работников информацией, которой необходимо владеть, чтобы выполнять свои обязанности. Как правило, под "информацией, которой необходимо владеть" подразумевались, во-первых, данные, подлежащие анализу, а, во-вторых, то, как они представлялись с помощью BI-инструмента. Менеджеры компаний формулировали эти требования и часто оставались довольны возможностями, которые им предоставляла технология OLAP при задании нерегламентированных запросов.
Стратегическое BI отвечает на такие вопросы, которые руководство даже не знает, как и сформулировать. Их примером могут служить следующие вопросы: каким образом можно увеличить доходы? Каковы имеющиеся бизнес-перспективы? Каковы текущие убытки и как их можно избежать? Есть ли возможность сократить расходы? Стратегическое BI предоставляет информацию, которая поможет руководству ответить на эти вопросы.
BI обычно помогает конечному пользователю (специалисту, менеджеру, зачастую не обладающему большими знаниями в области информационно-коммуникационных технологий) получить результат углубленного детального анализа бизнес-данных.
Всех пользователей BI можно разделить на опытных пользователей (составляют 20% от численного состава компании) и обычных пользователей (80% от численного состава). Опытные пользователи – это бизнес-аналитики, занимающиеся анализом информации и созданием всевозможных отчетов. Они активно используют всевозможные аналитические инструменты и приложения, облегчающие их деятельность. Опытные пользователи способны использовать новые технологии, в т.ч. и BI, если технологии действительно помогают. Опытные пользователи всегда готовы учиться новому. Обычные пользователи мало интересуются инструментами, позволяющими создавать для них отчеты. Инструменты BI для них слишком сложны. Но это не означает, что рядовые сотрудники не должны пользоваться результатами BI приложений – производители таких инструментов должны предлагать простые и доступные решения, результаты которых позволят и этой группе сотрудников стать полноценными потребителями BI инструментов.
Первоначально BI инструменты создавались для удовлетворения потребности именно опытных пользователей, а не руководителей и рядовых работников. Поэтому обычным сотрудникам и менеджерам для использования BI инструментов требовалось серьезное и долгое специальное обучение, что серьезно повышало общие расходы на BI. При этом надо отметить, что стоимость BI инструментов очень велика, что является препятствием на пути внедрения BI даже в крупные компании, не говоря уже про малый бизнес.
Но, сегодня производители стали активно упрощать свои программные комплексы и настраивать их под обычных пользователей, которые хотят всего лишь заниматься мониторингом ключевых показателей эффективности, рассматривать и анализировать данные. Многие разработчики сделали свои продукты привлекательными (модули отчетов для конечных пользователей, авторизация тонких клиентов, инструментальные и оценочные панели, графические интерфейсы, поиск по ключевым словам, развитая визуализация, предоставление программного обеспечения в виде услуги).
Ключом к проникновению BI во все сферы деятельности компании является привлечение клиентов и активное использование ими приобретенных инструментов. Эта, казалось бы, простая идея очень сложна, если учесть все факторы, которые делают BI-инструмент простым в использовании. Поэтому на сегодняшний день средний процент активных BI-пользователей составляет всего лишь 24%.
Классификация продуктов Business Intelligence
· BI-инструменты - это программное обеспечение, которое позволяет бизнес-пользователям видеть и использовать большое количество сложных данных, которые применяются ими для анализа и генерации отчетов по данным, получаемым из хранилищ и витрин данных. BI-инструменты включают в себя генераторы запросов и отчетов, сложные механизмы отчетности и анализа, инструменты оперативной аналитической обработки (OLAP), BI-платформы. BI-инструменты в их нынешнем виде не являются готовыми продуктами.
· BI-приложения в виде готовых программных продуктов. BI-приложения обычно ориентированы на конкретные функции или задачи компании, такие как анализ и прогноз продаж, финансовое бюджетирование, прогнозирование, анализ рисков, анализ тенденций и т.п. Они могут применяться и более широко как в случае приложений управления эффективностью предприятия или системы сбалансированных показателей.
Риски технологии BI:
Основным риском является слишком быстрые изменения в BI технологии, использование непроверенных решений и средств. Нужно отслеживать поставщиков, оценивать их устойчивость, направления развития, регулярно пробовать новые средства, проводить типизацию и унификацию BI.
Другой риск связан с качеством данных - если они должным образом не преобразованы, не очищены и не консолидированы, то никакие возможности BI-инструментов или приложений не смогут увеличить достоверность данных.