Проект внедрения Qlik
ОПИСАНИЕ ПРОЦЕССА ВНЕДРЕНИЯ QLIKVIEW И QLIK SENSE
В своей работе мы разделяем процесс внедрения бизнес-аналитики на платформе QlikView (Qlik Sense) на несколько основных этапов:
- Бизнес-анализ;
- Проектирование;
- Разработка;
- Оптимизация;
- Тестирование;
-
Сдача работ.
БИЗНЕС-АНАЛИЗ
Бизнес-анализ — это деятельность, в рамках которой определяются потребности бизнеса, формируются рекомендации Решений, которые обеспечивают ценность для заинтересованных лиц, а также реализуются изменения в компании (в том числе изменение бизнес-процессов при внедрении информационных систем).
Успешность проекта складывается из удовлетворенности бизнеса внедренным Решением, из качества информации в информационной системе, а также укладыванием в рамки бюджета и сроков внедрения. Успешность проекта напрямую зависит от того, как проведен этап бизнес-анализа.
Основные задачи выполняемые в рамках этапа бизнес-планирования:
- Выявление потребностей бизнеса;
- Сбор требований для аналитических моделей;
-
Изучение и анализ:
- Текущей архитектуры и технологии хранения данных в источниках данных;
- Информационных сущностей (таблиц, view) и файлов;
- Рассчитываемых показателей и агрегатов;
- Информационных сущностей, загружаемых в виде пользовательских файлов.
- Управление требованиями;
- Определение ограничений и рамок проекта.
В рамках бизнес-анализа формируются следующие требования:
- Бизнес-требования: Для чего нужен проект? Какие существующие проблемы должны быть решены проектом? Какие ресурсы имеются для выполнения проекта?
- Требования заинтересованных сторон: Какие неудовлетворенные потребности имеются?
- Требования к Решению (функциональные и нефункциональные требования): Какой функционал необходим? Что система должна выполнять? Что Вы хотите получить на выходе из системы? Какой уровень производительности является минимальным и желательным?
- Требования к миграции: Какие требования к миграции системы из среды разработки в продуктив должны быть соблюдены?
В рамках этапа бизнес-анализа разрабатывается пакет документации с требованиями разных уровней для дальнейшей разработки системы. Основной задачей данной документации является максимально правильное и совпадающее понимание конечного результата всеми сторонами внедрения (заказчика и исполнителя). Документация содержит описание бизнес требований и может содержать эскизы экранных форм и диаграммы для упрощения понимания всеми членами команды сути требований.
Пакет документации на выходе
- Бизнес-требования.
- Функциональные и нефункциональные требования, переходные требования.
ПРОЕКТИРОВАНИЕ
В рамках этапа проектирования выполняются следующие задачи:
- Проектирование аналитических сценариев;
- Проектирование полной и непротиворечивой логической и физической модели данных («Звезда», «Снежинка»);
- Проектирование полной и непротиворечивой модели загрузки данных;
- Проектирование слоев аналитического приложения;
- Проектирование дизайна интерфейсов;
- Проектирование интеграционных процессов;
- Проектирование архитектуры приложения и плтатформы бизнес-аналитики;
- Проектирование архитектуры взаимодействия с внешними системами и источниками данных;
- Проектирование системы прав доступа.
Для логического проектирования модели данных приложений QlikView (либо Qlik Sense) могут применяться следующие методики:
- Метод моделирования "сущность-связь" (ER modeling);
- Методы моделирования временных данных (Temporal data modeling);
- Метод многомерного моделирования (Dimensional modeling);
- Метод моделирования "свод данных" (Data Vault).
После разработки многомерной модели осуществляется разработка плана ETL-процесса:
- Создается обобщенный план, в котором отражается перечень систем–источников данных и указываются планируемые целевые области данных;
- Данные приводятся к одинаковым типам и схемам кодирования;
-
Выбор программного обеспечения для извлечения, приведения к общему формату, преобразованию, очистки и загрузки данных в модель.
МОДЕЛИРОВАНИЕ ПРОЦЕССА ПРЕОБРАЗОВАНИЯ ДАННЫХ
Разрабатывается ILM-диаграмма (Information Liquidity Model) преобразования данных ("Процесс преобразования"), которая определяет список задач преобразования данных и поток управления преобразованием. Моделирование движения данных позволяет определить в модели, где данные генерируются, где загружаются в систему и как они преобразуются в процессе их использования.
-
Диаграмма движения данных (Information liquidity diagram) — это диаграмма высокого уровня, которая позволяет моделировать преобразование данных посредством определения:
- входных источников данных (БД, XML-документов, неструктурированных файлов);
- процесса преобразования (Transformation process), позиции, где преобразования выполняются. Процесс преобразования включает в себя набор диаграмм преобразования (transformation diagrams), которые описывают преобразования данных на более детальном уровне;
- выходных источников данных.
- Диаграмма преобразования данных (Data transformation diagram) — это диаграмма низкого уровня, которая позволяет моделировать конкретные задачи преобразования посредством определения того, как данные извлекаются из входного источника данных, как преобразуются и как загружаются в выходной источник данных.
Разработка документов
-
Техническое задание, содержащее:
- требования к разработке модели данных, составу и регламенту выполнения автоматизированных процедур верификации и аудита данных с целью контроля их корректности, полноты и непротиворечивости;
- требования к разработке модели загрузки данных в приложения QlikView;
- содержит описание дизайна дашбордов, функциональности интерфейсов;
- нефункциональные требования;
- Пояснительная записка, содержащая:
- описание архитектуры решения, реализации функциональных и нефункциональных требований;
- описание логической и физической модели данных приложений;
- описание функций и процедур расчета различных параметров и агрегатов модели данных, функций и процессов выполнения автоматизированных процедур верификации и аудита данных с целью контроля их корректности, полноты и непротиворечивости;
- описание процессов ELT — модели загрузки данных, подробное описание процедур трансформации данных от внешних систем в файлы QlikView;
- описание средств разработки, технологий и программной реализации объектов QlikView.
РАЗРАБОТКА
Реализация системы BI на платформе QlikView (либо Qlik Sense) заключается в выполнении задач на основе технического задания и технического проекта.
Основными задачами разработки системы бизнес-аналитики на базе QlikView являются:
- Настройка сервера;
- Создание модели данных;
- Разработка ETL-процесса;
- Разработка процесса очистки данных (обеспечение качества данных);
- Реализация процесса заполнения QVD-файлов измерений и фактов;
- Разработка первоначальных скриптов загрузки данных. Подключение источников данных.;
- Разработка инкрементальной загрузки данных;
- Разработка пользовательского интерфейса (по методологии DAR);
- Реализация объектов приложения;
- Конфигурация публикаций. (Publisher);
- Интеграция с внешними системами и базами данных;
- Обучение пользователей;
- Настройка прав доступа пользователям;
- Документирование фактической архитектуры и функциональности BI системы.
В процессе разработки аналитических приложений на базе платформы Qlik компания Би Ай Консалт использует следующие подходы: Set Analysis, Сравнительный анализ, What-If, Наложение графиков, Инкрементальная загрузка данных, ETL (Extract, Transform, Load), Промежуточный контроль качества данных на QVD-файлах, различные техники Drill-down, Кастомизация Straight-таблиц, Правка Expressions из файла с формулами, Таблицы "Data Island", Macros, методологию DAR для посроения интерфейсов, QlikView Deployment Framework (QDF), Document Chaining, Параллельная обработка данных, Предварительная агрегация данных и многое другое.
ОЧИСТКА ДАННЫХ
Для обеспечения качества данные при преобразовании подвергаются процедуре очистки. Процедура очистки данных необходима, поскольку системы бизнес-аналитики не работают с несогласованными и неточными данными, иначе бизнес-анализ становится бессмысленным. Процедура очистки данных включает в себя согласование форматов данных, кодирование данных, исключение ненужных атрибутов (например, комментариев), замещение кодов значениями (например, почтового индекса наименованием населенного пункта), комбинирование данных из различных источников под общим ключом (например, собрать все данные о покупателях), обнаружение одинаково поименованных атрибутов, которые содержат различные по смыслу значения.
Очистку данных можно разделить на следующие типы:
- конвертация и нормализация данных (приведение к одинаковому кодированию текста, форматам даты и т. д.);
- стандартизация написания имен, представления адресов, устранение дубликатов;
- стандартизация наименований таблиц, индексов и т.д.;
- очистка, основанная на бизнес-правилах предметной области.
Разработка эксплуатационной документации
- Руководство пользователя;
- Руководство администратора;
- руководство по развертыванию.
ОПТИМИЗАЦИЯ СИСТЕМЫ
В рамках оптимизации системы QlikView (либо Qlik Sense) может выполняться следующий ряд задач:
- Внедрение дополнительной функциональности, к примеру интеграция с R-Project или внедрение N-Printing;
- Пересмотр модели данных и оптимизация;
- Оптимизации работы интерфейсной части приложений;
- Оптимизация использования аппаратных ресурсов системой;
- Масштабирование системы QlikView. QlikView (либо Qlik Sense) масштабируется как путем Scale-Up (увеличение производительности конкретного сервера), так и путем Scale-Out (увеличение количества узлов в кластере серверов QlikView);
- Настройка рассылки почтовых уведомлений;
- Настройка уведомлений о критичных событиях в бизнесе;
- Проектирование и реализация архитектуры для большого числа одновременно работающих пользователей.
ТЕСТИРОВАНИЕ
На этапе тестирования системы бизнес-аналитики выполняются следующие задачи:
- Проведение системного тестирования поставляемой функциональности;
-
Проведение интеграционного функционального тестирования (ИФТ) в части поставляемой функциональности ФП Пользовательский BI:
- Разработка сценариев интеграционного тестирования;
- Участие в ИФТ;
- Устранение обнаруженных дефектов;
- Регрессионное тестирование;
- Протокол проведенного тестирования.
- Нагрузочное тестирование по объему данных и количеству пользователей;
- Проведение приемо-сдаточных испытаний (ПСИ) доработок ФП Пользовательский BI:
- Разработка ПМИ (программы и методики испытаний)
- Регрессионное тестирование;
- Участие в ПСИ;
- Устранение обнаруженных дефектов.
- Формирование дистрибутива с учетом результатов ПСИ
- Уточненная рабочая и эксплуатационная документация
Для качественного выполнения описанных выше видов работ компания-интегратор «Би Ай Консалт», имеет сработанную команду профессионалов:
Администраторы Qlik / архитекторы — Опыт проектирования и управления сложной архитектурой Qlik (QlikView, Qlik Sense, Nprinting) с элементами кластеризации, большим количеством интеграций, большим количеством пользователей. Опыт настройки серверного ПО виртуализации.
Разработчики ETL алгоритмов Qlik — Опыт работы с языками разработки сценариев загрузки в приложениях Qlik, алгоритмами их оптимизации. Опыт внедрения элементов контроля качества данных.
Разработчики моделей данных и расчетных показателей Qlik — Опыт использования языка разработки расчетных показателей в приложениях Qlik и их оптимизация. Опыт разработки комплексных моделей данных, в том числе реализация связи many-to-many и их оптимизация.
Разработчики front-end Qlik — Опыт визуализации данных, использования принципов usability интерактивных аналитических интерфейсов. Опыт создания сложных нестандартных отчетов в QlikView, QlikSense, Nprinting. Опыт тонкой настройки стандартных элементов визуализаций с использованием встроенного языка функций, использования html для разработки нестандартных визуализаций с помощью функционала виджетов версии Qlik Sense.
Аналитики BI — Опыт использования продуктов Qlik. Опыт написания документации к аналитическим системам, проведения обучения пользователей, составления наглядных и востребованных пользовательских инструкций.
ТЕСТ-ДРАЙВ QLIK
Вы можете испытать все возможности QlikView (либо Qlik Sense) самостоятельно, в том числе и на собственных данных. Отправляйте нам запрос на адрес info@biconsult.ru и мы ответим на любые Ваши вопросы и предоставим Вам ПОЛНОФУНКЦИОНАЛЬНУЮ версию QlikView для изучения и тестирования на Ваших данных.
Компания "Би Ай Консалт" предлагает Вам уникальную возможность бесплатно протестировать полнофункциональную платформу бизнес-аналитики нового поколения Qlik (QlikView либо Qlik Sense) на Ваших данных, чтобы понять насколько она Вам подходит.