BI Consult
  • Перейти на QlikSense
  • Перейти на QlikView
  • Перейти на Tableau
  • Перейти на Power BI
  • российские bi dwh dl
  • Главная
  • Продукты Business-Qlik
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Страхование
    • Банки
    • Лизинг
    • Логистика
    • Нефтегазовый сектор
    • Медицина
    • Сеть ресторанов
    • Энергетика
    • Фрод-менеджмент
    • E-Commerce
    • Фармацевтика
    • Построение хранилища данных
    • Создание Data Lake
    • Цифровая трансформация
    • Управление по KPI
    • Финансы
    • Продажи
    • Склад
    • HR
    • Маркетинг
    • Внутренний аудит
    • Категорийный менеджмент
    • S&OP и прогнозная аналитика
    • Геоаналитика
    • Цепочки поставок (SCM)
    • Process Mining
    • Сквозная аналитика
  • Платформы
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • Геоаналитика Qlik GeoAnalytics
    • Qlik NPrinting - рассылка отчетности QlikView/Qlik Sense
    • KliqPlanning Suite - бюджетирование в QlikView
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors - коннектор Google, Facebook, Twitter
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • Библиотека extention для Qlik
    • Qlik Alerting
    • Qlik Data Integration Platform - создание Data Lake
    • Qlik Data Catalog решение для Data Governance
    • ATK BiView документация
  • Услуги
    • Консалтинг
    • Пилотный проект
    • План обучения и сертификации
    • Подготовка специалистов по Qlik
    • Бесплатное обучение Qlik
    • Сертификация Qlik
    • Поддержка
    • Технические задания
    • Сбор требований для проекта внедрения BI-системы
    • Аудит приложений Qlik и Tableau
    • Разработка BI Стратегии
    • Styleguide для BI-системы
    • Как выбрать BI-систему
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Информационная грамотность (Data Literacy)
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по BigQuery
    • Учебный курс по Azure Databricks
    • Учебный курс по DWH
    • Учебный курс по Data Governance
    • Учебный курс по Data Science (ML, AI)
    • Учебный курс администратора Qlik Sense
  • Компания
    • Руководство
    • Новости
    • Клиенты
    • Карьера
    • Скачать
    • Контакты

QlikView / Qlik Sense

  • Qlik Sense
    • Возможности Qlik Sense
    • Qlik Sense Enterprise
    • Qlik Sense Desktop
    • Qlik Sense Saas облачная инфраструктура для компаний
    • Источники данных и хранение данных
    • Безопасность и разграничение прав доступа
    • Масштабируемость
    • Политика лицензирования Qlik Sense
    • Qlik Sense November 2021: новые возможности
    • Географические карты в Qlik Sense
    • Qlik Sense Cloud / Qlik Sense в облаке
    • Учебное пособие по Qlik Sense
  • QlikView
    • Архитектура
    • Отличия QlikView от традиционных BI-систем
    • Политика лицензирования QlikView
    • Системные требования и сайзинг
    • Отличие от OLAP-систем
    • QlikView on Mobile
    • Qlik и Big Data
    • Демонстрационные примеры
    • QlikView в "облаке" (Amazon) / QlikView in the cloud
    • Интеграция QlikView с Microsoft SharePoint
    • Учебное пособие по QlikView
    • Что такое QlikView Publisher
    • QlikView Extranet Server и дистрибуция отчетности внешним пользователям
  • Qlik Data Catalog
  • Qlik Alerting
  • Qlik Data Integration Platform
  • Add-ons для QlikView
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • QlikView/Qlik Sense ATK BiView-1C Коннектор
    • Документация ATK BiView
    • Qlik NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • GeoQlik
    • KliqPlanning Suite
    • QlikView/Qlik Sense SAP Коннектор
    • QlikView R-Коннектор
    • Qlik Web Connectors
    • QlikView Cognos TM1 Коннектор
    • Визуализация графов в Qlik Sense с помощью Ogma / Linkurious
  • Учебный курс по Qlik Sense

Tableau

  • Tableau
    • Tableau Desktop
    • Tableau Server
    • Tableau Prep
    • Технологии
    • Источники данных Tableau
    • Безопасность в Tableau
    • Политика лицензирования
    • Tableau 2021: новые возможности
    • Сравнение продуктов Tableau (Desktop, Server, Online, Public)
    • Демонстрационные примеры
    • Учебный портал Tableau
    • Коробочное решение "Мониторинг Tableau Server"
    • Чем отличаются Tableau Reader и Viewer?
  • Учебный курс по Tableau

Другое

  • Microsoft Power BI
    • Power BI Desktop
    • Power BI Report Server
    • Отраслевые решения Microsoft Power BI
    • Политика лицензирования Microsoft Power BI
    • Power BI Mobile
    • Учебные курсы Microsoft Power BI
    • Архитектура Power BI
    • Обработка данных в Power BI
    • Аудит системы Power BI
  • Учебный курс по Microsoft Power BI
  • Alteryx
    • Alteryx Designer
    • Инструменты Alteryx Designer
    • Alteryx Server
    • Alteryx Analytics Gallery
    • Alteryx. Создание приложения, workflow, ETL
  • Data Engeneering
    • Создание Data Lake
    • Создание Data Warehouse
    • Учебный курс "Современная архитектура хранилища данных"

Ещё по теме

  • Alteryx подготовка данных для BI систем
  • Alteryx designer
  • Alteryx Server
  • Инструменты Alteryx Designer
Главная » Alteryx

Alteryx. Создание приложения, workflow, ETL

Процесс разработки аналитического приложения Alteryx

Разработка аналитического решения делиться на следующие этапы:
1) Загрузка данных (создание хранилища)
2) Обработка данных
3) Создание модели данных
4) Визуализация
 

Data Blending в Alteryx

Рисунок 1. Data Blending в Alteryx
 
• Доступ к любым источникам данных
• Создание интуитивных рабочих потоков (визуальное программирование)
• Огромные возможности для обработки данных
• Возможность создания хранилища
 
Alteryx позволяет подключаться и обрабатывать данные из множества источников. При этом используется отличный от других продуктов подход разработки, а именно визуальное программирование. Т.е. Alteryx предлагает полный набор возможностей для подготовки данных с помощью манипулирования графическими объектами – без необходимости программирования. Обработка данных сводится к созданию интуитивных рабочих потоков (workflows).

Загрузка данных из разных источников Alteryx (создание хранилища в Alteryx)

Рисунок 2. Рабочий поток для создания хранилища данных – Демонстрация
Показать пример загрузки из каждого источника (по 1 – 2 таблицы). Далее показать заранее подготовленный поток с комментариями.
 
Таблицы для демонстрации:
1) Microsoft Access: Orders, Customers.
2) Microsoft Excel: Employees, Offices.
3) XML: Suppliers.
 
Демонстрация:
1) Показать все исходные данные (папка Source Data).
2) Открыть Alteryx и создать новый поток Extract, предназначенный для создания хранилища.
3) На диске создать папку YXDB, в которую будут выгружаться данные. Формат данных Alteryx (Alteryx Database), *.yxdb – самый эффективный формат хранения файлов для чтения и записи в Alteryx (по аналогии *.qvd файлами Qlik).
4) Добавить на лист 3 блока Tool Container для каждого типа источника: Microsoft Access, Microsoft Excel и XML.
Элемент Tool Container является частью раздела документирования, позволяя объединить несколько элементов в один блок, содержимое которого можно сворачивать и разворачивать.
5) В контейнер Microsoft Excel добавить элемент Input Data и настроить его для загрузки таблицы с заказами (Orders).
Элемент Input Data предназначен для загрузки данных из файла или подключения к базе данных.
6) В тот же контейнер добавить второй элемент Input Data и настроить его для загрузки таблицы с покупателями (Customers).
7) К каждому созданному элементу загрузки данных добавить элемент Output Data и настроить его для выгрузки в соответствующий файл yxdb.
Элемент Output Data предназначен для загрузки данных из файла или подключения к базе данных.
8) Повторить аналогичные действия для остальных источников.
9) Запустить поток на выполнение и продемонстрировать появившиеся на диске файлы.
Рисунок 3. Рабочий поток для создания хранилища данных – Итоговый результат
 

Трансформация данных из хранилища в Alteryx (ETL-слой Alteryx)

 
Рисунок 4. Рабочий поток для обработки данных (ETL) – Демонстрация
Используя таблицы из хранилища, показать пример создания таблицы фактов (Sales). Далее продемонстрировать заранее заготовленный поток для создания справочников (Customers, Employees, Products и Suppliers) с комментариями.
 
Демонстрация:
1) Создать новый поток Transform, предназначенный для трансформации данных из хранилища.
2) На диске создать папку QVX, в которую будут выгружаться обработанные данные.
Формат данных Qlik (QlikView data eXchange), *.qvx – открытый формат обмена данными Qlik для импорта данных из нестандартных источников (в данном случае из Alteryx).
3) Добавить на лист элементы для загрузки заказов (Orders), грузоотправителей (Shippers) и информации по заказам (Order Details).
4) К каждому добавленному элементу добавить блок Select для предварительной обработки.
С помощью элемента Select можно выбрать только нужные для загрузки поля, задать порядок загрузки полей, определить тип данных для каждого поля, а также добавить описание.
5) Настроить элементы Select под каждую таблицу:
1. Orders (Заказы):
• Для поля OrderDate изменить тип данных на Date.
Нет необходимости хранить время.
• Для поля ShipperID изменить тип данных на Int32.
Целочисленное ключевое поле.
• Для поля Freight изменить тип данных на Float.
Нам необходимо хранить всего 2 знака после запятой.
2. Shippers (Грузоотправители):
• Для поля ShipperID изменить тип данных на Int32.
Целочисленное ключевое поле.
3. Order Details (Информация по заказам):
Никаких действий производить не требуется.
6) Проанализировать таблицы Orders и Shippers для оценки связи между ними.
Так как справочник грузоотправителей (Shippers) состоит всего из одного не ключевого поля CompanyName (Наименование компании), то правильнее будет в таблице Orders не хранить ссылку на справочник, а заменить ее наименованием компании грузоотправителя.
7) Для осуществления замены добавить на лист элемент Find Replace, соединить его с заказами (вход F) и грузоотправителями (вход R).
Элемент Find Replace предназначен для поиска данных в поле из одного источника и его замены с помощью данных в поле из другого источника (аналог Qlik – Mapping Table).
8) Зайти в настройки элемента поиска и замены. В параметре для выбора целевого поля (Find Within Field (Target)), то есть того поля, значения которого мы будем заменять, будет выведена ошибка – Bad Field Type. Эта ошибка свидетельствует о том, что в источнике нет подходящего для замены поля. В параметре для выбора поля источника (Search Term Field (Source)) будет доступно лишь одно значение – CompanyName, а нам же для желаемого результата необходимо указать в обоих случаях поле ShipperID. Дело в том, что элемент поиска и замены работает со строковыми типами данных, поэтому перед тем как приступить к настройке этого элемента, необходимо изменить тип данных для поля ShipperID с числового на строковый.
9) Для заказов и грузоотправителей зайти в настройки объектов Select  и произвести следующие настройки:
1. Shippers (Грузоотправители):
• Для поля ShipperID изменить тип данных на String(11).
2. Orders (Заказы):
• Для поля ShipperID изменить тип данных на V_WString(40).
Так как в это поле будут помещены значения из поля CompanyName таблицы Shippers, то оно должно быть аналогичного типа. Если бы мы оставили меньшую длину строки, то мы бы получили сообщения об ошибках преобразования полей (строку в 40 символов нельзя поместить в строку в 11 символов, поэтому при замене такие значения будут обрезаны).
• Поле ShipperID переименовать на Shipper.
В это поле будут помещены значения из поля CompanyName таблицы Shippers.
10) Настроить элемента поиска и замены (см. рисунок 5):
1. Установить способ замены – Entire Field (Все поле).
2. В качестве целевого поля (Find Within Field (Target)) выбрать поле Shipper.
3. В качестве поля источника (Search Term Field (Source)) выбрать поле ShipperID.
4. В качестве поля, на значения которого будет произведена замена (Replace Found Text w/ Field), выбрать поле CompanyName.
Рисунок 5. Настройки элемента поиска и замены
11) Добавить элемент Browse для последующего предварительного просмотра результатов замены.
Элемент Browse позволяет просмотреть данные на выходе любого элемента в рабочем потоке.
12) Запустить поток на выполнение (комбинация клавиш Ctrl + R или кнопка Run Workflow, расположенная на панели инструментов) и проверить результат замены.
13) Добавить на лист элемент Join для соединения заказов (Orders) с их детализацией (Orders Details).
Элемент Join позволяет соединить 2 потока данных по общим полям. В итоговом выводе каждая строка будет содержать данные из обоих источников. У элемента есть 3 выхода: L, J и R. Каждый выход содержит определенную часть информации, которая зависит от результата соединения данных из входных потоков L и R.
14) Настроить элемент соединения:
1. В качестве общих полей из левого и правого источников задать поле OrderID.
OrderID – ключевое поле, в левой таблице (Orders) оно является первичным ключом, а в правой внешним (Orders Details).
2. Поле OrderDate переименовать на Date.
Так как таблица с заказами в нашем случае будет таблицей фактов, то переименуем его для простоты последующей обработки, например, создания на основании значений в этом поле календаря.
3. Поле OrderID из правой таблицы не загружать (автоматически переименовано в Right_OrderID).
В итоговой таблице нам нет нужды хранить копию ключа.
15) Добавить элемент Browse и проверить результат соединения источников. После проверки удалить элемент.
16) Добавить элемент Formula для расчета суммы продажи (SalesAmount) на основании цены (UnitPrice) и количества товара (Quantity).
Элемент Formula позволяет создать новые или обновить существующие поля, используя одно или несколько выражений.
17) Настроить элемент для создания нового поля:
1. В качестве выходного поля указать поле SalesAmount.
2. Для создаваемого поля выбрать тип Double.
3. В качестве выражения для его вычисления задать формулу: [UnitPrice] * [Quantity].
18) Добавить элемент Browse и проверить результат создания нового поля SalesAmount. После проверки удалить элемент.
19) К созданному потоку добавить элемент Output Data и настроить его для выгрузки в файл Sales.qvx.
 
Рисунок 6. Рабочий поток для обработки данных (ETL) – Итоговый результат
 

Создание модели данных из Alteryx в Qlik Sense

Рисунок 7. Модель данных в Qlik Sense
 

Alteryx. Создание приложения, workflow, ETL

Процесс разработки аналитического приложения Alteryx

Запросить видео презентацию Запросить доступ к демо стенду online Узнать стоимость лицензий

Задать вопрос

loading...

Решения

Анализировать ФинансыУвеличивайте ПродажиОптимальный Склад и ЛогистикаМаркетинговые Метрики

Клиенты

  • Concept Club
    Детализированный план-фактный анализ продаж и прибыли в разрезах магазинов/регионов/брендов/номенклатурных групп/коллекций/SKU с детализацией до дня
    Сравнительный Like-for-like анализ продаж по показателям товарооборот, прибыль, средний чек, проходимость, конверсия и т.д. в разрезах (Факт/Факт и План/Факт)
    Факторный анализ продаж, расходов, себестоимости, маржинальности
    Отчет по контролю корректности расчетов по поконтрольным значениям
    Построение трендов продаж для оценки адекватности планирования
    Отчет P&L консолидированный и по регионам/бизнес-юнитам/брендам/юр.лицам
    Прогноз P&L на текущий месяц с индикацией по контрольным значениям с возможносью создания версий и внесения корректировок 
    Отчет "Cash-Flow" консолидированный и по юр.лицам
    Отчет "Баланс" консолидированный и по юр.лицам
    Совмещенное товарное планирование ("пилы/кривулины"): реализация интерактивной модели товародвижения в разрезах, анализ жизненного цикла товаров, планирование уценок (скрытых/открытых)
    Совмещенный анализ оборачиваемости и среднего товарного запаса в разрезах.
  • Все показатели сгруппированы в четыре функциональных блока. 
    Показатели блока «Продажи»
    Показатели блока «Затраты»
    Производные показатели
    Показатели блока ДДС
  • classic-spb

    Созданная в 1998 году, компания "Классик" сегодня - современная, обладающая огромными возможностями организация, специализирующаяся в сфере оптовых и розничных продаж продовольствия, оказания услуг по логистике.

  • Qlik Sense для сетей DIY, внедрение Клик Сенс в Максидом

    Поставка лицензий Qlik Sense, настройка, администрирование и поддержка сервера Qlik Sense, обучение и консультации клиента по разрабтке приложений и моделей Qik Sense

  • Решения
    • Дистрибуция
    • Розничная торговля
    • Производство
    • Операторы связи
    • Банки
    • Страхование
    • Фармацевтика
    • Лизинг
    • Логистика
    • Медицина
    • Нефтегазовый сектор
    • Сеть ресторанов
  • Продукты
    • Qlik Sense
    • QlikView
    • Tableau
    • Microsoft Power BI
    • ATK BiView-1C Коннектор (для Qlik/Tableau/PowerBI)
    • Vizlib Qlik Sense extentions (библиотека экстеншнов)
    • NPrinting
    • Геоаналитика Qlik GeoAnalytics
    • KliqPlanning Suite
    • Qlik WebConnectors
    • QlikView R Коннектор
    • QlikView/Qlik Sense SAP Коннектор
    • Alteryx
    • Qlik Data Catalog
    • Документация ATK BiView
  • Услуги
    • Консалтинг
    • Пилотный проект
    • Поддержка
    • План обучения и сертификации Qlik
    • Бесплатное обучение
    • Учебные курсы
    • Сертификация Qlik
    • Аудит приложений
  • Курсы
    • Учебный курс по Qlik Sense
    • Учебный курс по Tableau
    • Учебный курс по Microsoft Power BI
    • Учебный курс Современная архитектура хранилища данных
    • Учебный курс Информационная грамотность
    • Учебный курс для бизнес-аналитиков
    • Учебный курс по NPrinting
    • Учебный курс по Azure Databricks
    • Учебный курс по Google BigQuery
  • Компания
    • О нас
    • Руководство
    • Новости
    • Клиенты
    • Скачать
    • Контакты
  • Функциональные решения
    • Продажи
    • Финансы
    • Склад
    • HR
    • S&OP и прогнозная аналитика
    • Внутренний аудит
    • Геоаналитика
    • Категорийный менеджмент
    • Построение хранилища данных
    • Система управления KPI и BSC
    • Управление цепочками поставок
    • Маркетинг
    • Цифровая трансформация
    • Сквозная аналитика
    • Process Mining
QlikView Partner
LinkedInYouTubeVkontakteFacebook
ООО "Би Ай Консалт",
ИНН: 7811437757,
ОГРН: 1097847154184
199178, Россия,
Санкт-Петербург,
6-ая линия В.О., Д. 63, 4 этаж
Тел: +7 (812) 334-08-01
Тел: +7 (499) 608-13-06
E-mail: info@biconsult.ru