Связь Qlik Sense с большими данными – Qlik ABDI и ODAG
В этой статье мы обсудим связь Qlik Sense с большими данными. Это продолжение той же темы, но теперь мы сосредоточимся только на Qlik Sense и его новых функциях ABDI и ODAG для использования больших данных. И для начала мы обсудим, что такое Qlik Associative Big Data Index.
Связь Qlik Sense с большими данными
1. Что такое ассоциативный индекс больших данных Qlik (Qlik Associative Big Data Index)?
Qlik Associative Indexing Engine (QIX Engine) функционирует как ядро всех инструментов, связанных с Qlik BI, особенно Qlik Sense и QlikView. Механизм ассоциативного индексирования структурирует данные, поступающие из разных источников данных, и логически формирует связи между ними. Эта возможность Qlik расширяется, чтобы индексировать и связывать большие данные из различных источников. Эта новая технология получила название «ассоциативный индекс больших данных Qlik», Qlik Associative Big Data Index Engine (ABDI Engine).
Это – управляемый, высокопроизводительный, инкрементный и ассоциативный механизм индексирования, выпущенный Qlik в 2018 году в качестве предложения на основе услуг (EAP) и требующий покупки вместе с основным пакетом Qlik Sense. Ключевые возможности движка ABDI:
- Его можно развернуть в среде хранения больших данных, такой как Cloudera, Apache Spark, базы данных Hadoop и т. д.
- Высокая масштабируемость и возможность развертывания на нескольких узлах кластера. Функциональность распределяется по узлам как в локальной, так и в облачной среде.
- Сценарий в редакторе загрузки данных создается автоматически для доступа к индексу данных через соединитель ABDI.
- Поддерживает запрос и доставку данных из приложений ODAG.
- Механизм ABDI может запрашивать данные непосредственно из источников данных, таких как озера данных и т. д.
- Индекс Qlik ABDI основан на Qlik Selection Language (QSL), который представляет собой высокоскоростной язык выбора, используемый для извлечения данных из индекса.
2. Создание приложений по запросу и управление большими данными
Qlik Sense предоставляет уникальную функцию создания приложений по запросу (ODAG) для управления большими данными. С большими источниками данных сложно работать из-за огромного объема. А с помощью ODAG пользователи могут выбрать требуемый раздел или подмножество больших данных из источников данных, а затем работать с ними в приложении, которое создает по запросу. Приложения по запросу предоставляют пользователям сводные представления в хранилище больших данных, откуда они выбирают и загружают подмножество в Qlik Sense в памяти для выполнения аналитических операций с ним.
Теперь давайте разберемся, как создание приложений по запросу работает в Qlik Sense с картинки.
ODAG в Qlik Sense
- Во-первых, пользователь получает доступ к приложению выбора, которое предоставляет агрегированные представления для хранилищ больших данных.
- В рамках этого выбора приложения представляют собой навигационные ссылки на один или несколько шаблонов приложений по запросу. Эти шаблоны служат основой для создания приложений по запросу.
- Вы можете установить свойства как шаблонных приложений, так и приложений по запросу в соответствии с объемом и типом подмножества данных, выбранных из хранилищ больших данных для создания приложений по запросу.
- Данные в приложениях, созданные по запросу, загружаются в соответствии с выбором, сделанным в приложении выбора. Оттуда данные фильтруются и попадают в сгенерированные приложения.
- Приложение для выбора может ссылаться на несколько приложений-шаблонов, а приложение-шаблон может ссылаться на несколько приложений для выбора.
- И приложения по запросу, и приложения-шаблоны требуют специальных сценариев загрузки данных, которые лучше всего выполняет опытный профессионал.
Так, ODAG позволяет пользователю Qlik Sense эффективно использовать и управлять большими данными, не загромождая внутреннюю память системы.
3. Преимущества приложений по запросу для Qlik Sense
Приложения, созданные по запросу, полезны для пользователя при обработке больших данных во многих отношениях:
- Вы можете обновить приложение или создать другие приложения, используя тот же шаблон, как только данные будут обновлены в источнике. Это позволяет проводить актуальный анализ и извлекать свежие идеи из больших данных.
- Вы можете легко выбрать подмножества данных из хранилища данных и заполнить свое приложение различными типами наборов данных в зависимости от местоположения, периода времени, сегмента клиентов и т. д.
- ODAG предлагает полную визуализацию и аналитические функции для подмножества данных, загруженных в оперативную память Qlik Sense.
- Вы можете осуществлять ИТ-управление и мониторинг приложений, созданных по запросу, путем управления объемами данных и выбора измерений.
- Вы также можете получить доступ к данным из источников данных, отличных от SQL, таких как Teradata Aster, SAP BEx, MapR и т. д.
- Кроме того, он позволяет создавать секционный доступ и загружать скрипты с помощью настраиваемого SQL.
4. Заключение
Итак, Qlik Sense может обрабатывать большие данные и управлять ими с помощью ассоциативного индекса больших данных и создания приложений по запросу.
